Kunstmatige neuronen kunnen het energieverbruik en de omvang van neurale netwerkhardware doen afnemen

Het trainen van neurale netwerken om taken uit te voeren, zoals het herkennen van afbeeldingen of het navigeren door zelfrijdende auto’s, zou op een dag minder rekenkracht en hardware kunnen vereisen dankzij een nieuw apparaat voor kunstmatige neuronen dat is ontwikkeld door onderzoekers van de University of California in San Diego. Het apparaat kan neurale netwerkberekeningen uitvoeren met 100 tot 1000 keer minder energie en oppervlakte dan bestaande CMOS-gebaseerde hardware.

Onderzoekers rapporteren hun werk in een paper gepubliceerd op 18 maart in Natuur Nanotechnologie​

Neurale netwerken zijn een reeks onderling verbonden lagen van kunstmatige neuronen, waarbij de output van de ene laag de input vormt voor de volgende. Het genereren van die invoer wordt gedaan door een wiskundige berekening toe te passen die een niet-lineaire activeringsfunctie wordt genoemd. Dit is een cruciaal onderdeel van het runnen van een neuraal netwerk. Maar het toepassen van deze functie vereist veel rekenkracht en schakelingen, omdat het gaat om het heen en weer overdragen van gegevens tussen twee afzonderlijke eenheden – het geheugen en een externe processor.

Nu hebben onderzoekers van UC San Diego een apparaat van nanometerformaat ontwikkeld dat de activeringsfunctie efficiënt kan uitvoeren.

“Neurale netwerkberekeningen in hardware worden steeds inefficiënter naarmate de neurale netwerkmodellen groter en complexer worden”, zegt Duygu Kuzum, een professor in elektrotechniek en computertechnologie aan de UC San Diego Jacobs School of Engineering. “We hebben een enkel apparaat voor kunstmatige neuronen op nanoschaal ontwikkeld dat deze berekeningen op een zeer gebieds- en energie-efficiënte manier in hardware implementeert.”

De nieuwe studie, geleid door Kuzum en haar Ph.D. student Sangheon Oh, werd uitgevoerd in samenwerking met een DOE Energy Frontier Research Center onder leiding van UC San Diego natuurkundig professor Ivan Schuller, dat zich richt op het ontwikkelen van hardware-implementaties van energie-efficiënte kunstmatige neurale netwerken.

Het apparaat implementeert een van de meest gebruikte activeringsfuncties in neurale netwerktraining, een gerectificeerde lineaire eenheid genaamd. Het bijzondere aan deze functie is dat het hardware nodig heeft die een geleidelijke verandering in weerstand kan ondergaan om te kunnen werken. En dat is precies waarvoor de onderzoekers van UC San Diego hun apparaat hebben ontworpen – het kan geleidelijk overschakelen van een isolerende naar een geleidende toestand, en dat doet het met behulp van een klein beetje warmte.

Deze schakelaar wordt een Mott-overgang genoemd. Het vindt plaats in een nanometer dun laagje vanadiumdioxide. Boven deze laag bevindt zich een nanodraadverwarmer gemaakt van titanium en goud. Wanneer er stroom door de nanodraad vloeit, warmt de vanadiumdioxidelaag langzaam op, waardoor een langzame, gecontroleerde omschakeling van isolerend naar geleidend ontstaat.

“Deze apparaatarchitectuur is erg interessant en innovatief”, zei Oh, die de eerste auteur van het onderzoek is. Typisch, materialen in een Mott-overgang ervaren een abrupte overgang van isolerend naar geleidend omdat de stroom rechtstreeks door het materiaal vloeit, legde hij uit. “In dit geval laten we stroom door een nanodraad bovenop het materiaal stromen om het te verwarmen en een zeer geleidelijke verandering van de weerstand teweeg te brengen.”

Om het apparaat te implementeren, fabriceerden de onderzoekers eerst een reeks van deze zogenaamde activerings- (of neuron) apparaten, samen met een synaptische apparaatarray. Vervolgens hebben ze de twee arrays op een aangepaste printplaat geïntegreerd en met elkaar verbonden om een ​​hardwareversie van een neuraal netwerk te creëren.

De onderzoekers gebruikten het netwerk om een ​​afbeelding te verwerken – in dit geval een foto van Geisel Library aan UC San Diego. Het netwerk heeft een soort beeldverwerking uitgevoerd, randdetectie genaamd, die de omtrekken of randen van objecten in een afbeelding identificeert. Dit experiment toonde aan dat het geïntegreerde hardwaresysteem convolutiebewerkingen kan uitvoeren die essentieel zijn voor veel soorten diepe neurale netwerken.

De onderzoekers zeggen dat de technologie verder kan worden opgeschaald om complexere taken uit te voeren, zoals gezichtsherkenning en objectherkenning in zelfrijdende auto’s. Met interesse en medewerking van de industrie zou dit kunnen gebeuren, merkte Kuzum op.

“Op dit moment is dit een proof of concept”, zei Kuzum. “Het is een piepklein systeem waarin we maar één synapslaag met één activeringslaag hebben gestapeld. Door er meer op te stapelen, zou je een complexer systeem kunnen maken voor verschillende toepassingen.”