Onderzoekers ontwikkelen opto-elektronische neuronen voor het waarnemen van dynamische beweging

De kleine visuele systemen van vliegende insecten hebben onderzoekers van de Hong Kong Polytechnic University (PolyU) geïnspireerd om opto-elektronische gegradeerde neuronen te ontwikkelen voor het waarnemen van dynamische beweging, waardoor de functies van vision-sensoren voor behendige respons worden verrijkt.

Biologische visuele systemen kunnen effectief beweging waarnemen in een gecompliceerde omgeving met een hoge energie-efficiëntie. Met name vliegende insecten hebben een hoge flikkerfunctiefrequentie (FFF) en kunnen objecten met hoge bewegingssnelheden waarnemen. Deze natuurinspiratie zou kunnen leiden tot geavanceerde machine vision-systemen met zeer economische hardwarebronnen. Een conventioneel machine vision-systeem voor actieherkenning omvat typisch complexe kunstmatige neurale netwerken zoals “ruimtelijke” en “temporele” stroomberekeningsarchitecturen.

Onder leiding van prof. Yang Chai, geassocieerd decaan van de Faculteit Wetenschappen en professor in de afdeling Toegepaste Natuurkunde aan PolyU, toonde het onderzoeksteam aan dat opto-elektronische neuronen een hoge informatieoverdrachtssnelheid (> 1000 bit / s) kunnen uitvoeren en ruimtelijke en temporele informatie kunnen samensmelten bij sensorische terminals. Het is veelbetekenend dat de onderzoeksbevinding de functionaliteiten versterkt die niet beschikbaar zijn in conventionele beeldsensoren.

Prof. Chai zei: “Dit onderzoek verdiept fundamenteel ons begrip van bio-geïnspireerde computers. De onderzoeksbevinding draagt ​​bij aan mogelijke toepassingen op autonome voertuigen, die bewegingen met hoge snelheid in het wegverkeer moeten herkennen. De technologie kan ook worden gebruikt voor sommige bewakingssystemen. .”

Bio-geïnspireerde in-sensor computing

Machine vision-systemen bestaan ​​meestal uit hardware met fysiek gescheiden beeldsensoren en verwerkingseenheden. De meeste sensoren kunnen echter alleen “ruimtelijke” frames uitvoeren zonder “tijdelijke” informatie samen te voegen. Acute bewegingsherkenning vereist dat “ruimtelijke” en “temporele” stroominformatie wordt overgebracht naar en gefuseerd in de verwerkingseenheden. Deze bio-geïnspireerde in-sensor bewegingsperceptie biedt vooruitgang in bewegingsverwerking, wat een computationele uitdaging is geweest die aanzienlijke eisen stelt aan computationele bronnen.

Het PolyU-onderzoek “Optoelectronic graded neurons for bioinspired in-sensor motion perception” is gepubliceerd in Natuur Nanotechnologie. Het onderzoeksteam heeft zich gericht op studies over in-sensor computing om visuele informatie op sensorische terminals te verwerken. In andere eerdere studies toonde het team de contrastverbetering van statische beelden en visuele aanpassing aan verschillende lichtintensiteiten aan.

Prof. Chai merkte op: “We werken al jaren aan kunstmatig zicht. Voorheen gebruikten we alleen sensorarrays om statische beelden in verschillende omgevingen waar te nemen en hun kenmerken te verbeteren. We onderzoeken verder de vraag of we een sensorarray kunnen gebruiken om waar te nemen dynamische beweging. Sensorische terminals kunnen zich echter geen ingewikkelde hardware veroorloven. Daarom kiezen we ervoor om de kleine visuele systemen te onderzoeken, zoals die van vliegende insecten die behendig dynamische beweging kunnen waarnemen.”

Vliegende insecten zoals Drosophila met een klein zichtsysteem kunnen een bewegend object veel sneller herkennen dan een mens. Concreet bestaat het visuele systeem uit niet-spiking gegradeerde neuronen (retina-lamina) die een veel hogere informatietransmissiesnelheid (R) hebben dan de stekelige neuronen in het menselijke visuele systeem. Het kleine zichtsysteem van insecten verkleint de signaaloverdrachtsafstand tussen het netvlies (sensor) en de hersenen (rekeneenheid) aanzienlijk.

In wezen maken de gegradeerde neuronen een efficiënte codering van temporele informatie op sensorische terminals mogelijk, wat de overdracht van overvloedige zichtgegevens van het samensmelten van spatiotemporele (ruimtelijke en temporele) informatie in een rekeneenheid vermindert. Deze bio-geïnspireerde behendige bewegingsperceptie leidt ertoe dat het onderzoeksteam kunstmatig opto-elektronische neuronen ontwikkelt voor in-sensor bewegingsperceptie.

Zeer nauwkeurige bewegingsherkenning

Zeer nauwkeurige bewegingsherkenning is essentieel voor machinetoepassingen zoals voor geautomatiseerde voertuigen en bewakingssystemen. Uit het onderzoek bleek dat de ladingsdynamiek van ondiepe vangcentra in MoS₂ fototransistors bootsen de kenmerken van gegradeerde neuronen na, met een informatietransmissiesnelheid van 1.200 bit s⁻¹ en het effectief coderen van tijdelijke lichtinformatie.

Door de spatiotemporele informatie te coderen en de compressiebeelden in een kunstmatig neuraal netwerk te voeren, bereikt de nauwkeurigheid van actieherkenning 99,2%, veel hoger dan de herkenning die wordt bereikt met conventionele beeldsensoren (~ 50%).

Het onderzoek ontketent een uitdaging in bewegingsverwerking die aanzienlijke rekenkracht vereist. Nu maken de kunstmatig gesorteerde neuronen directe detectie en codering van de temporele informatie mogelijk. De bio-geïnspireerde vision-sensorarray kan spatiotemporele visuele informatie coderen en de contouren van het traject weergeven, waardoor de perceptie van beweging mogelijk wordt gemaakt met beperkte hardwarebronnen.

Geïnspireerd door de behendige bewegingsperceptie van de visuele systemen van insecten, brengt het onderzoek aanzienlijke vooruitgang in de transmissiesnelheid en verwerking van geïntegreerde statische en dynamische beweging voor machine vision-systemen op een intelligente manier.