Illustratie van de bewegingsdetectieprocedure op basis van inter-frame differentiële berekening. (1) Eerst ontwikkelde het team de retinomorfe apparaten met niet-vluchtige positieve en negatieve fotogeleiding en registreerde experimenteel positieve en negatieve responsparameters van de apparaten; (2) de apparaatparameters worden gebruikt om m×n positieve en negatieve fotogeleidingsmatrices te construeren. En we stellen een geschikt tijdsinterval ∆t in op basis van het bewegingspatroon van de trolleys en extraheren de twee frames (t1, t1+∆t) met het interval ∆t. De eerdere frame m×n pixels worden vermenigvuldigd met de negatieve mapping matrix en opgeslagen vanwege het niet-vluchtige fotogeleidingsgeheugen. Het laatste frame m×n pixels wordt vermenigvuldigd met de positieve afbeeldingsmatrix en het in het geheugen opgeslagen resultaat wordt opgeteld bij het vorige frame; (3) na het verkrijgen van de interframe-som, wordt een stapactiveringsfunctie gedefinieerd om de gesommeerde gegevens te helpen differentiëren. Uiteindelijk werden de geclassificeerde pixels in een volgorde herschikt om de gedetecteerde afbeelding door Python te construeren. Aangezien de pixels onder variabele frames anders zijn als de trolley in beweging is, is deze te onderscheiden na vermenigvuldiging en optelling met de positieve en negatieve fotogeleidingsmatrices. Krediet: Zhang et al.
Apparaten die automatisch bewegende objecten kunnen detecteren en herkennen, hebben tal van waardevolle toepassingen, bijvoorbeeld om de omgevingsbewaking op afstand te verbeteren. De meeste bestaande bewegingsdetectie- en -herkenningstechnologieën (MDR) zijn gebaseerd op beeldsensoren gemaakt van complementaire metaaloxidehalfgeleiders (CMOS). Vergeleken met het menselijke netvlies zijn deze systemen vaak omvangrijk en ineffectief, omdat ze verschillende hardwarecomponenten nodig hebben voor het vastleggen, opslaan en verwerken van beelden.
Onderzoekers van Fudan University en de Chinese Academie van Wetenschappen hebben onlangs een nieuw tweedimensionaal (2D) apparaat ontwikkeld, geïnspireerd op het menselijk netvlies, dat bewegingen kan detecteren, bewegingsgegevens kan opslaan en analyseren. Dit alles-in-één apparaat, gepresenteerd in een paper gepubliceerd in Natuur Nanotechnologie, is veel minder omvangrijk dan bestaande apparaten voor bewegingsherkenning, maar kan bewegende objecten met hoge nauwkeurigheid herkennen.
“Aanvankelijk ontwierpen we de specifieke structuur die een nieuwe positieve en negatieve foto-opslagfunctie vertoonde,” vertelde Peng Zhou, een van de onderzoekers die het onderzoek uitvoerde, aan Phys.org. “Na communicatie met een professor die gespecialiseerd is in kunstmatige visie, ontdekten we de overeenkomst tussen de structuur en het netvliesnetwerk en begonnen we met het ontwerp en de verkenning van de kunstmatige visiefunctie zoals bewegingsdetectie en randdetectie.”
Zhou en zijn collega’s wilden een apparaat ontwikkelen dat licht kan detecteren, gegevens kan opslaan en berekeningen kan uitvoeren, met behulp van hardware in de vorm van het menselijk netvlies. Het verreikende doel van hun werk was om bewegingsdetectie en -herkenning te bereiken met een eenvoudiger en lichter apparaat dat minder stroom verbruikt.
“Het alles-in-één-apparaat dat we hebben gemaakt, heeft twee verschillende modi op basis van de verschillende opgeslagen dragers, die respectievelijk overeenkomen met positieve en negatieve optische respons”, legt Zhou uit. “Daarom kan het een positieve/negatieve antagonistische niet-vluchtige output produceren onder verlichting. De integratie van detectie, geheugen en computergebruik is vergelijkbaar met de modus van het menselijke netvliesnetwerk.”
Omdat het apparaat dat door Zhou en zijn collega’s is gemaakt, gedeeltelijk lijkt op het menselijke netvlies, evalueerde het team het vermogen om enkele functies van het netvlies uit te voeren, waaronder bewegings- en randdetectie. Opmerkelijk genoeg ontdekten ze dat een kunstmatig neuraal netwerk dat op het op het netvlies geïnspireerde apparaat draait, bewegende objecten met een aanzienlijk grotere nauwkeurigheid kan herkennen dan algoritmen die op andere apparaten worden uitgevoerd.
“Eerdere op het netvlies geïnspireerde apparaten vertoonden alleen optische reacties en konden ze niet efficiënt opslaan, waardoor tijddomeinberekeningen voor bewegende doelen werden voorkomen”, zei Zhou. “De alles-in-één retino-morfische apparaten die we hebben voorgesteld, hebben niet-vluchtige bipolaire positieve en negatieve fotogeleiding, die ongekende temporele differentiële verwerking mogelijk maken en daarom kunnen worden toegepast op zowel bewegende doelen als statische afbeeldingen.”
De onderzoekers hebben hun ontwerp al gebruikt om een prototype van het retinomorfe apparaat te maken. In de toekomst kan dit apparaat worden gebruikt om op afstand verschillende omgevingen te bewaken of kan het worden geïntegreerd in robots om hun bewegingsdetectie- en herkenningsmogelijkheden te verbeteren.
“We hebben de functionaliteit en toepassingen van op het netvlies geïnspireerde apparaten uitgebreid met 2D-materialen en prototypedemonstraties geleverd voor de integratie van detectie, geheugen en computergebruik”, voegde Zhou eraan toe. “We zijn nu van plan om het apparaat dat we hebben gemaakt als model te gebruiken om een hardwarenetwerksysteem te bouwen. In dit stadium werken we al aan het verkennen van 2D-systeemprocessen en het bouwen van een testplatform.”
Zhenhan Zhang et al, Alles-in-één tweedimensionaal retinomorf hardwareapparaat voor bewegingsdetectie en -herkenning, Natuur Nanotechnologie (2021). DOI: 10.1038/s41565-021-01003-1
Natuur Nanotechnologie
