Een op grafeen gebaseerde transparante fotodetectorarray (fungeert als twee lagen sensoren in een camera) meet de focale stapelbeelden van een puntobject gesimuleerd door een groene laserstraal te focussen op een kleine plek voor de lens in het lab van Ted Norris in het noorden. Campus in Ann Arbor, MI op 27 januari 2021. Norris en zijn team vervaardigden een prototype van transparante fotodetector-arrays met grafeen op glas en gebruikten twee stukken van de detector-arrays die iets van elkaar waren gescheiden en achter een beeldvormende lens om de mogelijke toepassingen in 3D te demonstreren objecttraceringstaken. Met de toepassing van dit prototype zal dit helpen bij autonoom rijden en robotica, door te reageren op bewegende objecten die hun perceptie-eenheden nodig hebben om niet alleen te verkrijgen wat ze zijn, maar ook waar en hoe ver ze in realtime zijn. Krediet: Robert Coelius / Michigan Engineering, Communications and Marketing
Een nieuw real-time, 3D-bewegingsvolgsysteem, ontwikkeld aan de Universiteit van Michigan, combineert transparante lichtdetectoren met geavanceerde neurale netwerkmethoden om een systeem te creëren dat op een dag LiDAR en camera’s in autonome technologieën zou kunnen vervangen.
Hoewel de technologie nog in de kinderschoenen staat, omvatten toekomstige toepassingen geautomatiseerde productie, biomedische beeldvorming en autonoom rijden. Een paper over het systeem is gepubliceerd in Nature Communications.
Het beeldvormingssysteem maakt gebruik van de voordelen van transparante, zeer gevoelige grafeenfotodetectoren op nanoschaal, ontwikkeld door Zhaohui Zhong, universitair hoofddocent elektrotechniek en computertechnologie aan de UM, en zijn groep. Ze worden verondersteld de eersten in hun soort te zijn.
“De diepgaande combinatie van grafeen-nanodevices en machine learning-algoritmen kan leiden tot fascinerende kansen in zowel wetenschap als technologie”, zegt Dehui Zhang, een doctoraatsstudent in elektrotechniek en computertechnologie. “Ons systeem combineert rekenkracht-efficiëntie, hoge trackingsnelheid, compacte hardware en lagere kosten in vergelijking met verschillende andere oplossingen.”
De grafeenfotodetectors in dit werk zijn aangepast om slechts ongeveer 10% van het licht waaraan ze worden blootgesteld te absorberen, waardoor ze bijna transparant zijn. Omdat grafeen zo gevoelig is voor licht, is dit voldoende om afbeeldingen te genereren die kunnen worden gereconstrueerd door middel van computationele beeldvorming. De fotodetectoren zijn achter elkaar gestapeld, wat resulteert in een compact systeem, en elke laag focust op een ander brandvlak, waardoor 3D-beeldvorming mogelijk is.
Maar 3D-beeldvorming is nog maar het begin. Het team pakte ook realtime bewegingsregistratie aan, wat cruciaal is voor een breed scala aan autonome robottoepassingen. Om dit te doen, hadden ze een manier nodig om de positie en oriëntatie van een te volgen object te bepalen. Typische benaderingen zijn LiDAR-systemen en lichtveldcamera’s, die beide aan aanzienlijke beperkingen lijden, zeggen de onderzoekers. Anderen gebruiken metamaterialen of meerdere camera’s. Hardware alleen was niet voldoende om de gewenste resultaten op te leveren.
Ze hadden ook diepgaande leeralgoritmen nodig. Zhen Xu, een doctoraalstudent in elektrotechniek en computertechnologie, hielp deze twee werelden te overbruggen. Hij bouwde de optische opstelling en werkte samen met het team om een neuraal netwerk in staat te stellen de positionele informatie te ontcijferen.
Een op grafeen gebaseerde transparante fotodetectorarray (fungeert als twee lagen sensoren in een camera) meet de focale stapelbeelden van een puntobject gesimuleerd door een groene laserstraal te focussen op een kleine plek voor de lens in het lab van Ted Norris in het noorden. Campus in Ann Arbor, MI op 27 januari 2021. Norris en zijn team fabriceerden een prototype van transparante fotodetector-arrays met grafeen op glas en gebruikten twee stukken van de detector-arrays die iets van elkaar gescheiden waren en achter een beeldvormende lens om de mogelijke toepassingen in 3D te demonstreren objecttraceringstaken. Met de toepassing van dit prototype zal dit helpen bij autonoom rijden en robotica, door te reageren op bewegende objecten die hun perceptie-eenheden nodig hebben om niet alleen te verkrijgen wat ze zijn, maar ook waar en hoe ver ze in realtime zijn. Krediet: Robert Coelius / Michigan Engineering, Communications and Marketing
Het neurale netwerk is getraind om naar specifieke objecten in de hele scène te zoeken en vervolgens alleen te focussen op het gewenste object, bijvoorbeeld een voetganger in het verkeer of een object dat uw rijstrook op een snelweg binnenrijdt. De technologie werkt vooral goed voor stabiele systemen, zoals geautomatiseerde productie, of het projecteren van menselijke lichaamsstructuren in 3D voor de medische gemeenschap.
“Het kost tijd om je neurale netwerk te trainen”, zegt projectleider Ted Norris, hoogleraar elektrotechniek en computertechnologie. “Maar als het klaar is, is het klaar. Dus als een camera een bepaalde scène ziet, kan hij binnen milliseconden een antwoord geven.”
Promovendus Zhengyu Huang leidde het algoritme-ontwerp voor het neurale netwerk. Het type algoritmen dat het team heeft ontwikkeld, wijkt af van traditionele signaalverwerkingsalgoritmen die worden gebruikt voor langdurige beeldtechnologieën zoals röntgenstraling en MRI. En dat is opwindend voor teamco-leider Jeffrey Fessler, hoogleraar elektrotechniek en computertechnologie, die gespecialiseerd is in medische beeldvorming.
“In mijn 30 jaar in Michigan is dit het eerste project waar ik bij betrokken ben waar de technologie nog in de kinderschoenen staat”, zei Fessler. ‘We zijn ver verwijderd van iets dat je bij Best Buy gaat kopen, maar dat is oké. Dat is een deel van wat dit opwindend maakt.’
Het team toonde succes aan door een lichtstraal te volgen, evenals een echt lieveheersbeestje met een stapel van twee 4×4 (16 pixel) fotodetectors van grafeen. Ze hebben ook bewezen dat hun techniek schaalbaar is. Ze denken dat er voor sommige praktische toepassingen slechts 4.000 pixels nodig zijn, en 400×600 pixelmatrices voor veel meer.
Hoewel de technologie kan worden gebruikt met andere materialen, zijn de extra voordelen van grafeen dat het geen kunstmatige verlichting nodig heeft en dat het milieuvriendelijk is. Het zal een uitdaging zijn om de productie-infrastructuur te bouwen die nodig is voor massaproductie, maar het is misschien de moeite waard, zeggen de onderzoekers.
“Grafeen is nu wat silicium was in 1960”, zei Norris. “Terwijl we doorgaan met het ontwikkelen van deze technologie, zou dit het soort investering kunnen motiveren dat nodig zou zijn voor commercialisering.”
De paper is getiteld “Neural Network Based 3D Tracking with a Graphene Transparent Focal Stack Imaging System.”
Nature Communications
Geleverd door University of Michigan
