Op sommige winterse wegen is bestrating moeilijk te vinden. Sensortechnologie en beeldverwerking kunnen autonome voertuigen helpen om beter door sneeuwomstandigheden te navigeren. Krediet: Sarah Atkinson / Michigan Tech
Niemand houdt van rijden in een sneeuwstorm, ook niet voor autonome voertuigen. Om zelfrijdende auto’s veiliger te maken op besneeuwde wegen, bekijken ingenieurs het probleem vanuit het oogpunt van de auto.
Een grote uitdaging voor volledig autonome voertuigen is het navigeren door slecht weer. Sneeuw verstoort vooral cruciale sensorgegevens die een voertuig helpen de diepte te meten, obstakels te vinden en aan de juiste kant van de gele lijn te blijven, ervan uitgaande dat deze zichtbaar is. Met elke winter gemiddeld meer dan 200 centimeter sneeuw, is het Keweenaw-schiereiland in Michigan de perfecte plek om de technologie van autonome voertuigen tot het uiterste te drijven. In tweeën papers gepresenteerd op SPIE Defense + Commercial Sensing 2021, onderzoekers van Michigan Technological University bespreek oplossingen voor besneeuwde rijscenario’s dat zou kunnen helpen om zelfrijdende opties naar besneeuwde steden als Chicago, Detroit, Minneapolis en Toronto te brengen.
Net als het weer soms, is autonomie geen zonnige of besneeuwde ja-nee-aanduiding. Autonome voertuigen dekken een spectrum van niveaus, van auto’s die al op de markt zijn met dodehoekwaarschuwingen of remassistentie, tot voertuigen die in en uit de zelfrijdende modi kunnen schakelen, tot andere die volledig zelfstandig kunnen navigeren. Grote autofabrikanten en onderzoeksuniversiteiten zijn nog steeds bezig met het aanpassen van zelfrijdende technologie en algoritmen. Af en toe gebeuren er ongelukken, hetzij als gevolg van een verkeerde inschatting door de kunstmatige intelligentie (AI) van de auto of door misbruik van zelfrijdende functies door een menselijke bestuurder.
Mensen hebben ook sensoren: onze scanogen, ons gevoel voor evenwicht en beweging, en de verwerkingskracht van onze hersenen helpen ons onze omgeving te begrijpen. Deze schijnbaar basale inputs stellen ons in staat om in vrijwel elk scenario te rijden, zelfs als het nieuw voor ons is, omdat het menselijk brein goed is in het generaliseren van nieuwe ervaringen. In autonome voertuigen scannen twee camera’s die op cardanische ophangingen zijn gemonteerd en nemen die diepte waar met behulp van stereovisie om het menselijk zicht na te bootsen, terwijl balans en beweging kunnen worden gemeten met behulp van een traagheidsmeeteenheid. Maar computers kunnen alleen reageren op scenario’s die ze eerder zijn tegengekomen of die zijn geprogrammeerd om te herkennen.
Omdat kunstmatige hersenen er nog niet zijn, moeten taakspecifieke kunstmatige intelligentie (AI) -algoritmen het stuur overnemen, wat betekent dat autonome voertuigen moeten vertrouwen op meerdere sensoren. Fisheye-camera’s verbreden het zicht, terwijl andere camera’s veel op het menselijk oog lijken. Infrarood pikt hittesignaturen op. Radar kan door de mist en regen heen kijken. Lichtdetectie en -bereik (lidar) dringt door het donker en weeft een neon tapijt van laserdraden.
“Elke sensor heeft beperkingen en elke sensor bedekt de rug van een ander”, zegt Nathir Rawashdeh, assistent-professor informatica aan Michigan Tech’s College of Computing en een van de hoofdonderzoekers van het onderzoek. Hij werkt aan het samenbrengen van de gegevens van de sensoren via een AI-proces dat sensorfusie wordt genoemd.
“Sensorfusie gebruikt meerdere sensoren van verschillende modaliteiten om een ​​scène te begrijpen”, zei hij. “Je kunt niet voor elk detail uitputtend programmeren als de invoer moeilijke patronen heeft. Daarom hebben we AI nodig.”
De Michigan Tech-medewerkers van Rawashdeh zijn onder meer Nader Abu-Alrub, zijn doctoraatsstudent elektrotechniek en computertechnologie, en Jeremy Bos, assistent-professor elektrotechniek en computertechnologie, samen met masterstudenten en afgestudeerden van het laboratorium van Bos: Akhil Kurup, Derek Chopp en Zach Jeffries. Bos legt uit dat lidar-, infrarood- en andere sensoren op zichzelf als de hamer zijn in een oud gezegde. ” Voor een hamer ziet alles eruit als een spijker ”, citeerde Bos. ‘Nou, als je een schroevendraaier en een klinknagelpistool hebt, dan heb je meer opties.’
De meeste autonome sensoren en zelfrijdende algoritmen worden ontwikkeld in zonnige, heldere landschappen. Wetende dat de rest van de wereld niet zoals Arizona of Zuid-Californië is, begon het laboratorium van Bos tijdens hevige sneeuwval lokale gegevens te verzamelen in een autonoom voertuig van Michigan Tech (veilig bestuurd door een mens). Het team van Rawashdeh, met name Abu-Alrub, verzamelde meer dan 1000 frames van lidar-, radar- en beeldgegevens van besneeuwde wegen in Duitsland en Noorwegen om hun AI-programma te leren hoe sneeuw eruitziet en hoe je er voorbij kunt kijken.
“Alle sneeuw is niet gelijk gemaakt”, zei Bos, erop wijzend dat de verscheidenheid aan sneeuw sensordetectie een uitdaging maakt. Rawashdeh voegde eraan toe dat het voorverwerken van de gegevens en het zorgen voor nauwkeurige etikettering een belangrijke stap is om nauwkeurigheid en veiligheid te garanderen: “AI is als een chef-kok: als je goede ingrediënten hebt, is er een uitstekende maaltijd”, zei hij. “Geef het AI-leernetwerk vuile sensorgegevens en je krijgt een slecht resultaat.”
Gegevens van lage kwaliteit zijn een probleem, net als echt vuil. Net als straatvuil, is sneeuwophoping op de sensoren een oplosbaar maar hinderlijk probleem. Als het zicht eenmaal helder is, zijn autonome voertuigsensoren het nog steeds niet altijd eens over het detecteren van obstakels. Bos noemde een mooi voorbeeld van het ontdekken van een hert tijdens het opruimen van lokaal verzamelde gegevens. Lidar zei dat blob niets was (30% kans op een obstakel), de camera zag het als een slaperig mens achter het stuur (50% kans) en de infraroodsensor riep WHOA (90% zeker dat dat een hert is).
De sensoren en hun risicobeoordelingen laten praten en van elkaar leren, is als de Indiase gelijkenis van drie blinde mannen die een olifant vinden: elk raakt een ander deel van de olifant aan – het oor, de slurf en het been van het wezen – en komt bij een ander conclusie over wat voor soort dier het is. Met behulp van sensorfusie willen Rawashdeh en Bos dat autonome sensoren gezamenlijk het antwoord kunnen achterhalen – of het nu gaat om een ​​olifant, een hert of een sneeuwbank. Zoals Bos het stelt: “In plaats van strikt te stemmen, komen we met sensorfusie met een nieuwe schatting.”
Hoewel het navigeren door een Keweenaw-sneeuwstorm een ​​uitweg is voor autonome voertuigen, kunnen hun sensoren beter leren over slecht weer en zullen ze, met vooruitgang zoals sensorfusie, ooit veilig op besneeuwde wegen kunnen rijden.
Geleverd door Michigan Technological University
