Verzamelingen van verkeersbeelden die worden gebruikt om de waarnemingsmogelijkheden van zelfrijdende auto’s te verbeteren

Als zelfrijdende auto’s veilig door het verkeer willen navigeren, moeten ze de dingen om hen heen ‘begrijpen’.

Dit kunnen ze leren door te oefenen met bestaande beelden van verkeerssituaties. Panagiotis Meletis combineerde verschillende verzamelingen verkeersbeelden om de waarnemingsmogelijkheden van de zelfrijdende auto van de TU/e ​​te vergroten.

Staat die jonge man met die pet op iemand te wachten, of is hij van plan de straat over te steken? Een bal rolt de straat op, komt er een kind achter aan rennen? En gaat die kleine blauwe Toyota parallel parkeren, of staat hij op het punt weg te rijden? Als je in de stad met de auto rijdt, moet je dit soort situaties voortdurend inschatten, wat een serieus verkeersinzicht vereist van de persoon achter het stuur. Een van de grote uitdagingen voor een zelfrijdende auto is dan ook om op basis van de dingen die hij om zich heen ‘ziet’ de juiste conclusies te trekken, zodat hij kan anticiperen op onverwachte situaties – een voorwaarde om veilig deel te nemen aan het verkeer.

De eerste stap naar meer inzicht in verkeerssituaties, is het correct bepalen van de verschillende objecten in de beelden die een autonoom voertuig van zijn camera ontvangt, legt de Griekse onderzoeker Panagiotis Meletis uit. Binnen de groep Video Coding & Architectures, gespecialiseerd in beeldherkenning, werkte hij aan een project van het Mobile Perception Systems Lab: een zelfrijdende auto die regelmatig een proefrit maakt op de TU/e-campus. “Hij moet kunnen bepalen of hij een verkeerslicht of een boom, een voetganger, een fietser of een voertuig ziet.” En op een meer gedetailleerd niveau moet het ook wielen of ledematen kunnen herkennen, omdat deze de bewegingsrichting en intenties van de weggebruikers aangeven.

Grijze torso’s

Je kunt een kunstmatig neuraal netwerk (de kunstmatige intelligentie, of AI) leren een verkeersscène te analyseren door het grote hoeveelheden beelden van verkeerssituaties te voeren, waarin alle relevante elementen zijn gelabeld. Vervolgens kunt u het begripsniveau van de AI meten door nieuwe, niet-gelabelde afbeeldingen in te voeren. Een voorbeeld van zo’n afbeelding is hieronder te zien. In de onderste afbeelding laten de kleuren ons zien hoe de AI de afbeelding interpreteerde: auto’s zijn blauw, fietsen zijn donkerrood, de armen van mensen zijn oranje gekleurd en hun torso’s zijn grijs.

Toen Meletis aan zijn promotieonderzoek begon, waren er volgens hem maar een paar publiek beschikbare beelddatasets met verkeerstaferelen. “Nu zijn het er tientallen met elk hun eigen focus. Denk aan beelden met verkeerslichten, beelden met fietsers, voetgangers, enzovoort.” Het probleem was echter dat elke dataset gelabeld was met een ander systeem.

Wat Meletis bijdroeg, was het feit dat hij die labels op een hoger zogenaamd semantisch niveau wist te verbinden. “Om een ​​idee te geven: auto’s, bussen en vrachtwagens horen allemaal in de categorie ‘voertuig’. En fietsers, motorrijders en chauffeurs zijn allemaal specifieke voorbeelden van ‘chauffeurs’. Met behulp van die definities kon ik onze AI met alle beschikbare datasets tegelijk trainen. Dit leverde direct veel betere resultaten op.”

Zware regen

De kracht van zijn methode werd bewezen tijdens een workshop die werd georganiseerd als onderdeel van de Conference on Computer Vision and Pattern Recognition in 2018. “Dit is een grote jaarlijkse conferentie met meer dan tienduizend deelnemers, waaronder alle grote techbedrijven. Een van de wedstrijden die jaar ging over ‘robuust zicht’, waarbij verkeersbeelden met visuele gevaren, zoals zware regenval of overmatige blootstelling aan zonlicht, moesten worden geanalyseerd. Ons systeem presteerde beter dan alle andere deelnemers op een dataset die veel van dergelijke gedegradeerde beelden bevatte.”

Het afgelopen jaar is Meletis als postdoc aan dit project blijven werken, terwijl hij zijn scriptie aan het reviewen was, wat gebruikelijk is in zijn groep. “In die tijd zijn we erin geslaagd om twee nieuwe datasets samen te stellen voor holistisch begrip van scènes.” En voordat de pandemie uitbrak, maakte Meletis deel uit van het communicatieteam van de TU/e ​​dat studenten en promovendi werft. kandidaten in zijn thuisland Griekenland. “Ik ben erg enthousiast over de universiteit en de sfeer in Eindhoven, en dat wilde ik ook overbrengen op mijn landgenoten, die misschien niet de stap zouden zetten en uit angst voor het onbekende naar de TU/e ​​zouden gaan.”

En de toekomst? “Ik ben op zoek naar een baan waar ik de meest recente wetenschappelijke inzichten in de praktijk hoop te brengen, ergens op het snijvlak van wetenschap en industrie. Het liefst in Nederland of ergens anders in Europa vanwege de pandemie. Verenigde Staten wanneer de timing geschikt is.”