![Naast de lichaamshoudingen van alle passagiers, detecteert het door Fraunhofer IOSB ontwikkelde inzittendenbewakingssysteem ook activiteiten en bijbehorende objecten. Credit: M. Zentsch/Fraunhofer IOSB Activiteitsdetectie in het voertuig](https://scx1.b-cdn.net/csz/news/800a/2021/activity-detection-ins.jpg)
Naast de lichaamshoudingen van alle passagiers, detecteert het door Fraunhofer IOSB ontwikkelde inzittendenbewakingssysteem ook activiteiten en bijbehorende objecten. Credit: M. Zentsch/Fraunhofer IOSB
Is de chauffeur moe of slaapt hij zelfs? Camera’s in het interieur van het voertuig kunnen dit in de gaten houden. Zeker bij automatisch rijden zijn interieurcamera’s belangrijk en wettelijk voorgeschreven. Een nieuw systeem, ontwikkeld door het Fraunhofer Institute for Optronics, System Technologies and Image Exploitation IOSB, is ‘s werelds eerste dat beeldgegevens kan gebruiken om conclusies te trekken over de activiteit van de bestuurder en te analyseren hoe snel hij de controle over het voertuig zou kunnen overnemen.
Bij geautomatiseerd rijden beslist het voertuig wat het moet doen: het stuurt, remt en accelereert. Echter, totdat voertuigen volledig kunnen afzien van een bestuurder, zullen semi-automatische voertuigen degene die aan het stuur zit ondersteunen om hen steeds meer vrijheid te geven. Bij semi-automatische voertuigen is het vanzelfsprekend dat de overdracht van het voertuig aan de bestuurder nog steeds nodig is, bijvoorbeeld bij bouwwerkzaamheden op de snelweg of bij de overgang van het rijden op de snelweg naar de stad. Het voertuig moet daarom intelligent zijn op twee niveaus: het moet het verkeer kunnen interpreteren en volgen wat er in het voertuig gebeurt, evenals interactie met de bestuurder. Wat doet de chauffeur? Hoe snel konden ze het voertuig onder controle krijgen? Hoewel er al drivermonitoringsystemen bestaan, gebruiken deze tot nu toe nauwelijks camerabeeldgegevens en beperken ze zich vooral tot vermoeidheidsdetectie.
Kunstmatige intelligentie detecteert wat de bestuurder doet
Onderzoekers van Fraunhofer IOSB richten zich op de interactie tussen de bestuurder en het voertuig en werken eraan om de hiaten te overbruggen. “Onze technologie stelt ons niet alleen in staat om gelaatstrekken te identificeren, maar ook de huidige houdingen van de bestuurder en de passagiers”, zegt Michael Voit, Group Manager bij Fraunhofer IOSB. “Dan kunnen we uit deze houdingen bepalen wat de bestuurder en passagiers op dit moment doen.”
De kern van de ontwikkeling zijn machine learning-algoritmen en -processen, zoals kunstmatige intelligentie (AI). Algoritmen analyseren de cameragegevens in realtime om erachter te komen of de bestuurder aan het bellen is, met kinderen speelt of naar de mobiele telefoon van een passagier kijkt. IOSB-technologie gaat dus verder dan beeldherkenning en interpreteert de activiteiten in context. De onderzoekers trainden het systeem eerst door handmatig talloze camerabeelden te annoteren: waar zijn de handen, voeten en schouders van mensen? Waar bevinden zich voorwerpen zoals smartphones, boeken en andere voorwerpen? Vervolgens evalueerden ze de algoritmen met behulp van nieuwe afbeeldingen en corrigeerden of verifieerden hun resultaten.
![Activiteitsdetectie in het voertuig](https://scx1.b-cdn.net/csz/news/800a/2021/activity-detection-ins-1.jpg)
Fraunhofer IOSB heeft een rijsimulator uitgerust met uitgebreide sensoren in het voertuiginterieur, die speciaal is ontworpen voor het uitvoeren van studies en het verzamelen van gegevens. Credit: M. Zentsch/Fraunhofer IOSB
Het systeem abstraheert beelden van de bestuurder of passagiers om een digitaal skelet te vormen – een soort stokfiguur die de lichaamshoudingen van de persoon nabootst. Het leidt vervolgens de activiteit af met behulp van de skeletbeweging en aanvullende objectherkenning. “De algoritmen kunnen daardoor zien of iemand slaapt of naar de straat kijkt, hoe afgeleid de persoon is en hoe lang het duurt voordat hij zich weer op de weg concentreert”, legt Voit uit. Het systeem ondersteunt zowel traditionele videocamera’s en infraroodcamera’s die in het donker kunnen zien, als 3D-camera’s die de afstand tussen objecten en de camera meten. Het systeem geeft zelfs interieurontwerpers vrijheid op het gebied van cameraplaatsing.
De onderzoekers hebben zich in tal van onderzoeksprojecten beziggehouden met kwesties met betrekking tot activiteitsdetectie in voertuiginterieurs, in samenwerking met gerenommeerde autofabrikanten zoals Audi en Volkswagen, maar ook met leveranciers zoals Bosch en Continental. De projecten zijn ondersteund door het Duitse Federale Ministerie van Onderwijs en Onderzoek (BMBF), het Duitse Federale Ministerie van Economische Zaken en Energie (BMWi) of het Federale Ministerie van Transport en Digitale Infrastructuur (BMVI). “We kunnen niet alleen de activiteiten van de bestuurder detecteren, maar ook die van alle passagiers, zowel voor als achter in het voertuig”, bevestigt Voit. “De technologie is klaar voor proefproductie. We hebben al contact met bedrijven die onze technologie willen gebruiken.” Koppeling aan de ontwikkelingen is de eigen rijsimulator van het instituut, waar industriële klanten ook van kunnen profiteren in het kader van individuele R&D-projecten. Het simuleert verkeerssituaties en vormt de basis voor het verzamelen van relevante rij- en gedragsgegevens. Bovendien maakt de uitgebreide sensortechnologie het mogelijk om het gedrag van alle passagiers te bestuderen.
Gegevensbescherming is een prioriteit
Wat betreft gegevensbescherming en beveiligingsaspecten hebben de onderzoekers dit vanaf het begin prioriteit gegeven. “De cameragegevens worden in realtime geanalyseerd, niet opgeslagen en verlaten het voertuig op geen enkel moment. Ook hiervoor zijn geen gepersonaliseerde modellen nodig, dus er worden geen persoonlijke gegevens verzameld”, zegt Pascal Birnstill, Senior Scientist bij Fraunhofer IOSB, die is gespecialiseerd in gegevensbeveiliging, gegevensbescherming en transparantie. De technologie respecteert vanaf het begin de privacy en voldoet dus aan de strenge regelgeving en het hoge niveau van bewustzijn van gegevensbescherming in de EU.
Talloze toepassingen – zelfs buiten activiteitsdetectie
Een nieuwe EU-verordening benadrukt hoe belangrijk activiteitsdetectie is; Het monitoren van bestuurders wordt verplicht in geautomatiseerde auto’s, ongeacht hun automatiseringsniveau. Met de Fraunhofer IOSB-technologie kunnen autofabrikanten niet alleen aan deze eis voldoen, maar ook tal van visies op autonoom rijden realiseren. Laten we een voorbeeld nemen: spraakherkenning voor communicatie tussen mensen en auto’s nadert snel zijn grenzen. Het commando “Parkeer daar” is op zich niet zinvol. Bij gebruik in combinatie met identificatie van lichaamshoudingen en activiteitsdetectie kan het systeem echter bepalen naar welke parkeerplaats de gebruiker op dat moment wijst. Het systeem kan ook helpen bij veiligheidsaspecten van voertuigen zonder bestuurder. Hoewel het momenteel nog steeds de verantwoordelijkheid van de bestuurder is om ervoor te zorgen dat alle passagiers zich aan de veiligheidsvoorschriften houden en bijvoorbeeld hun veiligheidsgordels vastmaken, zal dit binnenkort de taak zijn van het voertuig zonder bestuurder, zoals autonome taxi’s of bussen. Ook hiervoor is een betrouwbare bewaking van het interieur van het voertuig onontbeerlijk.
Geleverd door Fraunhofer-Gesellschaft