Een AI-optische microscoop analyseert 2D-materialen net zo nauwkeurig als menselijke experts

Haozhe “Harry” Wang’s elektrische en computertechnische laboratorium bij Duke verwelkomde dit najaar een ongewoon nieuw laboratoriumlid: kunstmatige intelligentie. Met behulp van openbaar beschikbare AI-basismodellen zoals OpenAI’s ChatGPT en Meta’s Segment Anything Model (SAM) bouwde Wang’s team ATOMIC (Autonomous Technology for Optical Microscopy & Intelligent Characterization) – een AI-microscoopplatform dat materialen in een fractie van de tijd net zo nauwkeurig kan analyseren als een getrainde afgestudeerde student.

“Het systeem dat we hebben gebouwd volgt niet alleen instructies, het begrijpt ze ook.” zei Wang. “ATOMIC kan een monster beoordelen, zelfstandig beslissingen nemen en resultaten produceren, evenals een menselijke expert.”

Gepubliceerd op 2 oktober in het tijdschrift ACS Nanode bevindingen wijzen op een nieuw tijdperk van autonoom onderzoek, waarin AI-systemen samenwerken met mensen om experimenten te ontwerpen, instrumenten uit te voeren en gegevens te interpreteren.

Hoe ATOMIC werkt

De groep van Wang bestudeert tweedimensionale (2D) materialen, kristallen van slechts één of enkele atomen dik die veelbelovende kandidaten zijn voor de volgende generatie halfgeleiders, sensoren en kwantumapparaten. Hun uitzonderlijke elektrische eigenschappen en flexibiliteit maken ze ideaal voor elektronica, maar fabricagefouten kunnen deze voordelen in gevaar brengen. Bepalen hoe de lagen zich opstapelen en of ze microscopisch kleine defecten bevatten, vergt moeizaam werk en jarenlange training.

“Om deze materialen te karakteriseren heb je meestal iemand nodig die elke nuance van de microscoopbeelden begrijpt,” zei Wang. “Het kost afgestudeerde studenten maanden tot jaren van wetenschapslessen en ervaring op hoog niveau om dat punt te bereiken.”

Om het proces te versnellen koppelde het team van Wang een kant-en-klare optische microscoop aan ChatGPT, waardoor het model basisbewerkingen kon uitvoeren, zoals het verplaatsen van het monster, het scherpstellen van het beeld en het aanpassen van de lichtniveaus. Daarbovenop zat SAM, een open source vision-model dat is ontworpen om afzonderlijke objecten te identificeren, wat, in het geval van materiaalmonsters, zowel gebieden met defecten als zuivere gebieden zou omvatten.

Samen vormden de twee AI’s een krachtig hulpmiddel in het laboratorium, een soort virtuele laboratoriumgenoot die zelfstandig kon zien, analyseren en handelen.

Om van AI voor algemeen gebruik een betrouwbare wetenschappelijke partner te maken, was er echter aanzienlijk maatwerk nodig van het Wang-lab. SAM kon regio’s binnen de microscopische afbeeldingen herkennen, maar worstelde met overlappende lagen, een veel voorkomend probleem in materiaalonderzoek. Om dat te ondervangen, voegden ze een topologisch correctiealgoritme toe om die gebieden te verfijnen, door enkellaagse gebieden te isoleren van meerlaagse stapels.

Ten slotte vroeg het team het systeem om de geïsoleerde gebieden te sorteren op hun optische kenmerken, wat ChatGPT autonoom kon doen.

De resultaten waren opmerkelijk: voor een reeks 2D-materialen presteerde de AI-microscoop beter dan of evenaarde menselijke analyses, waarbij laaggebieden en subtiele defecten met een nauwkeurigheid tot 99,4% werden geïdentificeerd. Het systeem handhaafde deze prestaties zelfs bij beelden die onder onvolmaakte omstandigheden waren vastgelegd, zoals overbelichting, slechte scherpstelling of weinig licht, en in sommige gevallen werden onvolkomenheden opgemerkt die onzichtbaar waren voor het menselijk oog.

“Het model zou korrelgrenzen kunnen detecteren op schalen die mensen niet gemakkelijk kunnen zien.” zei Jingyun “Jolene” Yang, een Ph.D. student in Wang’s laboratorium en eerste auteur op het papier. “Het is echter geen magie. Als we inzoomen, kan ATOMIC pixel voor pixel zien, waardoor het een geweldig hulpmiddel is voor ons laboratorium.”

Door microscopische defecten te lokaliseren en te categoriseren, helpt het systeem de groep van Wang het aantal lagen in een 2D-materiaal te bepalen en ongerepte gebieden te lokaliseren die geschikt zijn voor vervolgonderzoek. Die hoogwaardige gebieden kunnen vervolgens worden gebruikt voor ander onderzoek in Wangs laboratorium, zoals zachte robotica en elektronica van de volgende generatie.

Nog indrukwekkender was dat het systeem geen gespecialiseerde trainingsgegevens nodig had. Traditionele diepgaande leerbenaderingen hebben duizenden gelabelde afbeeldingen nodig. Van Wang “nulschot” De methode maakte gebruik van de reeds bestaande intelligentie van fundamentele modellen, getraind op brede gebieden van menselijke kennis, om zich onmiddellijk aan te passen.

Wat het betekent voor onderzoekers

Voor Wang gaat zijn enthousiasme over de innovatie niet alleen over snelheid. Het gaat er ook om dat hij zijn studenten leert de technologieën die ze tot hun beschikking hebben, te gebruiken als moderne onderzoekers.

“Het afgelopen jaar is AI veel vooruitgegaan en Dr. Wang zei dat als we dit tijdperk niet omarmen en geen gebruik maken van deze AI-tools, ze ons misschien zullen vervangen.” zei Yang. “We hebben het ATOMIC-systeem op veel monsters en onder verschillende omstandigheden getest, en het is behoorlijk robuust.”

Wang ziet potentiële toepassingen in verschillende disciplines, van scheikunde tot biologie, waar vervelende optische analyses vaak de voortgang vertragen. Het vereenvoudigen van deze workflows zou geavanceerd onderzoek kunnen openen voor studenten, industriële ingenieurs of iedereen met nieuwsgierigheid en een microscoop.

Tegelijkertijd benadrukt Wang hoe belangrijk het is om mensen op de hoogte te houden. Funderingsmodellen kunnen zich onvoorspelbaar gedragen en soms verschillende resultaten genereren voor identieke aanwijzingen. Zijn groep testte duizenden herhalingen om de robuustheid te beoordelen en ontdekte dat hoewel er kleine variaties optreden, de algehele nauwkeurigheid hoog blijft.

“Het doel is niet om expertise te vervangen; het is om het te versterken,” zei Wang. “We hebben nog steeds mensen nodig om te interpreteren wat de AI vindt en om te beslissen wat het betekent. Maar als je eenmaal een partner hebt die wekenlange analyses in slechts enkele seconden kan voltooien, zijn de mogelijkheden voor nieuwe ontdekkingen exponentieel.”