Met open-sourcesoftware kunnen onderzoekers structuren op nanoschaal in realtime visualiseren

Deze weergave van platina-nanodeeltjes op een koolstofdrager laat zien hoe tomviz microscopiegegevens interpreteert terwijl deze worden gemaakt, waarbij het van een schaduwbeeld naar een gedetailleerde weergave gaat. Krediet: Jonathan Schwartz et al, Natuurcommunicatie (2022). DOI: 10.1038/s41467-022-32046-0

Ontwerpers van computerchips, materiaalwetenschappers, biologen en andere wetenschappers hebben nu een ongekend niveau van toegang tot de wereld van nanoschaalmaterialen dankzij 3D-visualisatiesoftware die rechtstreeks verbinding maakt met een elektronenmicroscoop, waardoor onderzoekers 3D-visualisaties van nanomaterialen in realtime kunnen zien en manipuleren .

Ontwikkeld door een team van ingenieurs en softwareontwikkelaars onder leiding van de Universiteit van Michigan, zijn de mogelijkheden opgenomen in een nieuwe bètaversie van tomviz, een open-source 3D-tool voor gegevensvisualisatie die al door tienduizenden onderzoekers wordt gebruikt. De nieuwe versie vindt het visualisatieproces opnieuw uit, waardoor het mogelijk is om in minuten in plaats van dagen van microscoopmonsters naar 3D-visualisaties te gaan.

Naast het sneller genereren van resultaten, stellen de nieuwe mogelijkheden onderzoekers in staat om 3D-visualisaties te zien en te manipuleren tijdens een lopend experiment. Dat zou het onderzoek op gebieden als microprocessors, accu’s van elektrische voertuigen, lichtgewicht materialen en vele andere drastisch kunnen versnellen.

“Het is bijvoorbeeld al lang een droom van de halfgeleiderindustrie om tomografie in een dag te kunnen doen, en hier hebben we het teruggebracht tot minder dan een uur”, zegt Robert Hovden, een assistent-professor materiaalkunde en engineering aan de UM en corresponderende auteur op het papier, gepubliceerd in Natuurcommunicatie. “Je kunt beginnen met interpreteren en wetenschap doen voordat je zelfs maar klaar bent met een experiment.”

Hovden legt uit dat de nieuwe software gegevens rechtstreeks uit een elektronenmicroscoop haalt terwijl deze is gemaakt en de resultaten onmiddellijk weergeeft, een fundamentele verandering ten opzichte van eerdere versies van tomviz. In het verleden verzamelden onderzoekers gegevens van de elektronenmicroscoop, die honderden tweedimensionale projectiebeelden van een nanomateriaal vanuit verschillende hoeken maakt. Vervolgens brachten ze de projecties terug naar het laboratorium om ze te interpreteren en voor te bereiden voordat ze ze aan tomviz voerden, wat enkele uren zou duren om een ​​3D-visualisatie van een object te genereren. Het hele proces duurde dagen tot een week, en een probleem met één stap van het proces betekende vaak opnieuw beginnen.

De nieuwe versie van tomviz doet alle interpretatie en verwerking ter plaatse. Onderzoekers krijgen binnen enkele minuten een schimmige maar bruikbare 3D-weergave, die geleidelijk verbetert tot een gedetailleerde visualisatie.

“Als je in een onzichtbare wereld zoals nanomaterialen werkt, weet je nooit echt wat je gaat vinden totdat je het begint te zien,” zei Hovden. “Dus het vermogen om te beginnen met interpreteren en aanpassingen te maken terwijl je nog onder de microscoop ligt, maakt een enorm verschil in het onderzoeksproces.”

De enorme snelheid van het nieuwe proces zou ook nuttig kunnen zijn in de industrie – fabrikanten van halfgeleiderchips zouden bijvoorbeeld tomografie kunnen gebruiken om tests uit te voeren op nieuwe chipontwerpen, op zoek naar fouten in driedimensionale schakelingen op nanoschaal die veel te klein zijn om te zien. In het verleden was het tomografieproces te traag om de honderden tests uit te voeren die nodig waren in een commerciële faciliteit, maar Hovden gelooft dat tomviz dat kan veranderen.

Hovden benadrukt dat tomviz kan worden uitgevoerd op een standaard laptop van consumentenkwaliteit. Het kan worden aangesloten op nieuwere of oudere modellen van elektronenmicroscopen. En omdat het open source is, is de software zelf voor iedereen toegankelijk.

“Open-source software is een geweldig hulpmiddel om de wetenschap wereldwijd te versterken. We hebben de verbinding tussen tomviz en de microscoop agnostisch gemaakt voor de fabrikant van de microscoop,” zei Hovden. “En omdat de software alleen kijkt naar de gegevens van de microscoop, maakt het niet uit of die microscoop het nieuwste model van de UM is of een twintig jaar oude machine.”

Om de nieuwe mogelijkheden te ontwikkelen, heeft het UM-team gebruik gemaakt van zijn langdurige samenwerking met softwareontwikkelaar Kitware en heeft het ook een team van wetenschappers aangetrokken die werken op het snijvlak van datawetenschap, materiaalwetenschap en microscopie.

Aan het begin van het proces werkte Hovden samen met Marcus Hanwell van Kitware en Brookhaven National Laboratory om het idee van een versie van tomviz aan te scherpen die realtime visualisatie en experimenten mogelijk zou maken. Vervolgens werkten de ontwikkelaars van Hovden en Kitware samen met UM-onderzoeker materiaalwetenschap en techniek, Jonathan Schwartz, microscopie-onderzoeker Yi Jiang en machine learning en materiaalwetenschapsexpert Huihuo Zheng, beiden van het Argonne National Laboratory, om algoritmen te bouwen die snel en nauwkeurig elektronenmicroscopiebeelden kunnen omzetten. in 3D-visualisaties.

Toen de algoritmen eenmaal voltooid waren, werkten Cornell-hoogleraar toegepaste en technische fysica David Muller en Peter Ericus, een stafwetenschapper bij de Molecular Foundry van Berkeley Lab, samen met Hovden om een ​​gebruikersinterface te ontwerpen die de nieuwe mogelijkheden zou ondersteunen.

Ten slotte werkte Hovden samen met professor materiaalwetenschap en techniek Nicholas Kotov, niet-gegradueerde datawetenschapper Jacob Pietryga, bio-interfaceonderzoeker Anastasiia Visheratina en chemisch technologieonderzoeker Prashant Kumar, allemaal aan de UM, om een ​​nanodeeltje te synthetiseren dat kan worden gebruikt voor real-world testen van de nieuwe mogelijkheden, om zowel hun nauwkeurigheid te garanderen als te pronken met hun capaciteiten. Ze vestigden zich op een nanodeeltje in de vorm van een helix, ongeveer 100 nanometer breed en 500 nanometer lang. De nieuwe versie van tomviz werkte zoals gepland; binnen enkele minuten genereerde het een beeld dat schimmig maar gedetailleerd genoeg was voor de onderzoekers om belangrijke details te onderscheiden, zoals de manier waarop het nanodeeltje draait, ook wel bekend als chiraliteit. Ongeveer 30 minuten later losten de schaduwen op in een gedetailleerde, driedimensionale visualisatie.

De broncode voor de nieuwe bètaversie van tomviz is vrij beschikbaar om te downloaden op GitHub. Hovden is van mening dat het nieuwe mogelijkheden zal openen voor gebieden die verder gaan dan materiaalgerelateerd onderzoek; velden zoals biologie zijn ook klaar om te profiteren van toegang tot realtime elektronentomografie. Hij hoopt ook dat de “software as science”-benadering van het project nieuwe innovatie zal stimuleren op het gebied van wetenschap en softwareontwikkeling.

“We hebben echt een interdisciplinaire benadering van onderzoek op het snijvlak van computerwetenschap, materiaalwetenschap, natuurkunde en scheikunde,” zei Hovden. “Het is één ding om echt coole algoritmen te maken die alleen jij en je afgestudeerde studenten weten te gebruiken. Het is iets anders als je laboratoria over de hele wereld in staat kunt stellen deze ultramoderne dingen te doen.”

Kitware-medewerkers aan het project waren Chris Harris, Brainna Major, Patrick Avery, Utkarsh Ayachit, Berk Geveci, Alessandro Genova en Hanwell. Kotov is ook de Irving Langmuir Distinguished University Professor of Chemical Sciences and Engineering, Joseph B. en Florence V. Cejka Professor of Engineering, en een professor in chemische technologie en macromoleculaire wetenschap en techniek.

“Ik ben enthousiast over alle nieuwe wetenschappelijke ontdekkingen en 3D-visualisaties die uit de materiaalwetenschaps- en microscopiegemeenschap zullen komen met ons nieuwe realtime tomografieraamwerk,” zei Schwartz.