Beeldreconstructies van een walnoot, elk gebaseerd op 32 scans. Linker en midden dankzij standard algoritmes. Rechts dankzij neuraal netwerk algoritmes.
Mede dankzij de opkomst van virtual en augmented reality zijn 3D scans van personen en objecten inmiddels gemeengoed. Zelfs met een smartphone kom je voor bepaalde toepassingen al een heel eind. Een 3D scan maken van de binnenkant van een object blijft echter een lastige opgave. Meest gangbare techniek is nog steeds met behulp van X-stralen, ook bekend als een CT-scan of computertomografie. Meerdere sectoren maken er al gebruik van. Denk aan inspectie van bagage in de luchthaven, kwaliteitscontrole van producten zoals diamanten, fruit, bloembollen en zaden, controle van complexe onderdelen in de maakindustrie enzovoort. De technologie kan een meerwaarde bieden in zowat elke sector waar visuele kwaliteitscontrole om de hoek komt kijken, maar ontoereikend is. Nu is het toepassen van dergelijke inspectiemethodes niet altijd even evident en het is daar waar de ASTRA toolbox haar kracht ontplooit.
Uitdagingen bij beeldreconstructie
Een CT-scanner - de grote donutvormige machine waar je in het ziekenhuis in moet liggen – is waarschijnlijk de meest bekende toepassing van computertomografie. Hierbij draaien een X-straalbron en een detector die er tegenover staat enkele keren per seconde rond je lichaam om vanuit verschillende posities beelden te maken. Omdat bepaalde materialen en weefsels de straling meer absorberen dan andere, krijg je contrast en dus informatie over de binnenkant van je lichaam. Slimme software kan deze tweedimensionale foto’s dan omzetten in een driedimensionaal beeld, in dit geval voor het stellen van een diagnose. De technologie voor deze relatief gecontroleerde en gestandaardiseerde methode staat al jaren op punt.
Beeldreconstructies van een plastic onderdeel tonen interne barsten. Bovenste beelden gemaakt met standard algoritmes vereisen 1500 scans. Onderste beelden gemaakt met neuraal netwerk algoritmes vereisen slechts 50 scans.
Maar wat als de omstandigheden minder optimaal zijn? Zo kan de scanner niet altijd helemaal om het object, of volgt hij een andere dan cirkelvormige baan. Soms zorgen bepaalde materialen, interferenties of bewegingsartefacten voor ruis en onduidelijke opnames. Ook wil je het aantal tweedimensionale beelden tot een minimum beperken. Om gezondheidsredenen (X-stralen zijn schadelijk voor de mens) of vanwege besparing in tijd en geld. Tien jaar geleden was er geen enkele software beschikbaar om in deze context aan beeldreconstructie te doen. Voor Vision Lab de aanleiding om in 2008 met de ontwikkeling van de ASTRA toolbox te beginnen en hier een antwoord op te bieden. In de beginjaren mede dankzij steun van Agentschap Innoveren en Ondernemen (VLAIO) en sinds 2014 gebeurt de ontwikkeling in samenwerking met CWI, het Centrum voor Wiskunde en Informatica in Amsterdam.
4D beeldreconstructie van een vloeistof die tussen rotsen vloeit. Links: standard algoritmes vertonen veel ruis en interferentie vanwege de bewegende vloeistof. Rechts: slimme algoritmes geven een scherp onderscheid tussen de rotsen en de bewegende vloeistof op basis van hetzelfde aantal scans.
Toekomst bestendig
Grootste kracht van de toolbox is dat de ontwikkeling ervan blijft inspelen op een aantal belangrijke trends en uitdagingen in het domein. Zo is 4D beeldvorming, waarbij objecten veranderen in tijd, momenteel een van de grote aandachtspunten in het academisch onderzoek. Hoe breng je een vloeistofstroom in beeld (denk aan de contrastvloeistof bij een medische scan)? Of de compressie van schuim? En wat doe je met objecten die over een lopende band voorbijkomen en waarvan je niet weet in welke positie je ze ‘fotografeert’? Voor al deze scenario’s heeft Vision Lab al prototype algoritmes - sommige op basis van neurale netwerken en zelflerende systemen - die het als applicatie bovenop de toolbox programmeert.
4D beeldreconstructie van het samendrukken van een schuim. Beide beelden zijn gemaakt met een gelijk aantal scans. Boven: algoritmes behandelen elke scan afzonderlijk om de reconstructie in de tijd te maken. Onderste beeld is scherper omdat deze algoritmes bij de analyse van elke scan ook de informatie van voorafgaande scans meenemen en op die manier extra informatie genereren over het gedrag van het schuim.
Idem voor beeldvorming gebaseerd op faseverschuiving in plaats van absorptie van de straling: een techniek die in bepaalde gevallen toelaat om meer contrast – en dus meer details – te genereren. Vision Lab pioniert ook hier in de compatibiliteit met flexibele opstellingen.
De toolbox is ook bruikbaar voor beeldreconstructie via andere elektromagnetische bronnen. Denk aan elektronenmicroscopie of multispectrale beeldvorming. Met imec Florida wordt samengewerkt op het vlak van Teraherz imaging, een techniek die gebruikt maakt van niet schadelijke straling en weleens een revolutie kan betekenen in de (medische) beeldvorming.
Tot slot werkt Vision Lab ook aan hardware oplossingen waarin dezelfde flexibiliteit wordt nagestreefd. Bijvoorbeeld door drie vrijheidsgraden toe te laten in de configuraties van bron, sample en detector en een slimme koppeling te maken met de software, kan je haast in elk scenario met een minimaal aantal beelden een optimaal resultaat krijgen.
Veelzijdig en flexibel
Ondertussen staat het meest flexibele softwarepakket al ruim zes jaar online. Voor de technici: de huidige versie ondersteunt meerdere beeldgeometrieën (zowel voor 2D als 3D reconstructies), met telkens een flexibele instelling ten aanzien van de onderlinge positie van bron en detector. Meerdere reconstructiealgoritmes zijn beschikbaar (FBP, SIRT, SART, CGLS…) om dankzij de juiste keuze een optimaal resultaat te krijgen. Alle basisalgoritmes voor voorwaartse en terugwaartse projectie zijn grafisch (GPU-) versneld en kunnen rechtstreeks opgeroepen en aangepast worden vanuit Python of Matlab. Voor wie al dit jargon Chinees is, organiseert Vision Lab occasioneel trainingen of biedt het technische ondersteuning aan onderzoekspartners en betalende klanten.
De gebruikers van de zowat 5000 jaarlijkse downloads kunnen ingedeeld worden in twee grote groepen. Enerzijds maken universitaire onderzoeksgroepen wereldwijd er gebruik van in de domeinen van geneeskunde, natuurkunde en beeldvormingstechnieken. Ook draait de software in een heel aantal deeltjesversnellers, zoals het ESRF in Grenoble, waar met de meest intense X-stralenbundel ter wereld materialen worden onderzocht. Anderzijds zijn er de bedrijven. Gaande van de energiesector, de voeding- en automobielindustrie tot het controleren van diamanten en 3D prints. Dankzij de snelheid en de veelzijdigheid van de software is de ASTRA toolbox in veel toepassingsdomeinen niet meer weg te denken.
Links van de pijl: klassieke beeldreconstructie van een goud nanodeeltje. Enkel grijswaarden kunnen onderscheiden worden. Rechts van de pijl: dankzij slimme algoritmes kan een rendering gemaakt worden van de individuele atoomposities om zo de kristalstructuur te analyseren.
Open source en valorisatie
Wie voldoende onderlegd is, kan de broncode downloaden via github. Vision Lab maakte van bij de start een bewuste keuze om de generieke code open source te delen en dat heeft hun onderzoek geen windeieren gelegd. Zo zorgde het voor eenvoudige opschaling van het aantal gebruikers en dus ook de bekendheid en relevantie in het domein. Ook gingen er veel deuren eenvoudiger open omdat het duidelijk is dat je niks te verbergen hebt. En de ontwikkelaars kregen veel credits terug (publicaties, citaties) in ruil voor wat ze zelf ter beschikking stelden. Tot slot is het een kwaliteitskeurmerk als veel gebruikers je software zonder probleem kunnen downloaden en implementeren.
Dit alles zet voor imec Vision Lab inmiddels de weg open naar verdere valorisatie. Waar de generieke broncode volledig online staat, ontwikkelde het er bovenop een aantal specifieke industriële toepassingen. Imec Vision Lab wil graag in zee met bedrijven waarvoor de technologie een winst kan betekenen in de efficiëntie en de kwaliteit van hun productieproces. Vanwege de onbekendheid van de mogelijkheden van de technologie is het potentieel vaak groter dan waar het bedrijf zich zelf bewust van is.
Meer weten?
- De ASTRA toolbox download en documentatie zijn vrij beschikbaar online.
