De imec-reeks 10’ Tech werd speciaal ontwikkeld voor iedereen die een woordje wil kunnen meespreken over de grote technologische innovaties van de 21ste eeuw. In elk artikel worden de geheimen ontrafeld van één spitstechnologie die het leven van elke dag beïnvloedt. Zowel de werking van die technologie, (mogelijke) toepassingsgebieden, het ontstaan ervan, en toekomstige ontwikkelingen komen kort aan bod.
Eerste stapjes in de ruimte
Het verhaal van hyperspectrale beeldvorming begint in de ruimte. In 1972 lanceert NASA de Landsat 1, een satelliet die de geologische diversiteit van het aardoppervlak in beeld moet brengen. Aan boord is een experimentele versie van de multispectrale scanner. Deze scant, zes lijnen per keer, het aardoppervlak dat loodrecht onder de cirkelende satelliet verschijnt. Het resultaat zijn 4 spectrale banden: zichtbaar groen (0,5 tot 0,6 µm), zichtbaar rood (0,6 tot 0,7 µm) en 2 banden met nabij-infrarood, 0,7 tot 0,8 µm en 0,8 tot 1,1 µm.
Het duurt niet lang voor de gloednieuwe technologie haar kracht bewijst: grenzen van landen worden nauwkeuriger hertekend,de toenmalige ontbossingstrend wordt accuraat gekwantificeerd en een onbewoond eiland dat voor de kust van Canada ontdekt wordt, krijgt bij wijze van eerbetoon zelfs de naam ‘Landsat Island’.
Om verder aan de slag te gaan met de data van deze nieuwe teledetectietechnologie, richt NASA het Landsat Principal Investigators Program (LPIP) op. En ook de Europese Ruimtevaartorganisatie ESA lanceert een eigen reeks aardobservatiesatellieten (Sentinel 2). Intussen worden in het educatief programma van ESA zelfs Cubesats, kubusvormige minisatellieten, de ruimte ingeschoten. Cubesats zijn samengesteld uit één of meerdere kubussen met zijden van 10 cm en een gewicht van amper 1,33 kg. Om het aardoppervlak goed te monitoren, zijn ze uitgerust met een hyperspectrale camera. Zoiets zou in de begindagen van multisceptrale beeldvorming niet denkbaar geweest zijn. Waarom kan het dan vandaag wel? Het antwoord is chiptechnologie.
Dallas-Fort Worth kwam op 25 juli 1972 in het vizier van Landsat 1. In dit beeld wijzen roodtinten op begroeid land en grijs en wit op stedelijke of rotsachtige oppervlakken. Het beeld is samengesteld uit nabij-infrarode, rode en groene spectrale banden. (Bron: Publiek domein)
Het huwelijk met chiptechnologie: kleiner en sneller
Dat de technologie superieure inzichten en mogelijkheden zou bieden, was van meet af aan duidelijk. Toch waren hyperspectrale camera’s danig duur dat ze lange tijd alleen geschikt waren voor een klein aantal high-endtoepassingen in een laboratorium of in de ruimtevaart. De camera’s moesten namelijk met de hand geassembleerd worden, op basis van een groot aantal componenten, waaronder dure en zware precisie-optica in glas. Die assemblage moest bovendien zeer nauwkeurig gebeuren en vereiste een ingewikkelde kalibratie. De camera’s kostten dan ook gauw ruim honderdduizend euro.
Recent kwam daar verandering in: onderzoekers zijn er namelijk in geslaagd om hyperspectrale filters op een beeldsensorchip te integreren. Zulke beeldsensoren worden in massa geproduceerd, met een kost die vergelijkbaar is met die van gewone computerchips. De camera’s die rond deze chips worden gebouwd, kunnen bovendien licht en compact zijn, waardoor ze eenvoudig op een drone of in een smartphone bevestigd kunnen worden, of waardoor ze ingebouwd kunnen worden in fijne medische instrumenten en minisatelieten. De beeldsensoren en de hyperspectrale filter zelf kunnen dan weer ontworpen worden op maat van de toepassing, met de gewenste spectrale banden en resolutie voor de toepassing in kwestie.
Een ander mankement van de ‘traditionele’ hyperspectrale camera’s was dat ze relatief traag zijn. Doordat ze een scène punt per punt, lijn per lijn of kleur per kleur scannen, kan het seconden, en in sommige gevallen zelfs minuten duren voor één afbeelding gemaakt is. In een laboratorium, of op een lopende machineband is dat geen probleem. Maar wanneer de camera te maken krijgt met een situatie die voortdurend verandert, moet het sneller gaan.
Denk bijvoorbeeld aan een inspectiecamera in een robot of een drone, een veiligheidscamera die geactiveerd wordt door een beweging of een chirurgische camera die het zuurstoftransport in het bloed monitort. In die gevallen is het beter om een scène niet lijn per lijn te scannen, maar in één keer het volledige beeld te maken – net zoals we een foto maken. En als zo’n camera die volledige beelden snel genoeg op elkaar kan doen volgen (met 30 frames per seconde of meer), dan spreken we van hyperspectrale video. Zulke video’s zijn nodig wanneer een robot bijvoorbeeld een explosief materiaal uit een vuilnisbak moet vissen: dan moet hij permanent beelden maken om na elke actie nieuwe beslissingen te nemen.
Vandaag kunnen we hyperspectrale beelden maken aan een duizelingwekkende snelheid van 340 frames per seconde (bij optimale belichting), maar er was heel wat technologisch vernuft voor nodig om dat te bereiken. Zo werden in een eerste fase in 2014 de hyperspectrale filters, die voordien trapsgewijs op de chip gebouwd werden, vervangen door een patroon van tegels. Elk van de tegels capteert de volledige scène voor één spectrumband. Op die manier kan je op een sensor van 2 megapixel 32 tegels maken die elk een resolutie van 256x256 pixels hebben. Maar om op die manier beelden te nemen van scènes, moet je de scène 32 keer projecteren op de 32 tegels. Exact hetzelfde beeld, zonder verschuivingen. Daarvoor was een optische duplicator nodig, die toegevoegd wordt tussen de objectieflens en de hyperspectrale filter. Het was een oplossing, maar geen ideale.
Vandaag kunnen we hyperspectrale beelden maken aan een duizelingwekkende snelheid van 340 frames per seconde.
Van links naar rechts: Hyperspectrale chip met 32 filtertegels – optische duplicator – Hyperspectrale camera met geïntegreerde tegelschip en duplicator
Om compactere camera’s mogelijk te maken, moesten ingenieurs nu nog van de optische duplicator zien af te geraken. Daarvoor hebben ze een mozaïekfilter ontwikkeld. Een soortgelijke mozaïeklayout wordt ook gebruikt in traditionele digitale camera’s, waar de pixels in groepjes van vier worden samengenomen. Elke pixel van zo’n groepje krijgt dan een aparte filter: een rode, blauwe en twee groene. Dit noemen we vandaag het Bayer-patroon genoemd, naar z’n bedenker Brice Bayer, een wetenschapper die voor Eastman Kodak werkte en ook wel de ‘vader van de digitale fotografie’ genoemd wordt. Voor de hyperspectrale mozaïek werden de pixels in groepen van 4x4 samengenomen. Per groep van 16 pixels worden dan 16 filters gelegd, waarbij elk hyperspectraal filtertje dus exact bovenop een pixel van de beeldsensor komt te liggen. Op die manier is er geen duplicator meer nodig: de 4x4 pixelgroep vormt 1 pixel van het hyperspectrale beeld. Om het allemaal in het juiste perspectief te zien: zo’n pixel is vandaag amper 5 micrometer ‘groot’ en op de nieuwste sensoren worden ze nog veel kleiner.
Een hyperspectrale chip met mozaïeklayout, de pixels zijn 4x4 gegroepeerd, met één filter per pixel
Doordat hyperspectrale beeldvorming en chiptechnologie de handen in elkaar geslagen hebben, kunnen de sensoren probleemloos geïntegreerd worden in een compacte digitale camera, of op termijn zelfs in een smartphone.
Maar waarom zou je deze technologie in de toekomst eigenlijk altijd op zak willen hebben? Wat zijn de toepassingen?
|
Hyperspectrale smartphonecamera: een Belgisch exportproduct dat de wereld gaat veroveren? Het Belgische bedrijf Spectricity, een spin-off van imec, is wereldwijd dé toonaangevende ontwikkelaar van hyperspectrale oplossingen voor mobiele apparaten en smartphones. Begin 2023, op de techbeurs ‘Consumer Electronics Show’ in Las Vegas, stelde het bedrijf haar vernieuwende smartphonecamera voor, die kleuren nauwkeuriger en waarheidsgetrouwer afbeeldt dan de huidige generatie camera’s. Dat kan dankzij een geïntegreerde hyperspectrale sensor. Dat levert veel betere foto's op, ook onder verschillende belichtingsomstandigheden die moeilijk zijn voor de huidige smartphonecamera’s. Maar de mogelijke toepassingen reiken een stuk verder. Denk maar aan de controle van de echtheid van bankbiljetten, een accuratere kleurweergave ter ondersteuning van e-commerce of de detectie van melanomen op de huid. Deze toepassingen worden momenteel al gebruikt in laboratoria en dokterspraktijken, maar met een sensor die geïntegreerd kan worden in elke smartphone, komt dit potentieel nu ook op de consumentenmarkt.
De S1 multispectral smartphone imaging chip, (bron: Spectricity) |
Asbest, penseelkunst, vermiste personen en veel meer
Hyperspectrale beeldvorming maakt het mogelijk om de wereld te zien op een manier die we met onze ogen niet of pas na jaren van training zouden kunnen. Het onderscheid tussen goedaardige en kwaadaardige vlekken op je huid, tussen een dak met of zonder asbest, tussen een brug met of zonder corrosie, tussen echte en valse kunstwerken: de hyperspectrale camera registreert het voor je twee keer met je ogen hebt kunnen knipperen.
Met deze hyperspectrale camera kon de echtheid van dit kunstwerk in Tongerlo onderzocht worden.
Een veelbelovend toepassingsgebied is de precisielandbouw. Doordat de camera’s intussen minder dan 30 gram wegen, kunnen ze eenvoudig bevestigd worden op een drone. Met behulp van hyperspectrale camera’s op drones kunnen landbouwers hun gebruik van pesticides, onkruidverdelgers, meststoffen en water heel gericht en nauwkeurig gaan aanpassen. Dat zal zorgen voor een rijkere oogst, maar het zal ook de druk op het milieu aanzienlijk verlagen, omdat minder overtollige meststoffen of pesticiden in het oppervlaktewater terechtkomen. Het wordt met deze technologie ook eenvoudig om bacteriële plantenziektes die veel economische schade veroorzaken, zoals perenvuur, snel te detecteren en in te dammen.
Hyperspectrale luchtfoto's van een aardbeientestveld: NDVI-beelden (links) en chlorofyl-indexkaart (rechts) ter ondersteuning van beslissingen over precisielandbouw – met dank aan VITO en pcfruit.
Sinds kort zijn er ook camera’s die alle gegevensverwerking in de camera zelf doen. Zo’n camera is geschikt voor de industrie van de toekomst. Denk bijvoorbeeld aan robots die voedsel of afval sorteren: de camera doet dan niet alleen de detectie, maar kan ook meteen beslissingen nemen om de sorteerapparatuur aan te sturen.
Ook in de medische wereld worden hyperspectrale camera’s ongetwijfeld gamechangers: hyperspectrale videobeelden kunnen chirurgen ondersteunen door hen via een extern scherm of met een augmented-realitybril informatie toe te spelen die onzichtbaar is voor het blote oog - in real time. Dit helpt chirurgen om nog nauwkeuriger te werken: welke anatomische structuren moeten worden behouden, wanneer ziek weefsel verwijderd wordt?
En ook vroeger in de behandeling, meer bepaald bij de diagnose, kan hyperspectrale beeldvorming een wereld van verschil maken. Zo zijn ze bijvoorbeeld in staat om zuurstofverzadiging in cellen te meten, hersenactiviteit in kaart te brengen of zelfs hersenziektes op te sporen via scans van de ogen.
Bloedvolume en zuurstoftransport in een menselijk brein, afgeleid uit videobeelden van de hyperspectrale camera. - Polytechnique Montreal.
De hyperspectrale technologie heeft ongetwijfeld nog meer maatschappelijk relevante mogelijkheden in haar mars: denk maar aan de detectie van vermiste wandelaars in een onherbergzaam en moeilijk toegankelijk berglandschap, of de speurtocht naar menselijke resten in het kader van een gerechtelijk onderzoek. Uitdaging is om de databank met spectrale handtekeningen fors uit te breiden, zodat de hyperspectrale beelden snel gekoppeld kunnen worden aan de juiste inzichten: wat is een stukje menselijk haar, en wat komt van een dier?
Ook voor aardonderzoek en het in kaart brengen van de klimaatverandering kan teledetectie met real-time hyperspectrale beelden vanuit de ruimte, een belangrijke tool worden. Denk maar aan het opsporen van broeikasgassen en vervuiling op globale schaal, het detecteren van afval in de natuur, of het monitoren van natuurherstel.
Goed om te beseffen is dat hyperspectrale camera’s gigantisch veel data genereren. Technologieën die instaan voor de verwerking van die data, zoals geavanceerde AI-modellen en high-performance computing, zullen mee het tempo bepalen waaraan de vele hyperspectrale toepassingen een weg vinden naar onze samenleving.
