JPEG - van middeleeuwse schilderijen tot holografie

Van JPEG tot Bruegel

Zo’n drie decennia geleden begon de omschakeling van analoge naar digitale beelden, een omschakeling die een wereld van nieuwe mogelijkheden opende maar ons ook voor nieuwe uitdagingen plaatste. Want hoe kun je zo’n beelden efficiënt opslaan en delen? Welke media zijn hiervoor nodig? Hoe zit het met de bandbreedte en de weergavekwaliteit? Hoe annoteer en beveilig je digitale beelden? Hoe verzoen je huis-tuin-en-keuken-toepassingen met professioneel gebruik? Hoe benut je optimaal de groeiende mogelijkheden van moderne beeldsensoren?

Dit zijn nog maar enkele van de vele uitdagingen waarover de Joint Photographic Experts Group (JPEG) zich heeft gebogen. JPEG is het standaardisatiecomité dat bepaalde hoe digitale beelden worden gecodeerd, gecomprimeerd, verwerkt en gedeeld. Hun invloedrijke werk leverde door de jaren heen succesvolle, populaire coderingsalgoritmes en bestandsformaten op, zoals het JPEG-formaat en zijn opvolger JPEG 2000 en recenter ook JPEG XR (Extended Range, dat bijv. ook beelden met een hoger dynamisch bereik ondersteunt), JPSearch (een standaard voor het zoeken en ophalen van beelden), JPEG XT (een extensie die o.a. beelden met hoog dynamisch bereik mogelijk maakt maar toch compatibel is met oudere JPEG-formaten), en JPEG XS (een codering met lage complexiteit en kleine vertraging die bijna lossless is).

ETRO, een imec-onderzoeksgroep aan de VUB, speelde een centrale rol in deze ontwikkelingen, en deed dan ook heel wat ervaring op met bijvoorbeeld gebruikerstesten, het creëren van testcorpora, en het opzetten van gespecialiseerde labinfrastructuur. Vandaag is Peter Schelkens voorzitter van de JPEG Coding, Test & Quality-subgroep, die de specificaties van de codeerstandaarden opstelt, maar bijvoorbeeld ook de procedures voor de kwaliteitstesten. 

Een recent en zeer zichtbaar resultaat van ETRO’s expertise is de manier waarop Frederik Temmermans en het ETRO-lab hielpen met het aanmaken en online beschikbaar maken van hogeresolutiebeelden van schilderijen van Jan Van Eyck (circa 1390–1441) en Pieter Bruegel (1525–1569). 

In Wenen loopt deze winter een prestigieuze Bruegel-tentoonstelling, die voor de allereerste keer een vrijwel compleet overzicht van het Bruegel-oeuvre - 75% van alle nu bekende werken - op één plek samenbrengt. Hiervoor werden de schilderijen van Bruegel in het Kunsthistorisches Museum van Wenen nauwgezet gereinigd en gerestaureerd en vervolgens wetenschappelijk onderzocht en gefotografeerd. Het ging om opnames met zichtbaar licht, infraroodlicht en röntgenstralen. ETRO speelde een cruciale rol in de samenvoeging van alle detailopnames tot hogeresolutiebeelden. En de beelden werden online gezet door Universum Digitalis, een spin-off van ETRO mede opgericht door Frederik Temmermans. Op de websites van Van Eyck en Bruegel kunnen de gebruikers inzoomen tot op het niveau van de individuele penseelstreken.

Beeldvorming slaat nieuwe wegen in

De gedetailleerde foto’s van Van Eyck en Bruegel laten zien waar digitale fotografie en JPEG-bestandsformaten bijzonder goed in zijn: taferelen in 2D weergeven, op een bepaald ogenblik en vanuit een bepaalde kijkhoek.

Maar met nieuwe technologische ontwikkelingen is er nu veel meer informatie uit een scène te halen, zoals de diepte van objecten, de intensiteit van specifieke golflengtes, of de verandering van het beeld in de tijd en bij een wisselende kijkhoek. De onderzoekers werken bovendien aan displays die deze extra informatie kunnen weergeven. Ze geven een veel rijkere voorstelling van de wereld, alsof je naar het echte voorwerp kijkt en er zelfs helemaal omheen kunt lopen.

Het JPEG-comité begon in 2014 aan de nieuwe beeldvormingsmogelijkheden te werken, onder leiding van Peter Schelkens. JPEG Pleno – zoals ze de inspanning noemden – wordt een kader om de nieuwe modaliteiten voor te stellen en uit te wisselen. Het zal nieuwe tools bevatten voor een betere compressie, en functionaliteit voor beeldmanipulatie, metadata, toegang tot beelden, en privacy en beveiliging.

JPEG Pleno richt zich vooral op holografische, light field en point cloud beeldvorming.

Maar met nieuwe technologische ontwikkelingen is er nu veel meer informatie uit een scène te halen, zoals de diepte van objecten, de intensiteit van specifieke golflengtes, of de verandering van het beeld in de tijd en bij een wisselende kijkhoek. De onderzoekers werken bovendien aan displays die deze extra informatie kunnen weergeven. Ze geven een veel rijkere voorstelling van de wereld, alsof je naar het echte voorwerp kijkt en er zelfs helemaal omheen kunt lopen.

Een point-cloud of puntenwolkbeeld bestaat uit een verzameling datapunten die gewoonlijk het resultaat zijn van een 3D- of LIDAR-scan. Het beeld wordt gebruikt om een oppervlak of tafereel in 3D te genereren en voor te stellen. Denk aan een zeer gedetailleerde terreinkaart, een kwaliteitscontrole van door robots geassembleerde componenten of de verkeerssituatie rond een zelfrijdende auto.

Een light-field of lichtveldbeeld registreert de hoeveelheid licht in elk punt van een scène en bekeken vanuit elke kijkhoek. Een andere naam hiervoor is plenoptisch beeld, vandaar dus JPEG Pleno. De lichtmeting gebeurt met een groot aantal camera’s of met één enkele speciale lichtveldcamera met microlenzen om elke lichtstraal op te vangen waaruit het uiteindelijke beeld is samengesteld. Bij weergave op een lichtvelddisplay krijgt de kijker telkens en andere beeld van het tafereel wanneer hij het display vanuit een andere positie (kijkhoek) bekijkt.

Holografie wordt beschouwd als de heilige graal van de beeldvorming. Een hologram registreert immers niet alleen de lichtintensiteit, zoals in een klassiek beeld, maar ook de lichtfase. Als het hologram vervolgens wordt belicht met hetzelfde coherente laserlicht als bij de opname, dan laat het de echte diepte van objecten zien. En het geeft ook een ander beeld bij elke verandering van kijkhoek, maar in tegenstelling tot lichtveldbeelden met een continue kijkervaring: naarmate de kijker beweegt ten opzichte van het beeld, verandert dat beeld continu en niet in sprongen. Met andere woorden: een hologram benadert de oorspronkelijke scène zo dicht als maar kan.

Uitzicht op nieuwe toepassingen

Deze nieuwe beeldvormingstechnologieën maken de weg vrij voor een weelde aan nieuwe functies, waarbij gebruikers zullen genieten van een betere, intensere kijkervaring, zonder de tekortkomingen van de traditionele fotografie. 

Bij een foto is het de fotograaf die bij de opname parameters als scherpstelling en kijkhoek bepaalt en voor altijd vastlegt. De nieuwe technologieën daarentegen geven de kijker het beslissingsrecht, bijvoorbeeld qua kijkhoek, scherpstelling of scherptediepte. Op die manier kan één enkel lichtveldbeeld een hele reeks klassieke foto’s opleveren, net alsof een fotograaf om zijn onderwerp heen zou lopen en om de meter of zo een opname zou maken. Er zit zelfs nog meer in zo’n lichtveldopname, met name informatie over de diepte van het beeld, zodat je er 3D-beelden mee kunt maken. Of vormen herkennen en manipuleren. En dan is de stap naar AR- en VR-toepassingen snel gezet.

Holografische opnames bevatten zelfs nog meer informatie dan lichtveldbeelden. Ze bieden dus ook meer mogelijkheden om op een interactieve manier content te raadplegen en te manipuleren. Lensloze microscopie is zo’n nieuwe toepassing, waarbij een staal met een laserstraal wordt afgetast. Alle omvangrijke en dure optische onderdelen zijn overbodig, zodat schaalverkleining mogelijk wordt, zelfs tot on-chip microscopen. Bij traditionele microscopen geldt dat je opnameveld kleiner wordt naarmate je sterker vergroot. Het truukje dat laboratoria dan toepassen om toch een een groter kijkveld te bekomen, bestaat erin om een reeks beelden samen te voegen. Bij lensloze fotografie is dat niet nodig: een groot kijkveld wordt in één keer met verbluffende details opgenomen. Maar er is niet alleen microscopie: aangezien de onderliggende technologieën zo snel evolueren, worden binnenkort ook macroscopische holografie mogelijk.

Pleno: weg met het hokjesdenken

Naarmate het ETRO-team de diverse technologieën verkende en er toepassingen voor bedacht, bleek het alsmaar minder wenselijk om de technologieën strikt te scheiden. De onderzoekers in het lab begonnen bijvoorbeeld met een puntenwolk om hologrammen te produceren. Maar omdat er nog geen displays bestaan die hologrammen in hoge resolutie weergeven, zetten ze die om in lichtveldbeelden, die wel zijn te bekijken op een hoogwaardige lichtvelddisplay. Tot grote blijdschap van de specialisten in optische holografie, want die hadden hun hologrammen nog nooit op zo’n groot formaat gezien.

Meteen is het duidelijk welke richting de toepassingen zullen uitgaan, met allerlei technologieën die samenwerken en talrijke resolutie- en kwaliteitsniveaus. JPEG Pleno zal dus als een container dienst doen, waarin alle informatie zit om de verschillende beeldmodaliteiten te beschrijven, te verwerken, te encoderen, en tenslotte weer te geven. Dat betekent bijvoorbeeld ook dat de Pleno-container alle parameters en calibratie-informatie moet bijhouden van de opname. Deze informatie blijft bewaard tot aan de visualisatiestap en bepaalt dan mee hoe het beeld wordt vormgegeven.

JPEG Pleno en de displaytechnologie samen ontwikkelen

JPEG Pleno heeft maar zin als er tegelijk aan displays wordt gewerkt die de nieuwe kijkervaring ook kunnen overbrengen. Onderzoekers bij imec buigen zich bijvoorbeeld over dunnefilmdisplays om lichtveldbeelden en hologrammen in een hoge resolutie weer te geven.

De ontwikkeling van lichtvelddisplays is een multidisciplinaire samenwerking tussen meerdere imec-onderzoeksgroepen. De ingenieurs kijken daarbij niet alleen naar de displaytechnologie zelf, maar ook naar de optimale datastructuur en de manier waarop de data de display bereiken. Denk bijvoorbeeld aan de optimale manieren om data in de display zelf te decomprimeren. 

Een hardwareplatform voor holografie ontwikkelen is een bijzondere uitdaging. Het vraagt onder andere: een patterning-oplossing met een hogere resolutie dan de helft van de golflengte (en typisch zelfs fijner dan 100nm), nieuwe architecturen voor geheugens met een zeer hoge efficiëntie en densiteit, een interne signaalsnelheid van rond de 2Tbit/s, en golfgeleiders van hoge kwaliteit in CMOS met geïntegreerde accurate lichtmodulatoren.  

Imec werkt aan oplossingen voor al deze uitdagingen, wat het onderzoekscentrum de ideale plaats maakt om zowel een hardwareplatform voor holografie te ontwikkelen als de bijhorende software. De inspanning wordt geleid door Xavier Rottenberg en heeft twee onderdelen die gefinancierd worden met een prestigieuze ERC-beurs (European Research Council): een geleid door Peter Schelkens in verband met de digitale voorstelling van hologrammen, en een tweede geleid door Jan Genoe die werkt aan de lichtmodulatoren gestuurd door elektrische velden. Deze ontwikkelingen zijn ook het hart van een venture, opgezet onder impuls van xPAND en imec.invest en bezig met het ontwikkelen van standaarden, compressiesoftware, en een display met de meest efficiënte interface mogelijk.

Meer weten?

• Bekijk de schilderijen van Van Eyck in verbluffend detail:  http://closertovaneyck.kikirpa.be
• Zoom in op een selectie van schilderijen van Bruegel: http://insidebruegel.net