NITS op TV vanavond

Over nits, HDR en SDR

200, 1.000 of 10.000 nits: wie een nieuwe televisie koopt wordt sinds kort met dit soort keuzes geconfronteerd. Deze nits (cd/m2) waarde geeft de maximale helderheid, het helderste wit, van het scherm aan. De ‘dynamic range’ van een televisie is het verschil tussen het donkerste zwart en het helderste wit dat het toestel simultaan kan weergeven. Hoe meer nits, hoe groter de ‘dynamic range’ en hoe dichter het beeld op televisie de werkelijkheid kan benaderen. Vanaf 1.000 nits spreken we over high dynamic range (HDR). Of in mooie marketingtermen in de winkeletalage “Ultra HD Premium”. Een aanzienlijke kwaliteitsverbetering ten opzichte van de meest gangbare SDR-toestellen die momenteel bij de meeste mensen in de huiskamer staan. De meest geavanceerde HDR-prototypes hebben al een bereik van 10.000 nits. 

Jan Aelterman: “Volgens de vakpers en mediabedrijven als Netflix is de winst in kwaliteit van SDR naar HDR een veel belangrijkere evolutie dan de race voor meer pixels en hogere resolutie. HDR-beelden benaderen dermate de werkelijkheid dat kijkers zelfs getuigen spontaan diepte te ervaren ook al kijken ze niet naar een 3D-uitzending en hoewel HDR niets met diepte te maken heeft.” 

Duizend jaar filmarchief in lage kwaliteit

Maar net zoals met hogere resolutie, kan je enkel van HDR genieten als ook het beeldmateriaal ervoor aangepast is. Wie lage resolutiebeelden bekijkt op een hi-res tv komt van een kale reis thuis. Zo ook met SDR-beeldmateriaal op een HDR-tv. In een ideale wereld is alle content beschikbaar in HDR. Hiep Luong: “Dit kan wanneer van bij de opnames tot in de huiskamer de juiste camera’s, opslagmedia en transmissietechnologie zijn gebruikt. En, hoewel de technologie daarvoor ondertussen beschikbaar is, blijven veel nieuwe opnames in SDR geproduceerd om ook niet-HDR-consumenten te kunnen bereiken. Dit geldt voor zowel professionele opnames als voor de filmpjes die we met onze smartphones maken.” 

En dan zijn er ook de beeldarchieven. Alleen al alle content die geregistreerd staat op de online filmencyclopedie imdb.com is goed voor meer dan duizend jaar filmarchief in SDR. Nog niet gesproken over de gigantische hoeveelheden beeldarchief bij de publieke en private omroepen.

Handmatig omzetten levert niet op

Het overzetten van deze nieuwe en bestaande beelden naar HDR is geen sinecure. De meest kwalitatieve oplossing is om handmatig en beeld per beeld de nodige aanpassingen te doen. Een monnikenwerk wat in uitzonderlijke gevallen waardevol kan zijn, maar in de meeste scenario’s de slok op de borrel niet waard is. Jan Aelterman: “De makers van Star Trek investeerden enkele miljoenen dollars in een soortgelijke manuele conversie, van lage resolutie naar hoge resolutie, om er later achter te komen dat die investering zich niet terugverdiende.”

Automatisch converteren dan maar? Daarbij stellen zich vier grote uitdagingen: het vermijden van artefacten, het herkennen van lichte objecten in donkere scenes, het onderscheidend converteren van lichte en donkere scènes én het uitvoeren van al dit complexe rekenwerk in real time op een doorsnee grafische processor. Bestaande softwareoplossingen worstelen met een of meerdere van deze elementen en bereiken daarmee niet de gewenste kwaliteit in het eindresultaat.

Automatisch genieten van hogere kwaliteit

De software van IPI excelleert echter op alle fronten. 

Zo werkt het automatisch artefacten weg die tijdens de conversie zichtbaar zouden worden. Elke digitale beeldcompressie gaat gepaard met een selectie van welke bits wel en niet relevant zijn voor het eindresultaat. Bij SDR leiden deze keuzes niet tot een zichtbaar verlies aan beeldkwaliteit. Maar bij de omzetting naar HDR worden deze keuzes in de compressie wel duidelijk zichtbaar in de vorm van beeldartefacten. Denk aan minder kwalitatieve kleurovergangen of onscherpe randen. De imec-software vermijdt het ontstaan van deze artefacten door informatie te halen uit de omgevende bits om op die manier een realistische invulling te geven aan de ontbrekende informatie.

Ook gaat de software ingenieus om met het herkennen van lichtbronnen en van lichte objecten in donkere scènes. Standaard softwareoplossingen kijken enkel naar helderheid van pixels en niet op objectniveau, waardoor alle lichtgevende objecten er min of meer even licht uitzien én ook op dezelfde bepaalde helderheid plafonneren (satureren). Een kaarsvlam ziet er dan bijvoorbeeld even licht uit als de vlam van een lasbrander in dezelfde scène, een fenomeen dat gebruikelijk is in SDR. In HDR kan het onderscheid tussen objecten als de lasvlam en de kaarsvlam wel overtuigend gemaakt worden, de imec-software bevat dan ook intelligentie om objecten te herkennen en op basis daarvan de helderheid meer onderscheidend te maken.

Ook belangrijk is het vermogen van de imec-software om lichte scènes anders te behandelen dan donkere. Dankzij machine-learning algoritmes worden de donkere scènes herkend en in essentie ongemoeid gelaten, waar standaard software ze vaak ongewenst licht maakt. Lichte scènes maakt de imec-software daarentegen extra helder, waar standaard software ze onnodig donker laat.

Real-time omzetting

De mogelijk grootste troef van de imec-software is echter dat het al deze complexe berekeningen zodanig efficiënt uitvoert dat real-time conversie mogelijk is op een relatief eenvoudige grafische processor. 

Dankzij het in huis ontwikkelde Quasar-platform voor softwareontwikkeling kan de relatief complexe code toch efficiënt draaien op verscheidene gangbare hardwareplatformen. De software kan draaien op een centrale hi-performance server, bijvoorbeeld van een televisiezender, maar evengoed op de veel eenvoudigere processor die geïntegreerd is in je televisie, smartphone of settopbox. Zo zijn - dankzij een partnership met TPVision - de imec algoritmes deel van de SDR naar HDR conversie in de nieuwste Philips 803 en 903 OLED televisies.

Ook voor andere toepassingen

En om het verhaal helemaal compleet te maken, kunnen al deze sterktes ook nog eens afzonderlijk van elkaar ingezet worden, wat hun toepasbaarheid breder maakt dan enkel voor SDR naar HDR conversie. Hiep Luong: 

Voor de VRT hebben we onze software ingezet voor het verwijderen van artefacten in hun digitale beeldarchief. 

Met name bij gedigitaliseerde opnames die in de jaren ’80 en ’90 met betacam technologie zijn gemaakt, zijn op moderne televisies veel beeldartefacten zichtbaar. Dankzij imec-software kan de kwaliteit van gedigitaliseerde archiefbeelden opgewaardeerd worden tot uitzendkwaliteit.”

Een heldere toekomst

De ontwikkeling van de software gebeurde deels dankzij het imec.icon project HD2R dat van 2015 tot 2017 liep met bedrijfspartners als VRT, Barco, post-productiebedrijf Grid-VFX… Inmiddels heeft de software zijn nut al meermaals bewezen. Hiep Luong: “De meest relevante bedrijven in de mediasector weten ons inmiddels wel te vinden. En er zitten enkele spannende samenwerkingen aan te komen. We blijven op zoek naar partners die onze software willen gebruiken om de kwaliteit van hun beeldmateriaal naar een hoger niveau te tillen.”

Meer weten?

• Artikel in Tweakers over de imec-software.
• Homepagina van IPI, de imec onderzoeksgroep aan de Universiteit Gent.
• Projectpagina van het imec.icon project HD²R.
• Homepage van Quasar, het door IPI ontwikkelde platform voor snelle ontwikkeling van GPU-code