STUFF.: totaalervaring dankzij technologie

Een liveconcert is een feest voor het oor én het oog. Niets zo aanstekelijk als de aanblik van een stel virtuoze muzikanten die zich met hart en ziel uitleven op hun instrument.

Maar hoevéél van hun ziel leggen ze er eigenlijk in? Daar heb je als toeschouwer het raden naar. Met een video-installatie rond hun nummer Fulina, brengen de bandleden van STUFF. daarin verandering. Je ziet namelijk niet alleen wat de muzikanten doen, maar ook wat ze voelen. En dat allemaal dankzij de technologie van het application prototyping-team van imec.

Gevoelens meten met headset en polsband

Hoe vat je iemands gemoedstoestand in data? Met imecs EEG headset: een prototype van een draagbare hersenscanner die emoties en cognitieve processen registreert. Baanbrekend voor therapeutische, leer- en gamingtoepassingen. Maar nu dus ook voor kunstproductie: de STUFF.-muzikanten zetten hem op hun hoofd terwijl ze zich overgaven aan de muze.

Ook rond hun pols droegen ze een imec-prototype: de Chill+-polsband. Die peilde via verschillende indicatoren naar hun stressniveau.

Het application prototyping-team van imec combineerde die stroom van data met 3D-scans van ieder bandlid en registraties van hun bewegingen via motion tracking. Met behulp van de Unity-software maakten ze data-visualisaties.

Interactieve videoclip

Het eindresultaat is een videoclip die de toeschouwers maximaal betrekt bij het spektakel. Want ze kunnen allemaal hun eigen ervaring creëren. Zo maakten de bezoekers van het and& festival hun eigen versie door op een touchpanel te kiezen welke visualisatie ze wilden zien voor iedere artiest.

Daarvoor was er nog een kunststukje nodig: projection mapping. Want de vijf verschillende schermen voor ieder bandlid werden geprojecteerd door één projector. Scherpe uitlijning was dus noodzakelijk om te vermijden dat er tussen de schermen werd geprojecteerd.

De Fulina Experience was onder andere te bewonderen op het and& festival, in Flagey en De Krook.