Goed, beter, best. Eenvoudig en betrouwbaar beoordelen met D-PAC

De jungle van evaluatiemethodes: voorbij juist of fout

Vraag 10 mensen om dezelfde schrijftaak te beoordelen en de kans is groot dat je eindigt met 10 vrij uiteenlopende scores. Complexe vaardigheden beoordelen – zoals schrijven, maar ook presenteren, tekenen, enz. – is niet eenvoudig: het is geen zwart-of-wit verhaal. Net daarom is de validiteit en betrouwbaarheid van evaluatiemethodes een belangrijk onderzoeksveld in het onderwijs.

De meest populaire methode om complexe vaardigheden te beoordelen maakt gebruik van rubrieken of criteria, d.w.z. dat je elke subvaardigheid apart beoordeelt. Voor schrijftaken betekent dit dat je punten geeft op verschillende criteria, zoals bijvoorbeeld grammatica, structuur, vlotheid, originaliteit, enz.

D-PAC groeide uit een gezamenlijk onderzoeksproject van de Universiteit Antwerpen, Universiteit Gent en imec. Roos Van Gasse was één van de doctoraatstudenten die betrokken was bij het project en speelt vandaag nog steeds een belangrijke rol in de D-PAC spin-off.

Roos Van Gasse: “De populaire methode met rubrieken stelt een aantal problemen. Eerst en vooral, het is erg tijdrovend omdat je elke subvaardigheid een aparte score moet geven. Bovendien interpreteren verschillende beoordelaars de criteria ook niet per se op dezelfde manier. Daarom hebben we er in het D-PAC onderzoeksproject voor gekozen om een andere evaluatiemethode te onderzoeken, namelijk comparatief beoordelen. Met deze methode evalueer je complexe vaardigheden door taken te vergelijken met elkaar (of met een gedeelde referentie). We hebben ook gekozen voor een holistische aanpak, wat wil zeggen dat de evaluatoren de taak als één geheel beoordelen. Niet alleen omdat dit efficiënter is, maar ook omdat het een intuïtievere methode is.”

Hoe werkt het?

Het idee achter D-PAC is simpel. Eigenlijk doen mensen het vaak automatisch al. Als ze complexe vaardigheden moeten beoordelen, hebben mensen de neiging om de taken te vergelijken en te rangschikken, soms zelfs door ze fysiek op een rijtje te leggen van zwak naar sterk. Dit soort intuïtief comparatief beoordelen lukt als je slechts 10 taken moet beoordelen, maar wat als je er meer dan 500 hebt? En wat als je niet de enige beoordelaar bent?

D-PAC is een digitaal platform dat comparatief beoordelen ook op grotere schaal mogelijk maakt door taken als paren te presenteren. Beoordelaars krijgen telkens twee taken te zien (bv. twee teksten, twee tekeningen, enz.) en moeten vervolgens beslissen welk van beide het beste is. 

Dan krijgen ze het volgende paar te zien en moeten ze dezelfde beslissing opnieuw maken. De algoritmes achter het D-PAC platform zorgen ervoor dat elke beoordelaar dezelfde taken te zien krijgt, maar in verschillende combinaties. Op het einde brengt de tool al deze input samen om een complete ranking op te maken van alle taken. De software is ook erg gebruiksvriendelijk: zo is het bijvoorbeeld mogelijk om op een eenvoudige manier feedback te geven aan de deelnemers.

Sophie Mols (lector ‘Pedagogie van het Jonge Kind’ aan de Karel De Grote Hogeschool): “Aan de Karel De Grote Hogeschool gebruiken we D-PAC om opdrachten van studenten van de opleiding Pedagogie van het Jonge Kind te verbeteren. Het gaat om taken die erg nauw aansluiten bij wat ze later in de praktijk moeten doen, dus we wilden die ook graag laten beoordelen door mensen uit het veld. Via het D-PAC platform is het erg gemakkelijk om meerdere beoordelaars dezelfde taken eerlijk te laten beoordelen en waardevolle feedback te geven.”

Van universiteit naar spin-off met de steun van imec

De D-PAC spin-off groeide uit het gelijknamige onderzoeksproject waarbij meer dan 40 instituten betrokken waren, waaronder Universiteit Antwerpen, Universiteit Gent en imec. Imec speelde ook een rol in de sprong van het academische naar de bedrijfswereld.

Tijdens het onderzoeksproject werkte het team samen met imecs Application Prototyping team.

Tanguy Coenen (application prototyping team manager): “Onze job is ideeën tastbaar maken. Mensen komen naar ons met hun initiële idee en wij begeleiden hen dan doorheen het volledige ontwerpproces.

Het doel is om tot een minimum werkbaar product te komen, een prototype dat klaar is om door de eerste klanten te worden gebruikt. Wij helpen onze cliënten na te denken over de functionaliteiten die ze wilen hebben, welke features prioriteit zijn en welke later toegevoegd kunnen worden, hoe de interface er het best uitziet, enz. Dit is altijd een iteratief proces: we maken een ontwerp, het wordt (door imec.living labs) getest bij eindgebruikers en die feedback nemen we dan mee om een volgende versie te bouwen die aangepast is aan de noden van de eindgebruikers. Voor D-PAC hebben we bijvoorbeeld zes verschillende versies gemaakt voor we bij het uiteindelijke prototype uitkwamen.”

Omdat de software – oorspronkelijk ontwikkeld als deel van het onderzoeksproject – erg succesvol bleek te zijn, besloot het D-PAC team om verder te gaan als spin-off toen het onderzoeksproject afliep. Roos Van Gasse: “Eind 2017 namen we deel aan een coaching traject van imec dat als doel heeft om het commerciële potentieel van academische technologie te onderzoeken. Dit programma van 12 weken heeft ons echt geholpen om de sprong van de academische wereld naar de bedrijfswereld te wagen. Zo leerden we hoe we op een andere, meer commerciële manier naar ons project konden kijken en hielpen ze ons om onze focus en doelmarkt te bepalen.”

Die doelmarkt vinden was niet evident, want de tool is erg veelzijdig. Het platform werd bijvoorbeeld ook getest bij het rekruteringsbedrijf Hudson om CV’s te evalueren. Eigenlijk zou het gebruikt kunnen worden in elke context waar complexe beslissingen collectief gemaakt moeten worden. Maar omdat het D-PAC team veel ervaring heeft in het hoger onderwijs en ze al een aantal gebruikers in deze markt overtuigd hadden, besloten ze om als primaire doelmarkt op het onderwijs te focussen. Klanten betalen een tarief afhankelijk van het aantal gebruikers. Daarvoor krijgen ze niet alleen toegang tot het platform, maar D-PAC biedt ook workshops waarin ze de inzichten en expertise delen die ze tijdens het 4-jaar durende onderzoeksproject verworven hebben.

Roos Van Gasse legt uit waar ze de spin-off binnen vijf jaar ziet: “Momenteel hebben we een groeiend klantenbestand in Vlaanderen en Nederland, waaronder de Karel De Grote Hogeschool en Avans Hogeschool. In de nabije toekomst willen we uitbreiden in Europa en dan eerst en vooral in Scandinavië, waar ze al heel ver staan op vlak van onderwijsinnovatie. Ons doel is om een gevestigde waarde te worden binnen het veld en een autoriteit op het vlak van de beoordeling van complexe competenties, ook bij examencentra. Onze troef is dat we een totaalpakket aanbieden: een erg complete tool die leunt op jaren van robuust onderzoek. In tegenstelling tot concurrerende bedrijven focussen we niet enkel op het beoordelen van taken, maar ook op het geven van waardevolle feedback die op een overzichtelijke manier wordt weergegeven aan de deelnemers. Op die manier is D-PAC dus niet enkel een tool om mee te evalueren, maar ook een tool om mee te leren.”

Meer weten?

• D-PAC’s platform werd ontwikkeld in samenwerking met imecs application prototyping team. Meer informatie over hun diensten vind je op de website  of door contact op te nemen met Tanguy Coenen. 
• Interesse om met D-PAC aan de slag te gaan? Contacteer Roos Van Gasse.