SAGE

Een doorbraak voor digitale mondelinge toetsing

Digitale technologieën hebben de manier waarop we kennis en vaardigheden beoordelen ingrijpend veranderd, van online examens en sollicitatietesten tot adaptieve leerplatformen. Dergelijke e-assessments bieden duidelijke voordelen, waaronder flexibiliteit in tijd en plaats van de afname, efficiëntere processen en gerichtere feedback.

De digitale beoordeling van gesproken taal blijft echter een blinde vlek. De meeste platformen zetten in op schriftelijke evaluatie, terwijl mondelinge evaluatie doorgaans nog door menselijke beoordelaars wordt uitgevoerd. Deze aanpak is traag, duur en gevoelig voor vooroordelen, wat vaak leidt tot vertraagde of inconsistente feedback. Bovendien zorgt de opkomst van generatieve AI voor een bezorgdheid over de betrouwbaarheid van schriftelijke evaluatie, waardoor de behoefte aan schaalbare en betrouwbare mondelinge evaluaties urgenter is dan ooit.

Het SAGE-project gaat deze uitdaging aan. Het introduceert AI-gestuurde oplossingen voor mondelinge beoordeling in het Nederlands, Frans en Engels, en zorgt zo voor efficiëntie, eerlijkheid en betrouwbaarheid in zowel onderwijs- als professionele contexten.

Technologische uitdagingen 

Spraak varieert sterk door factoren zoals accent, dialect, emotionele toestand, stress en spraakstoornissen. Deze variatie maakt het moeilijk voor de huidige technologieën om op grote schaal betrouwbare en consistente resultaten te leveren. Zo hebben spraakherkenningssystemen vaak moeite met vakspecifieke woordenschat of uitspraakverschillen, wat kan leiden tot fouten. Ook kunnen tools die voor geschreven taal zijn ontwikkeld niet rechtstreeks worden toegepast op gesproken taal, omdat gesproken en geschreven communicatie aanzienlijk verschillen in vorm en structuur.

Het SAGE-project pakt deze technologische uitdagingen aan voor meerdere aspecten van de beoordeling van spreekvaardigheid:

• Spraakanalyse: SAGE wil technologieën verbeteren om individuele sprekers te identificeren, te meten hoe vloeiend de spraak is, en stress in mondelinge antwoorden te detecteren. Het project wil beoordelingen inclusiever maken door vooroordelen tegen niet-moedertaalaccenten en atypische spraakpatronen te verminderen.
• Spraaktranscriptie: SAGE zoekt een evenwicht tussen het benutten van krachtige bestaande modellen en het garanderen van nauwkeurige, woordelijke transcripties, vooral bij het verwerken van diverse vormen van spraak.
• Taalanalyse: SAGE ontwikkelt geautomatiseerde rubrieken die zowel zinvolle inzichten bieden voor beoordelaars als gerichte feedback voor studenten. Deze belichten onder andere de moeilijkheid van vragen, de belangrijkste onderdelen van antwoorden, de taalproductie (zoals vloeiendheid en beheersing) en de inhoudelijke juistheid.
• Aanbevelingstechnologie: SAGE integreert uitlegbare machine-learning (waaronder meta-learning en active learning) met spraak- en taaltechnologieën, om zo het beoordelingsproces te versnellen en tegelijkertijd de consistentie van de resultaten te waarborgen.
• Validiteit en eerlijkheid: Het waarborgen van geldige en eerlijke technologieën staat centraal in de missie van SAGE. Het project levert onderbouwde ondersteuning aan menselijke beoordelaars en versterkt zo het vertrouwen en de transparantie in het beoordelingsproces.

Resultaten demonstreren

De projectresultaten worden geïntegreerd in een demonstrator die ontworpen is voor drie use-cases:

• Mondelinge examens in het biomedische domein (in het Engels), waarbij een dialoog plaatsvindt tussen een examinator en een student.
• Summatieve toetsen in het domein van STEM (in het Nederlands), waarbij een student een monoloog houdt over een onderwerp.
• Formatieve toetsen in apps voor het trainen van spreekvaardigheid (in het Frans), waarbij een student interageert met een chatbot.

Het SAGE-project speelt in op de groeiende vraag naar digitale mondelinge toetsen in het onderwijs en in professionele trainingen, en dat in sectoren zoals de gezondheidszorg, de maakindustrie en de nutsbedrijven. Door AI-gestuurde beoordelingstechnologieën te ontwikkelen en deze te testen in praktijksituaties, versterkt SAGE zowel de schaalbaarheid als de betrouwbaarheid van mondelinge toetsen. De resultaten zullen docenten, taaldocenten en beoordelaars ondersteunen. Ze creëren tegelijkertijd belangrijke kansen voor de deelnemende bedrijven.

“SAGE zal mondelinge toetsen eerlijker, efficiënter en transparanter maken, door AI-technologieën te gebruiken die de menselijke beoordelaar ondersteunen.”