Het Centre for Language and Speech Technology van de Radboud Universiteit Nijmegen en het gamebedrijf 8D Games hebben samen onderzoek gedaan naar de mogelijkheden van spraaktechnologie binnen games die de lees- en spreekvaardigheid bevorderen. Tijdens het traject werd het spelconcept en functioneel prototype DigiJuf ontwikkeld, dat in verschillende stadia werd getoetst aan kinderen in de basisschoolleeftijd.
Automatische spraakherkenningstechnologie is bij uitstek geschikt voor onderwijstoepassingen omdat het direct kan worden toegepast op de ontwikkeling van twee fundamentele vaardigheden in het onderwijs aan kinderen: spreken en lezen. Gamebedrijf 8D Games en het Centre for Language and Speech Technology (CLST) werkten in de afgelopen jaren daarom samen aan de ontwikkeling van een digitaal ‘taalmaatje’. ‘Uit gesprekken bleek dat kinderen het jammer vinden dat je lezen vaak alleen doet en dat ze geen invloed hebben op het verloop van het verhaal’, zegt Giel Hekkert, vanuit 8D Games nauw betrokken bij het project. ‘Dat raakt aan een belangrijk principe uit de gamingindustrie: mensen zijn doorgaans gemotiveerder om een taak te doen wanneer ze autonomie ervaren.’ Zo ontstond het idee om kinderen beurtelings zinnen te laten inspreken op de smartphone en ze op die manier samen een verhaal te laten maken: ieder gesproken bericht wordt live omgezet naar tekst. Hekkert: ‘Daarbij moet je de bijdragen van je klasgenootjes natuurlijk goed lezen om zelf weer een nieuwe wending aan het verhaal te geven. Spelers krijgen de opdracht bepaalde woorden of zinsneden te verwerken in hun bijdrage en kunnen vervolgens stemmen op het leukste fragment.’
Onderzoekers van het Centre for Language and Speech Technology (CLST) van de Radboud Universiteit Nijmegen ontwikkelden de spraaktechnologie voor de game. ‘Wij doen momenteel meerdere projecten op het gebied van lezen en spelling en iedere applicatie vereist weer zijn eigen technologie’, legt Helmer Strik van CLST uit. ‘Bij standaard spraakherkenning wordt spraak omgezet naar tekst. In het geval van DigiJuf moet de spraakherkenner daarnaast ook in staat zijn te beoordelen of de woorden door het kind goed worden uitgesproken. Spraakherkenning van kinderen is vanwege de grote variatie en de toonhoogte van hun stemmen sowieso lastig. Als je je dan beperkt tot lezen van vooraf bepaalde zinnen is het makkelijker, maar bij DigiJuf kregen de kinderen heel veel vrijheid. Wij hebben in dit project gewerkt aan het optimaliseren van de spraakherkenning daarvoor.’
Een eerste prototype werd getest met ruim veertig basisschoolleerlingen. Hekkert: ‘Tijdens die testen hebben we nogmaals het creatieve concept getoetst en – in technische zin – in kaart gebracht hoe de spraaktechnologie van CLST zoveel mogelijk waarde kan toevoegen in een dergelijke game. Wat leuk was om te zien: kinderen gingen na een zin of vier al anders spreken. Zo gingen ze beter articuleren om hun bijdrage aan het verhaal zo goed mogelijk in de game te zien verschijnen. Ook zagen we dat deze spelvorm de creativiteit prikkelt en veel plezier met zich meebrengt, waardoor kinderen vergeten dat ze eigenlijk aan het oefenen zijn met lezen en spreken.’
De data van de testfasen werd door Strik en zijn CLST-collega’s geanalyseerd en de resultaten daarvan werden weer ingezet voor verbetering van het prototype. Bovendien onderzochten ze hoe kinderen de uitspraak van hun leeftijdsgenootjes beoordeelden, in vergelijking met volwassenen en het ASR-systeem. Strik: ‘Uit eerdere studies blijkt dat feedback krijgen door leeftijdsgenoten allerlei voordelen heeft, zoals vergroten van de betrokkenheid en kritisch leren denken. Uit ons onderzoek blijkt dat kinderen net zulke betrouwbare beoordelaars zijn als volwassenen. Dat betekent dat kinderen in de basisschoolleeftijd feedback kunnen geven die geschikt is als aanvulling op de feedback van DigiJuf.’
Momenteel verkennen 8D Games en CLST de mogelijkheden voor een doorontwikkeling. Hekkert: ‘De potentie van de game is duidelijk en biedt – naast een waardevolle leerervaring voor kinderen – veel aanknopingspunten voor onderzoekers. De spraaktechnologie van CLST is niet afhankelijk van techgiganten, waardoor we zelf de controle houden over welke data over het lees- en spreekgedrag wordt opgehaald en wat daar vervolgens mee gebeurt. We zijn gemotiveerd om het prototype samen door te ontwikkelen tot een mooi eindproduct, zodat zowel het onderwijs als het onderzoeksveld er zijn voordeel mee kan doen.’
DigiJuf is onderdeel van ST.CART , dat wordt gefinancierd door het Europees Fonds voor Regionale Ontwikkeling en de Europese Unie. Medewerkers van CLST die betrokken waren bij dit onderzoek hebben hierover verschillende papers geschreven en presentaties gegeven op internationale conferenties.
Serious games als onderzoeksinstrument maken hun opmars. Maar heb je zelf nog nooit zo’n game gebruikt, dan blijft het hele idee toch wat abstract. Wat voor meerwaarde hebben games voor research en welke concrete voorbeelden zijn er al?
In dit artikel bespreken we de kansen en gevaren van AI voor de serious gaming sector. Ook laten we met voorbeelden uit ons portfolio zien hoe AI de impact van games kan vergroten – en hoe wij daar de afgelopen jaren gebruik van hebben gemaakt.
Serious game als onderzoeksinstrument Games als methode Serious games kunnen op heel veel verschillende manieren – en op heel veel verschillende momenten – bijdragen aan wetenschappelijk onderzoek. Denk aan het…
Duik dieper in de wereld van spraaktechnologie en de toepassing ervan binnen serious gaming. Spraaktechnologie heeft de afgelopen jaren enorme vooruitgang geboekt en biedt talloze mogelijkheden om de interactie tussen spelers en games naar een nieuw niveau te tillen.