Games met sensoren zijn games waarbij gebruik wordt gemaakt van technologieën die bewegingen of (geluids)trillingen kunnen meten. Dit kan op veel manieren en met uiteenlopende hardware, waardoor er zowel mogelijkheden zijn voor thuisgebruik als voor een professionele omgeving. Zeker in de zorgsector en het onderzoeksveld bieden games met sensoren veel mogelijkheden. Het spelelement brengt niet alleen plezier, het kan behandelingen ook effectiever maken, omdat mensen gemotiveerd raken om hun oefeningen zo goed mogelijk te voltooien. Games met sensoren kunnen bovendien gegevens over de gebruiker in kaart brengen, wat de zorgprofessional of onderzoeker helpt in het verbeteren van de behandelmethodes en het vergaren van nieuwe kennis.
In dit artikel bespreken we twee soorten games met sensoren die veel potentie hebben voor het onderzoeksveld en de zorg: games met spraaktechnologie, revalidatiegames & communicatiegames.
Een van onze huidige projecten is de game DigiJuf, dat wij ontwikkelen in samenwerking met het Centre for Language and Speech Technology van de Radboud Universiteit. Middels Digi Juf worden kinderen uitgedaagd om met behulp van spraaktechnologie samen een verhaal te maken. Kinderen spreken om en om zinnen in die worden omgezet naar tekst, wat uiteindelijk tot een zelfbedacht verhaal leidt. Zo oefenen kinderen op een leuke en speelse wijze hun lees- en spreekvaardigheid, waardoor ze ook meer taalgevoel krijgen.
Een ander voorbeeld van een game met spraaktechnologie is de app Fluency Friends van SAY IT Labs. Deze videogame is gericht op kinderen met een spraakgebrek zoals stotteren, die door middel van AI en spraakherkenning feedback krijgen op hun spreektechnieken. In het verhaal ontmoet je verschillende personages tegen wie je moet praten, om vervolgens te leren hoe je je spraak kunt verbeteren. Zo leren kinderen over hun spreektempo, uitspraak, ademhaling en spraakritme.
Mensen die thuis een revalidatietraject doen kunnen dankzij gaming met sensoren spelenderwijs hun oefeningen doen terwijl hun voortgang wordt gemeten. Serious gaming maakt de revalidatie niet alleen leuker, het is ook een goede ondersteuning bij het herstelproces. Mensen worden gestimuleerd om zo goed mogelijk hun oefeningen te voltooien om verder te komen in de game. Bovendien leveren games met sensoren ook een schat aan informatie op voor onderzoekers. Door het meten van bewegingen krijgt de onderzoeker of zorgprofessional nauwkeurig inzicht in hoe iemand beweegt bij (thuis)oefeningen: waar wordt het gewicht geplaatst in de voeten? Hoe verloopt de oog-handcoördinatie? Wat is een knelpunt? Dit is belangrijke informatie voor de beoordeling van het herstel en voor het aanpassen van het behandeltraject.
In 2013 ontwikkelden we in samenwerking met het UMCG de Schaatsgame, een exercise video game waarmee ouderen thuis hun evenwicht kunnen trainen om het risico op vallen te verminderen. Een Kinect 360 camera registreert hun bewegingen en vertaalt dit naar een virtuele schaatstocht op het televisiescherm. Op deze manier werken ouderen op speelse wijze aan hun coördinatie en uithoudingsvermogen. Door van de oefeningen een game te maken, voelen ouderen zich meer gemotiveerd en uitgedaagd om hun behandeling thuis voort te zetten.
Met PhD onderzoeker aan RuG Campus-Fryslan Lise Beumeler werken wij aan een virtual reality game die IC-patiënten helpt bij hun revalidatie-oefeningen, zowel thuis als op de IC. In de game transporteert de patiënt met behulp van een VR-bril naar een virtuele, gezellige huiskamer. Hier moet de patiënt een legpuzzel oplossen, waarbij dezelfde hand- en armbewegingen worden gebruikt die bij revalidatietherapie zijn aangeleerd. Een infraroodcamera op de VR-bril registreert alle bewegingen waardoor er geen andere attributen nodig zijn. Daarnaast is het mogelijk om de game op vier verschillende niveaus te spelen, waardoor ook mensen die nog op de IC liggen en weinig mobiel zijn de game kunnen spelen. Deze game biedt patiënten dus op speelse wijze belangrijke oefeningen aan in een prettige omgeving.
Momenteel werken we in samenwerking met onderzoekers van de Universiteit van Twente en Radboudumc aan de game HEROES. Dit virtuele balansspel wordt speciaal ontwikkeld voor mensen die een beroerte hebben doorgemaakt. Ook deze game is adaptief en kan op meerdere niveaus worden gespeeld, wat belangrijk is voor het individuele revalidatietraject. Spelers staan op een vlot dat door de stroming wordt meegevoerd en zo nu en dan tegen iets aanbotst. De speler moet vervolgens de verstoorde balans van het vlot herstellen door zelf de juiste beweging te maken. Deze bewegingen worden geregistreerd door de sensor van de Intel Realsense Processor, die tegelijkertijd de bewegingen van de speler op het televisiescherm toont.
Serious games met sensoren zijn, kortom, een toegankelijke en waardevolle manier om kennis te vergaren over herstelprocessen. Daarnaast worden patiënten op deze wijze actief (en op een leuke manier) betrokken bij onderzoek en verbeterprocessen, wat tot waardevolle nieuwe inzichten kan leiden.
De komende tijd verzorgt Johan van der Meulen vanuit 8D Games verschillende workshops over de rol die games met sensoren kunnen spelen in het onderzoeksveld en de zorg. Ook interesse in een gastles of workshop over dit onderwerp voor een wetenschapsevenement? Neem gerust contact op.
High tech, high impact We vinden het fantastisch om te innoveren met games met sensoren en hightech apparatuur. Die passie is al in 2013 ontstaan. Toen ontwikkelden we samen met…
Serious game als onderzoeksinstrument Games als methode Serious games kunnen op heel veel verschillende manieren – en op heel veel verschillende momenten – bijdragen aan wetenschappelijk onderzoek. Denk aan het…
Wat is de relatie tussen serious gaming, wetenschap en psychologie? En waarom is serious gaming toch echt veel meer dan een spelletje? Dit whitepaper gaat niet over games, maar over serious gaming als wetenschappelijke methode voor onderzoek naar (maatschappelijke) opgaven!