Met sensoren bedoelen we technologieën die bewegingen of (geluids)trillingen kunnen meten. Dit kan op uiteenlopende manieren en met verschillende soorten hardware, waardoor er mogelijkheden zijn voor zowel thuisgebruik als professionele toepassingen. Vooral in de zorgsector en het onderzoeksveld bieden tools met sensoren veel kansen. Wanneer er bovendien een spelelement wordt toegevoegd, zoals bij exergames, kan dit behandelingen effectiever maken en therapietrouw verhogen. Mensen raken vaak meer gemotiveerd om hun oefeningen zorgvuldig en volledig uit te voeren. Daarnaast kunnen tools met sensoren waardevolle gebruiksgegevens verzamelen. Dit helpt zorgprofessionals en onderzoekers bij het verbeteren van behandelmethodes en het opdoen van nieuwe wetenschappelijke inzichten.
In dit artikel bespreken we verschillende soorten tools met sensoren die veel potentie hebben voor het onderzoeksveld en de zorg: producten met spraaktechnologie, revalidatiegames & communicatiegames.
Een van onze huidige projecten is de DigiJuf, dat wij ontwikkelen in samenwerking met het Centre for Language and Speech Technology van de Radboud Universiteit. Middels Digi Juf worden kinderen uitgedaagd om met behulp van spraaktechnologie samen een verhaal te maken. Kinderen spreken om en om zinnen in die worden omgezet naar tekst, wat uiteindelijk tot een zelfbedacht verhaal leidt. Zo oefenen kinderen op een leuke en speelse wijze hun lees- en spreekvaardigheid, waardoor ze ook meer taalgevoel krijgen.
Een ander voorbeeld van een game met spraaktechnologie is de app Fluency Friends van SAY IT Labs. Deze videogame is gericht op kinderen met een spraakgebrek zoals stotteren, die door middel van AI en spraakherkenning feedback krijgen op hun spreektechnieken. In het verhaal ontmoet je verschillende personages tegen wie je moet praten, om vervolgens te leren hoe je je spraak kunt verbeteren. Zo leren kinderen over hun spreektempo, uitspraak, ademhaling en spraakritme.
Mensen die thuis een revalidatietraject doen kunnen dankzij gaming met sensoren spelenderwijs hun oefeningen doen terwijl hun voortgang wordt gemeten. Serious gaming maakt de revalidatie niet alleen leuker, het is ook een goede ondersteuning bij het herstelproces. Mensen worden gestimuleerd om zo goed mogelijk hun oefeningen te voltooien om verder te komen in de game. Bovendien leveren games met sensoren ook een schat aan informatie op voor onderzoekers. Door het meten van bewegingen krijgt de onderzoeker of zorgprofessional nauwkeurig inzicht in hoe iemand beweegt bij (thuis)oefeningen: waar wordt het gewicht geplaatst in de voeten? Hoe verloopt de oog-handcoördinatie? Wat is een knelpunt? Dit is belangrijke informatie voor de beoordeling van het herstel en voor het aanpassen van het behandeltraject.
In 2013 ontwikkelden we in samenwerking met het UMCG de Schaatsgame, een exercise video game waarmee ouderen thuis hun evenwicht kunnen trainen om het risico op vallen te verminderen. Een Kinect 360 camera registreert hun bewegingen en vertaalt dit naar een virtuele schaatstocht op het televisiescherm. Op deze manier werken ouderen op speelse wijze aan hun coördinatie en uithoudingsvermogen. Door van de oefeningen een game te maken, voelen ouderen zich meer gemotiveerd en uitgedaagd om hun behandeling thuis voort te zetten.
Met PhD onderzoeker aan RuG Campus-Fryslan Lise Beumeler werken wij aan een virtual reality game die IC-patiënten helpt bij hun revalidatie-oefeningen, zowel thuis als op de IC. In de game transporteert de patiënt met behulp van een VR-bril naar een virtuele, gezellige huiskamer. Hier moet de patiënt een legpuzzel oplossen, waarbij dezelfde hand- en armbewegingen worden gebruikt die bij revalidatietherapie zijn aangeleerd. Een infraroodcamera op de VR-bril registreert alle bewegingen waardoor er geen andere attributen nodig zijn. Daarnaast is het mogelijk om de game op vier verschillende niveaus te spelen, waardoor ook mensen die nog op de IC liggen en weinig mobiel zijn de game kunnen spelen. Deze game biedt patiënten dus op speelse wijze belangrijke oefeningen aan in een prettige omgeving.
Momenteel werken we in samenwerking met onderzoekers van de Universiteit van Twente en Radboudumc aan het onderzoek HEROES. Dit virtuele balansspel wordt speciaal ontwikkeld voor mensen die een beroerte hebben doorgemaakt. Ook deze game is adaptief en kan op meerdere niveaus worden gespeeld, wat belangrijk is voor het individuele revalidatietraject. Spelers staan op een vlot dat door de stroming wordt meegevoerd en zo nu en dan tegen iets aanbotst. De speler moet vervolgens de verstoorde balans van het vlot herstellen door zelf de juiste beweging te maken. Deze bewegingen worden geregistreerd door de sensor van de Intel Realsense Processor, die tegelijkertijd de bewegingen van de speler op het televisiescherm toont.
Tools met sensoren zijn, kortom, een toegankelijke en waardevolle manier om kennis te vergaren over herstelprocessen. Daarnaast worden patiënten op deze wijze actief (en op een leuke manier) betrokken bij onderzoek en verbeterprocessen, wat tot waardevolle nieuwe inzichten kan leiden.
De komende tijd verzorgt Johan van der Meulen vanuit 8D verschillende workshops over de rol die tools met sensoren kunnen spelen in het onderzoeksveld en de zorg. Ook interesse in een gastles of workshop over dit onderwerp voor een wetenschapsevenement? Neem gerust contact op.
Bij 8D ondersteunen we onderzoekers bij het integreren van een designaanpak in hun werk, van projectontwerp tot creatieve productontwikkeling en procesbegeleiding. Deze participatieve methodieken helpen complexe, mensgerichte vraagstukken op te lossen en verankeren onderzoeksresultaten duurzaam in de samenleving.
High tech, high impact We vinden het fantastisch om te innoveren met games met sensoren en hightech apparatuur. Die passie is al in 2013 ontstaan. Toen ontwikkelden we samen met…
Participatief onderzoek kan een oplossing zijn voor drie knelpunten waar onderzoekers tegenaan lopen: datavergaring, effectieve kennisoverdracht en disseminatie. Potentiële vormen zijn game-based onderzoek en design-based onderzoek. We inspireren je graag met voorbeelden uit ons portfolio.
Serious game als onderzoeksinstrument Games als methode Serious games kunnen op heel veel verschillende manieren – en op heel veel verschillende momenten – bijdragen aan wetenschappelijk onderzoek. Denk aan het…