Kinect-hack ziet wat je doet
Gepubliceerd: Woensdag 6 juli 2011
Auteur: Jasper Bakker
Wetenschappers boeken doorbraken met de Kinect-camera van de Xbox360-gameconsole. Deze Kinect-hack ziet wat mensen doen: tandenpoetsen, koken, of uitrusten op een stoel.
Een Kinect-hackproject van de Amerikaanse Cornell University weet menselijke activiteiten te herkennen. Het doel is de ontwikkeling van persoonlijke assistenten: robots die mensen thuis kunnen helpen met diverse handelingen. De Kinect-detectie van menselijke activiteiten wordt uiteengezet in een wetenschappelijke paper (PDF). De vergaarde data en de code zijn te downloaden.
Goedkoop en makkelijk
"De uitdaging is een systeem te ontwikkelen dat goedkoop is, betrouwbaar in ongestructureerde thuisomgevingen, en dat ook makkelijk is in gebruik", aldus de projectomschrijving. Een standaard Kinect-camera is gebruikt in combinatie met open source-drivers voor die sensor en de PrimeSense Nite-software voor de daadwerkelijke 3D-perceptie door de robot.
De studenten aan Cornell hebben met hun professoren nog gezorgd voor algoritmes waar de robot mee kan leren. Activiteiten en de subactiviteiten waaruit die bestaan, worden daarmee duidelijker herkend. Zo is de activiteit van drinken onderverdeeld in het oppakken van een glas, het daadwerkelijke drinken en het weer terugzetten van het glas.
Kinect kijkt hoe je drinkt:
In de keuken, woonkamer
"We hebben ons algoritme getest op het detecteren en herkennen van twaalf verschillende activiteiten uitgevoerd door vier mensen in verschillende omgevingen, zoals een keuken, een woonkamer, een kantoor, etcetera." Daarbij is een accuratesse van bijna 85 procent gehaald (een precisie van 84,7 procent en een vangst (recall) van 83,2 procent).
Kinect ziet wat je kookt:
Die accurate herkenning is gescoord bij mensen die de robot al eerder had gezien. Bij onbekende mensen bedroeg de accuraatheid ongeveer 60 procent (een precisie van 67,9 procent en een vangst van 55,5 procent). Door dat flinke verschil in de detectie van handelingen zou deze Kinect-robot mogelijk zelfs onderscheid maken tussen verschillende personen, speculeert techblog I Programmer.
Militaire gebaren
Dit Kinect-project bij Cornell bouwt voort op een ander onderzoeksproject: voor het herkennen van specifieke gebaren. Die gerelateerde Kinect-hack herkent de tekens die soldaten gebruiken voor geluidloze communicatie. Een robotkarretje met de Kinect-camera (en een gewone laptop als brein) herkent de non-verbale commando's voor: hier komen, terug, dekking zoeken, luisteren, en nog meer. De robot reageert daar dan op.
Aan de Cornell-universiteit wordt nog meer gedaan met de Kinect-camera's van Microsoft. Bijvoorbeeld een robotarm autonoom verschillende objecten op verschillende ondergronden correct laten neerzetten. Zoals borden in een schuin afwasrek.
