Daar komt een hoop machine learning aan te pas, waarbij de robot zich traint door handeling na handeling te observeren van duizenden video's (PDF). Daarmee leert hij in principe welke bewegingen in welke situatie welke actie met succes uitvoeren, maar ook welke handelingen tot faalmomenten leiden.

De machine kijkt naar de actie van een mens, in een voorbeeld pakt een persoon een beker op om deze in een kom te deponeren, en neemt deze actie direct één-op-één over, zonder dat daar nog aanvullende programmeren aan te pas komt. De robot deponeert de beker vervolgens ook in de kom en doet dat effectiever dan met andere leermethodes.


De achterliggende bedoeling van het project is dat de machine leert om niet alleen de gedemonstreerde bewegingen te kopiëren, maar om de geleerde lessen toe te passen op heel nieuwe situaties, met objecten en omgevingen die de machine nog niet eerder is tegengekomen.