Giga-dataset onder druk Facebook vernietigd
Gepubliceerd: Vrijdag 2 april 2010
Auteur: Ernst-Jan Hamel
Dataverzamelaar Pete Warden heeft bij elkaar gecrawlde gegevens van 210 miljoen openbare Facebook-profielen vernietigd. Juristen van de sociale netwerksite dreigden met een rechtszaak.
Warden, een Amerikaanse ondernemer, schikt zich naar de wensen van Facebook omdat hij naar eigen zeggen niet genoeg geld heeft om te procederen.
Warden heeft met een crawler een database met gegevens van 210 miljoen openbare Facebook-profielen aangelegd voor datamining. Daardoor kon hij onderzoeken tussen welke landen en steden de meeste relaties bestaan.
Meer dan 50 wetenschappers zouden interesse getoond hebben in de dataset. Ze wilden de Wardens data combineren met andere gegevens, zoals inkomen, mobiliteit, arbeidssituatie en sociale connecties.
Crawler
Facebook zegt tegen NewScientist dat crawler van Warden in strijd was met de voorwaarden van de site. Warden zegt dat zijn crawler niks anders doet dan zoekmachines. Ook zou hij van plan zijn de dataset te anonimiseren.
Warden zegt zich aan de robots.txt van Facebook te hebben gehouden, het tekstbestand dat zoekmachinecrawlers vertelt wat er geïndexeerd mag worden. "Letterlijk honderden commerciële zoekmachines doen hetzelfde en hebben dezelfde gegevens. Je kunt identieke informatie uit de cache van Google halen als je de servers van Facebook wilt ontlopen."
Een visualisatie die Warden maakte met zijn dataset. Hoe dikker de lijn, hoe meer connecties tussen steden.
