Uitgevers willen controle over indexering door zoekmachines

Gerenommeerde nieuwsorganisaties, uitgevers en persdiensten lanceren een nieuw protocol dat meer controle biedt over welke content, wanneer en hoe lang door zoekmachines mag worden geïndexeerd. Dat meldt Associated Press, dat ook het voortouw heeft genomen in het project.

Het systeem, Automated Content Access Protocol (ACAP), is een nieuwe en uitgebreide variant op Robots.txt of het Robots Exclusion Protocol, dat 13 jaar geleden werd ontwikkeld om websites (of gedeelten daarvan) af te schermen van zoekmachines. Dat protocol voldoet allang niet meer, zo vindt de ACAP-coalitie, dat een jaar heeft gesleuteld aan wat 'Robots.txt 2.0' moet gaan worden. Het initiatief is ingegeven door de juridische perikelen van Franse en Belgische nieuwsmedia met zoekmachine Google.

Met ACAP kan een uitgever uitgebreidere instructies geven aan de crawlers en spiders van zoekmachines. Het fundamentele verschil met Robots.txt zit hem in de mogelijkheid om tijdslimieten te stellen. Oftewel, hoe lang bepaalde content in het geheugen van Google, Yahoo en andere zoekmachines mag blijven staan.

Zoekmachines sceptisch

ACAP roept uitgevers uit alle landen op zich te scharen achter het initiatief. Nieuwsbedrijven willen zo de controle over hun content terug. Maar dat kan natuurlijk alleen als de zoekmachines het nieuwe protocol ook accepteren, en dat ziet er voorlopig niet naar uit. Google, Yahoo en Microsoft, allen present tijdens de presentatie van ACAP, lieten weten huiverig te zijn voor beperkende voorwaarden die door één specifieke branche worden opgelegd. "De markt, niet één groep, bepaalt uiteindelijk wat de juiste oplossing is", aldus Joseph Siino, vice-president van Yahoo.

Zoekmachines zien zelf meer in het uitbouwen van hun eigen geactualiseerde versie van Robots.txt, Sitemaps. Sitemaps zou wel door alle marktpartijen worden omarmd. ACAP wordt dus voorlopig niet geïmplementeerd, en dient vooralsnog meer als pressiemiddel richting 'ongehoorzame' zoekmachines. Hoe meer uitgevers zich aansluiten, hoe meer Google en co onder druk komt te staan om ACAP te accepteren.

Overigens heeft de Franse zoekmachine Exalead wel actief meegewerkt aan de ontwikkeling van ACAP.