De Nederlandse zoekpionier Martijn Koster ontwikkelde 's werelds allereerste zoekmachine ALIWEB (PDF) bij Brits bedrijf Nexor en bedacht robots.txt als reactie op een per ongeluk opgeroepen DoS-aanval door een fout in het ontwerp van een zoekspider. Het kleine bestandje geeft een instructie aan langscrawlende zoekmachines over wat niet geïndexeerd mag worden.

Robots.txt snel standaard

Robots.txt werd in februari 1994 voor het eerst voorgesteld en op 30 juni van dat jaar was de Standard for Robots Exclusion een feit. Er was verder nog niets dat leek op robots.txt, dus zoekmachines gebruikten massaal deze nieuwe standaard.

Robots.txt heeft als nadeel dat zoekmachines gebruikers niet altijd de relevantste informatie kunnen geven naar aanleiding van een zoekopdracht. SEO-expert Brian Ussery beschrijft op zijn blog hoe bijvoorbeeld Google dit probleem tackelt om toch relevante pagina's te kunnen weergeven, ook al wordt de inhoud zelf geblokkeerd voor de spider.