Om kwart voor 10 zondagochtend gingen de edge routers van de clouddienst onderuit. Dat zijn de routers die het netwerk van CloudFlare verbinden met het internet. Zij staan opgesteld aan de 'randen' van de 23 datacenters die CloudFare heeft. De storing heeft tot een uurtje of 11 zondagmorgen geduurd.

Volgens CloudFlare zorgde een bug voor het falen van de opvang van een routerprobleem door de andere edge routers bij de andere datacenters. Voor een dergelijke reroutering van het internetverkeer gebruikt de cloudprovider Anycast. De bug werd veroorzaakt door menselijk ingrijpen. Een van de netwerkbeheerders van CloudFlare zag een DDos-aanval op een van de klanten waarbij een ongewone omvang van datapakketjes werd gebruikt. De beheerder gaf de routers daarop een opdracht om bepaalde groottes van datapakketjes anders te behandelen.

Routers door commando over de zeik

Daarin is het fout gegaan. De routers reageerden niet zoals het moest en daardoor liepen de RAM-geheugens vol. Een voor een gingen de Juniper-routers offline, waarna vervolgens de automatische reboot het niet deed zoals verwacht. De routers die niet rebooten, konden niet meer worden bereikt door het netwerkmanagement. De datacenters die wel weer online kwamen, kregen vervolgens alle verkeer over zich heen, waardoor die opnieuw onderuit gingen. Door uiteindelijk het commando dat gegeven was door de netwerkbeheerder weer ongedaan te maken, konden de routers een voor een weer online gebracht worden.

CloudFlare heeft de bug gemeld aan Juniper, waar het al zijn routers vandaan heeft. Daarnaast belooft de cloudleverancier de schade aan klanten te vergoeden volgens de SLA-voorwaarden. In eerste instantie lijkt dat vooralsnog een gratis 25 uur gebruik van CloudFlare te zijn, maar SLA's kunnen per klant afwijken. Onder meer de NOS is klant bij CloudFare.

Update 16.47: Volgens Arnout Veenman, voormalig voorzitter van ISP Connect, legde het uitvallen van DNS tevens de e-mailadressen en subdomeinen plat die niet via de proxy van CloudFlare liepen.