Blikseminslag nekt Europese Amazon-cloud

Amazon laat via het Status History gedeelte van de Amazon Cloud status dashboard weten dat de stroomstoring is veroorzaakt door een blikseminslag in een transformator vlakbij een datacenter in Dublin. Die inslag zorgde voor een explosie en een brand die er ook voor zorgde dat de backupgeneratoren niet meer op te starten waren, waardoor de stroom volledig uitviel. De storing startte rond 20.00 uur zondagavond.

Backup-generators vielen uit

Het uitvallen van de stroom leidde tot storingen in één van de twee EC2 Availabality Zones in het datacenter in Dublin waar het zenuwcentrum van het Europese cloud computing platform zich bevindt.

"Normaal gezien wordt na het uitvallen van de netstroom die via de transformator wordt aangeboden de stroomvoorziening naadloos overgenomen door de backupgenarators", meldt Amazon via de Status History van het dashboard. De explosie was groot genoeg dat het fase-systeem dat de backupgeneratoren synchroniseert niet goed meer functioneerde, zodat er een aantal uitvielen.

Handmatig synchroniseren

"Stroombronnen moeten in fases worden gesynchroniseerd voordat ze online kunnen worden gebracht", bericht Amazon. In dit geval moest dat synchroniseren met de hand gebeuren. Daardoor duurt het herstellen van de dienst ook vrij lang. Vooral het herstellen van de Elastic Block Storage (EBS) zorgt voor problemen. EBS is gekoppeld aan de Amazon Elastic Compute (EC2) Cloud.

Door de omvang van de stroomstoring zat "een groot aantal" EBS servers zonder stroom. "Om deze volumes te restoren moeten we een extra kopie van alle data maken. Dit heeft de meeste capaciteit die we hebben in beslag genomen en dit heeft het herstelproces vertraagd", aldus Amazon. Om dit probleem op te lossen wordt capaciteit van andere zones ingezet.

BPOS

Amazon schat om 01.08 uur zondagnacht in dat het "24 tot 48 uur gaat duren" voordat het herstelproces volledig is afgerond. Om 01.40 uur luidt de boodschap: "We zijn bezig met het installeren van extra EBS-capaciteit en verwachten nu dat het binnenkort weer online en beschikbaar is."

Via Twitter meldt ook Microsoft problemen te hebben met zijn Europese Business Productivity Online Suite (BPOS) clouddiensten. "Stroomprobleem in Europees datacenter heeft invloed op toegang tot #bpos", twittert Microsoft rond middernacht. Vanaf 4 uur vannacht werken de systemen volgens Microsoft weer optimaal.