De website van Cito is aan het begin van de jaarlijkse schooltoets onderuit gegaan. De frontend kon de toestroom van inloggende leerlingen dinsdagochtend niet aan. Dit ondanks de juist grote voorspelbaarheid van de activiteit van Cito: de tijdstippen van de toetsen zijn bekend, net als de hoeveelheid scholen en leerlingen. Klinkt als een eitje. “Tsja, redelijk”, verzucht cio Hans Goedhart.

Flessenhals

“We zijn op 1 januari verhuisd, en daarbij ook overgegaan op een volledig nieuwe it-infrastructuur.” Die nieuwe omgeving kon de piekbelasting niet aan, hoewel er feitelijk nog capaciteit over was. Dit ondanks het feit dat er vooraf wel is getest om de piekbelasting te bepalen. Cito heeft getest op zowel de oude als de geheel nieuwe it-omgeving.

Goedhart legt Webwereld uit dat er weliswaar meer dan genoeg capaciteit was maar dat de load balancing-server die niet kon aanspreken omdat die zelf ineens op 100 procent processorbelasting zat. Dat is gebeurd in de volledig nieuwe it-infrastructuur in het nieuwe pand. De oude omgeving, met per applicatie dedicated servers en blades, was verouderd, aldus Goedhart.

Redudantie, behalve

“Dus hebben we voor de verhuizing de stoute schoenen aangetrokken en ook de it-infrastructuur helemaal herzien.” De nieuwe omgeving met Windows Server 2008 en virtualisatiesoftware van VMware is een gevirtualiseerd datacenter (vm-farm), met redundantie. Alleen dan niet voor de load balancer, die de binnenkomende verzoeken opvangt en verdeelt onder de overige, gevirtualiseerde servers.

“Daar hebben we ons op verkeken, dat er binnen enkele seconden zoveel binnenkwam”, bekent Goedhart. De load balancer kwam vrijwel direct uit op 100 procent cpu-load en kon daardoor de load niet meer verdelen. De toestroom van enkele duizenden leerlingen, in zeer korte tijd, heeft de load balancer overbelast. “We dachten even aan een DDoS-aanval, maar dat was dus niet zo.”

Verdriedubbeld

Toen de overbelasting eenmaal afnam, heeft Cito meteen extra capaciteit toegewezen aan de load balancer en daar meerdere exemplaren (instances) van opgesteld. Goedhart vertelt dat de capaciteit voor de vm-farm is verdriedubbeld. Die extra capaciteit had Cito al klaar staan in het eigen datacenter, maar kon het dus niet inzetten omdat de load-balancer zijn werk niet aankon. Dat was wel wrang, erkent Goedhart, die spreekt van een inschattingsfout.

De herziening van de frontend blijkt afdoende te zijn: “Bij de piek van vanmorgen (woensdag - red.) zaten we op zo’n 50 procent van de capaciteit voor de load balancing.” Aan die nu ruime opzet (overprovisioning) wordt zeker niet getornd voor de laatste ‘echte’ dag van de Cito-toets - met vrijdag nog een herkansingsronde voor leerlingen. “Nee, daar gaan we niet aankomen!”

Ook voor volgend jaar blijft de ruime opzet gehandhaafd. Goedhart gaat na deze week nieuwe plannen maken om de load balancing te verbeteren. Dat omvat ook een optimalisering van de website en een analyse plus aanpassing van de informatiestromen binnen de gevirtualiseerde ict-omgeving.

Dit alles om herhaling te voorkomen wanneer volgend jaar leerlingen in kort tijdsbestek met grote aantallen tegelijk inloggen om de pc-applicatie van de Cito-toets te starten. De voorspelbaarheid van dat tijdstip is overigens minder dan het lijkt: “De digitale toets is ‘vrij uitvoerbaar’.” Het begint dus niet per sé op exact dezelfde tijd, zoals vroeger na het startschot door een leraar.

Pc-applicatie

De pc-applicatie dient na het afronden van elke taak (waarvan er 3 per dag zijn) de resultaten weer in bij de Cito-servers. Tussentijds is er geen verbinding vereist. Cito benadrukt: alles wat leerlingen gedaan hebben, is wel bewaard gebleven. Dat geldt dus tot het moment dat de verbinding met de Cito-site onderbroken werd.

Goedhart licht toe dat de pc-applicatie alleen contact met de Cito-systemen heeft voor de inlog vooraf en na elke taak voor het indienen van de resultaten daarvan. De invoer wordt op de pc bewaard en kan later opnieuw ingediend worden. Een enkele school had woensdagochtend nog steeds inlogproblemen, meldt RTV Oost. Goedhart reageert dat dat in ieder geval niet aan de Cito-kant lag. “Bij ons was alles toen in orde.”

In totaal nemen 157.000 kinderen van zo’n 6200 basisscholen de Cito-toets af. Dat gebeurt gedurende drie dagen. Op 28 februari moet de uitslag komen. Dit jaar doet, net als vorig jaar, 85 procent van de basisscholen mee aan de niet verplichte toets.