Wij IT'ers zijn wel gewend aan het in stilte leven op de achtergrond, totdat de zichtbaarder afdelingen in problemen komen. Dan is het aan ons om onze beperkte bronnen in te zetten om de rommel op te ruimen en weer in de achtergrond te verdwijnen. Tot het volgende noodgeval om de hoek komt kijken. Ondertussen heeft het management geen idee dat wij het steeds moeilijker krijgen als er nieuwe IT-initiatieven worden geïmplementeerd die de hele organisatie moeten verbeteren.

Ik werkte in een bedrijfsklimaat waar het moeilijk was om veranderingen door te voeren. Dat onder andere te maken met:

  • De Operations-afdeling was de belangrijkste afdeling van het hele bedrijf.
  • Er was erg weinig budget voor de IT-afdeling om de Operations-afdeling te ondersteunen.
  • IT kreeg geen beheertermijnen voor het afhandelen van taken (Operations was belangrijker).
  • De IT-afdeling had een hoog verloop.

Er zijn twee soorten ontwerpen waar de meeste van ons van op de hoogte zijn. Ontwerpen die minimaal functioneel moeten zijn en ontwerpen die zeer robuust zijn. Ons bedrijf (en dan vooral Operations) leunt vooral op het eerste ontwerp en draait 24/7. De kantooruren waren van 8 tot vijf.

Een problematische omgeving

Operations werkte met verschillende ploegen, maar de IT-afdeling had slechts genoeg personeel voor één ploeg. Of, in ons geval, anderhalve ploeg. Sommige mensen begonnen iets eerder en anderen iets later. Er was niet genoeg overlappende kennis om losstaande ploegen te vormen. Er was sowieso te weinig personeel om alle gebruikers te ondersteunen, laat staan het opzetten van nieuwe projecten. We hadden nog tenminste twee extra mensen nodig in ons team.

Aangezien Operations praktisch 24/7 aan het werk was, eisten zij ook een uptime van 24/7...en ondersteuning als de systemen onderuit gingen. Als je een bedrijf 24/7 up and running wilt hebben, heb je een zeer robuuste infrastructuur nodig. Dat hadden wij niet wegens het magere budget. Bovendien was er niet genoeg budget om redundantie in te bouwen om betere prestaties, betrouwbaarheid of schaalbaarheid te kunnen waarborgen.

En zelfs als wij genoeg budget hadden om bepaalde onderdelen van de infrastructuur te verbeteren, hadden we alsnog niet de tijd om dat ook daadwerkelijk te doen. Er was simpelweg geen tijd om nieuwe systemen toe te voegen of standaard onderhoud uit te voeren.

Dit zorgde ervoor dat onze systemen niet up-to-date waren (dan vraag je om problemen). Er was nauwelijks redundantie en daarom hadden wij regelmatig te maken met single-point-of-failure-problemen.

Onze systemen waren ook niet echt betrouwbaar omdat de bezuinigingen ervoor zorgden dat wij MKB-oplossingen gingen gebruiken in een enterprise-omgeving. We deden er alles aan om de boel draaiende te houden, ondanks alle beperkingen. Maar ja, als het dan een keer mis gaat, dan gaat het ook goed mis.

En of het goed mis hing...

Op een gegeven moment kregen wij een gigantische blackout en onze UPS-units werden helemaal leeg getrokken. We hadden geen generatoren waarop wij terug konden vallen, omdat het management het destijds niet nodig vond onze oude, kapotte te vervangen. Wij hebben daar meermalen om gevraagd en over geklaagd, maar wij kregen steeds nul op het rekest.

Toen de boel eindelijk weer begon te draaien, kwamen wij erachter dat bijna niets bereikbaar was op ons netwerk. Na een zeer uitgebreide troubleshooting-sessie (we waren tot 3 uur 's nachts bezig) kwamen we erachter dat degene die onze core Cisco switch had geconfigureerd, de configuratie was vergeten op te slaan.

Het verloop was echter zo hoog dat er door de jaren niets aan de documentatie was gedaan (Ik gok dat dat kwam doordat iedereen het te druk had) en er was geen back-up-configuratie die we snel konden gebruiken.

Lang verhaal kort... we zijn een flinke tijd zoet geweest met het tracen van kabels, het herconfigureren van VLANs en alle systemen weer draaiend krijgen. Uiteraard sloeg ik de configuratie op en bewaarde een kopie op een andere plek.

Toch heeft deze ramp er niet voor gezorgd dat het management z'n leven beterde. Geen extra budgetten, geen extra personeel, geen enkele verandering. In IT kunnen wij dit soort problemen van veraf zien aankomen, maar zonder veranderingen of ondersteuning is de kans groot dat het geen kwestie van of, maar wanneer het volgende probleem de boel onderuit zal halen.

Tijd om te vertrekken.

Lees ook: Als je manager op eigen houtje een printer koopt Dit verhaal is ons toegestuurd door een anonieme schrijver. Zo nu en dan krijgen wij bij IDG Wereldwijd verhalen binnen van anonieme IT-professionals die ons mooie (of juist verschrikkelijke) ervaringen sturen. Heb jij ook een interessant verhaal en wil je deze een mooi plekje geven op Webwereld? Schroom niet je verhaal te sturen naar ons en wie weet zie je 'm terug op de site.