10 Horrorverhalen van systeembeheerders

Je kunt twee dingen doen: je de haren uit het hoofd trekken en voor of na je burn-out een andere baan gaan zoeken, of je vermaken met en leren van je fouten. Of bij voorkeur de fouten van anderen, natuurlijk, want die zijn niet alleen leuker, maar er zijn er ook meer van. We hebben een reeks inspirerende highlights voor je verzameld.

1. Automatische updates

BrilliantCompany.com groeide als kool. Afdelingen schoten als paddestoelen uit de grond en IT droeg de desktopcontrole over aan de afdelingshoofden, omdat toch bijna iedereen technisch was ingesteld.

Kort nadat er een lading van 75 nieuwe Dell desktops voor een nieuwe productafdeling was gearriveerd, kwam het netwerk zomaar ineens midden op de dag plat te liggen. De infrastructuur werkte nog wel, maar het LAN was zo traag dat het in feite gewoon stillag. Na flink wat speurwerk en het doorspitten van de logbestanden werd de boosdoener gevonden.

De automatische updatefunctie van Windows XP bleek standaard ingesteld te zijn op 12:00 's middags op doordeweekse dagen. Alle 75 machines probeerden tegelijkertijd honderden megabytes van Service Pack 2 te downloaden: netwerk plat.

Oplossing: Leg de controle over IT bij één persoon die verantwoordelijk is voor alle onderdelen. Dit werd kort na dit debacle gerealiseerd middels een doortastende memo vanuit het MT. Daarna gebeurde pas wat meteen had moeten gebeuren: tegenwoordig worden middels de WSUS (Windows Server Update Services) de updates op het juiste moment gedownload en verpreid, nadat ze uitvoerig zijn getest op images van alle beschikbare besturingssystemen van de verschillende afdelingen.

Moraal: Dat je gebruikers technisch zijn ingesteld, wil dat nog niet zeggen dat ze beter opletten dan de gemiddelde gebruiker. Als jij verantwoordelijk bent voor de beschikbaarheid van het netwerk, neem die verantwoordelijkheid dan ook en manage wat er te managen valt.

2. De afdeling Klantenbescherming

Een mobiele gebruiker belt zijn afdeling Ondersteuning om te zeggen dat zijn laptop het niet meer doet. Na een langdurig telefoongesprek, waarin de gebruiker aanvankelijk ontkent dat er iets ongebruikelijks heeft plaatsgevonden, geeft hij toe dat hij een vol blikje cola over het toetsenbord heeft gemorst. De helpdeskmedewerker-van-dienst: "Hij vertelde mij vervolgens dat hij met een haardroger had geprobeerd de laptop te drogen, maar dat hij nog steeds niet wilde opstarten. Ik vroeg hem de laptop naar mij terug te sturen zodat ik hem kon laten repareren."

Maar toen de doos met de laptop de volgende dag bij Ondersteuning arriveerde, kwam er een onplezierige verrassing uit. "De meneer had geen 'haardroger' gebruikt, hij moet op één van onze locaties een verfstripper geleend hebben, want van het toetsenbord was niks meer over, het was gewoon één plak zwart gesmolten plastic." Au.

Oplossing: De laptop was alleen verzekerd tegen beschadiging door een ongeluk. Sinds dit incident zorgt Ondersteuning ervoor dat alle mobiele apparatuur volledig verzekerd is.

Moraal: Dek je mobiele strijders in. Dat betekent niet alleen dat je hun hardware verzekert, maar ook dat je trainingen geeft en duidelijke beleidsdocumenten aanbiedt waarin aangegeven staat wat onderweg wel en niet mag met bedrijfshardware. Daarnaast moet je ervoor zorgen dat er steevast backups van hun gegevens worden gemaakt, zowel thuis als onderweg.

3. Executive invloed

We maken ons allemaal wel eens zorgen om de senior executive die per se volledige administrator-rechten voor elke machine op het netwerk moet hebben, ook al is hij ongeveer zo technisch als mijn kat - en die is dood.

Maar ook zonder administrator-rechten kunnen senior gebruikers gevaarlijk zijn. John Schoonover, die na 9/11 voor het Amerikaanse Department of Defense werkte aan één van de grootste netwerkinstallaties in de geschiedenis, was "getuige van een enorm IQ-gat" bij een bepaalde senior manager.

Volgens Schoonover volgen militaire informatie-beveiligingsinstallaties gewoonlijk een concept dat bekend staat als "de scheiding tussen rood en zwart". Rood is simpelweg data die nog niet versleuteld is (Gevaar! De wereld en snuffelaars kunnen je zien!). Zwart is dezelfde data na encryptie, klaar om de wereld rond te gaan. "Deze gebieden [rood en zwart] moeten fysiek twee meter van elkaar gescheiden zijn", zegt Schoonover.

Onze held volgt deze richtlijnen en installeert het netwerk, maar komt op een dag van zijn lunchpauze terug en treft de firewall down aan. Onderzoek wijst uit dat een senior manager "de bekabeling van de interne router had genomen en die op het internet had aangesloten omdat hij verbinding zocht. Hierdoor omzeilde hij alle firewalldiensten, alle encryptie en, oh ja, precies, het gehele beveiligde netwerk, met een directe sprong naar het Internet!"

Oplossing: Volgens John hebben ze de duimen van de man verwijderd: "als je de kabel niet kunt vastpakken, kun je hem ook niet lostrekken". Ik heb maar niet verder gevraagd.

Moraal: Het managen van ondeugende senior gebruikers is een kunst op zich, waar een flinke dosis diplomatie of zelfs ronduit bedrog zeker van pas komen. Bij verscheidene installaties heb ik de administrator-account een nieuwe naam gegeven, zoals bijvoorbeeld "IT", en heb ik van "Administrator" een functioneel beperkte account gemaakt met simpelweg meer read/write-toegang tot gegevensdirectories, terwijl de toegang tot dingen als de Windows systeemdirectory of Unix rootdirectories nog steeds is geblokkeerd. Meestal merken ze het niet eens; en merken ze het wel, dan verzin ik een prima excuus voor het feit die directories afgeschermd blijven. ("Oh, dat heeft Microsoft in het laatste service pack gestopt. Die nare Bill Gates toch!")

4. Rampzalig noodherstel

Een IT-manager beschrijft een incident dat hij meemaakte nadat hij een CIO had gesproken over disaster recovery voor het bedrijf. De directeur had korzelig geantwoord dat de hot site klaar was voor wat voor ramp dan ook, waarbij de benodigde ruimte en apparatuur ondersteund werden door een door diesel aangedreven generator met "meer dan genoeg brandstof".

Ongeveer een jaar later kreeg het bedrijf te maken met een stroomstoring als gevolg van een orkaan, waardoor het bedrijf gedwongen werd om over te schakelen op de hot site. "De CIO had de meest belangrijke functies werkend gekregen, en de generator deed het aanvankelijk prima, maar na een uur of acht hield hij er mooi mee op en crashten alle systemen."

Achteraf bleek dat met "meer dan genoeg brandstof" één vat van zo'n 200 liter bedoeld werd dat al half leeg was vanwege de maandelijkse tests.

Oplossing: Een noodherstelplan vereist naast het testen van de generator ook brandstofchecks.

Moraal: Disaster recovery is geen statisch probleem. Eén plan of systeem is in de praktijk nooit, maar dan ook nooit perfect. Laat zoveel mogelijke ervaren mensen dergelijke concepten nalopen en laat ze jaarlijks of zelfs halfjaarlijks doornemen voor verdere verfijning.

5. Vreemde randapparatuur

Computerwinkels en de Dummies-boeken leren gebruikers net voldoende om problemen te kunnen veroorzaken. Eén van mijn favoriete verhalen is dat van het netwerk dat zwaar gehackt was door iemand die de belangrijkste Exchange berichtenopslag had gewist. De lokale IT-admin kon niks met de firewall logs, dus werd onze hulp ingeroepen om eens op onderzoek uit te gaan. Ik wou dat ik eraan had gedacht, maar het was iemand anders in ons team die zo slim was om AirSnort te draaien (tegenwoordig: AirCrack). Binnen zes seconden vond hij een wijd open wireless toegangspunt.

De interne admin bleef erbij dat er op het hele netwerk geen wireless draaide. We moesten even zoeken, maar na zo'n 20 minuten vonden we de vreemde AP in het kantoor van een senior executive. Blijkbaar had hij een goedkope aanbieding gezien bij de lokale computerwinkel en had hij besloten er eentje in de secundaire netwerkpoort in zijn kantoor te pluggen, zodat hij gebruik kon maken van de draadloze verbinding van zijn laptop in plaats van de kabelverbinding, omdat draadloos "er beter uitziet".

Vergelijkbare problemen zie je met USB. Randapparatuur met USB-aansluiting is erg populair geworden doordat het meteen werkt wanneer je het ergens inplugt, zonder dat er drivers geïnstalleerd hoeven te worden. Maar als IT-manager wil je eigenlijk geen dingen ondersteunen zoals printers die niet op je officiële boodschappenlijstje staan - of externe harde schijven, DVD-spelers, geluidssystemen en zelfs monitoren.

Ook wil je het risico niet lopen dat een werknemer een of andere stick in de USB-poort van een willekeurig werkstation plugt en belangrijke bedrijfsinformatie kopieert. Broncode, boekhoudgegevens en historische dossiers kunnen allemaal zomaar razendsnel gekopieerd worden en via elke willekeurige broekzak het pand verlaten.

Oplossing: Breng werknemers ervan op de hoogte wat wel en niet acceptabel is als randapparatuur binnen het bedrijf. Houd nauwkeurig alle bezit bij en noteer wat bij de IT-afdeling hoort, zodat je gemakkelijker de dingen kunt vinden of negeren die er niet bij horen. En als gegevensdiefstal een probleem vormt, overweeg dan jezelf te beschermen door USB-drives uit te schakelen, CD-branders te deïnstalleren en dergelijke. Het werk dat je nu doet kan je later een hoop ellende schelen.

Moraal: Management van bezit is niet alleen voor pietlutten. Precies weten wat er wel en niet op je netwerk thuishoort is een belangrijke stap in de richting van het oplossen van een hele reels IT-mysteries.

6. Beveiligingsfouten

Beveiliging zou de taak van iedereen moeten zijn, van de CTO tot de secretaresse. Het is verbazingwekkend hoe weinig bedrijven dit erkennen.

Ik moet denken aan een periode vlak na een vrij grote netwerkupgrade. Het hele weekend, dag en nacht, was er gewerkt aan de migratie van een nachtmerrieachtig netwerk met een mengelmoes van Windows 95/98/ME en zelfs OS/2 clients met NetWare en Windows NT servers, naar een schone, homogene utopie van redundante Windows 2000 Servers aan de back-end en Windows XP Professional desktops aan de front-end. Het was niet allemaal zo vlekkeloos verlopen als we hadden gehoopt, dus in plaats van de boel op zondagmiddag af te ronden waren we maandagochtend nog steeds bezig met de laatste tweaks.

Tegen de tijd dat we onze laatste test deden (waarbij we er op hadden gelet dat alle lokale tape-backups goed werkten) was het ongeveer middag. (De meeste gebruikers hadden nu ingelogd, waren ervan op de hoogte gesteld dat ze een nieuw wachtwoord moesten kiezen dat voldeed aan onze wachtwoordrichtlijnen, en hadden inmiddels een nieuw wachtwoord gekozen.) Ik strompelde wat suf de kantine binnen voor mijn zoveelste caffeïne-en-suiker-fix. Ik had het bijna gemist, maar ineens zag ik het vanuit mijn ooghoek. De cola spoot mijn neus uit alsof ik één of andere kwaaie limonadedraak was.

"Wachtwoordenlijst." Jawel hoor: de nieuwe wachtwoorden van elke gebruiker, samen met die van IT en enkele specifieke switchwachtwoorden, waren door een goedbedoelende secretaresse uitgeprint en in de lunchruimte opgehangen. Nadat ik gekalmeerd was, legde ze me uit dat ze dacht dat het gewoon makkelijker was om ze daar op te hangen in plaats van alle telefoontjes van gebruikers te beantwoorden die hun nieuwe wachtwoord niet meer wisten. Dus was ze de wachtwoorden (in mijn naam!) gaan verzamelen, had haar lijst opgesteld, en hem opgehangen.

Oplossing: Gebruikerstraining. Wachtwoorden mogen niet worden gezien als obstakels, maar als sleutels voor heel belangrijke sloten. Gebruikers moeten zich van dergelijke concepten bewust worden. Als de secretaresse dit was verteld, zou ze het nooit of te nimmer hebben gedaan, maar de enige training die het bedrijf haar ooit had gegeven was hoe je Word moet gebruiken.

Moraal: Het is heel vervelend om steeds de moraalridder te moeten uithangen, maar het kan op de langere termijn wel een heleboel hoofdpijn voorkomen.

7. Ken je grenzen

Dit soort situaties kunnen heel verschillend zijn, maar hebben met elkaar gemeen dat een gebruiker aan het experimenteren slaat met iets waarvan hij weet dat het gevaarlijk is, maar waar hij desondanks mee gaat zitten rotzooien.

Na een recente virusuitbraak besloot een nieuwsgierige engineer een monster van het virus open te breken "om te zien wat het zou doen". Maar hij deed dit niet op een pc die niet verbonden was met het LAN, en hij gebruikte geen besturingssysteem dat immuun is voor het virus. En dus herinfecteerde hij het hele netwerk.

Deze gebruiker was zo slim om zich meteen te melden, maar voor het zelfde geld realiseert zo'n vent zich niet eens wat hij gedaan heeft en merk je de nieuwe infectie niet op totdat de antivirussoftware alarm slaat.

Oplossing: Voor mij was de oplossing meerdere soorten virusdetectie, zowel server als client. Tegenwoordig kun je het zelfs krijgen op de infrastructuurlaag en dat kan ik je echt aanbevelen.

Moraal: Het feit dat een virus succesvol is verwijderd, betekent niet dat het niet opnieuw kan opduiken. Voor de rest valt een open-deurbeleid aan te raden: geen enkele vraag over virussen is dom, en elke keer dat je een waarschuwing moet rondsturen over een zeer gevaarlijke dreiging, kun je meteen aanbieden te helpen bij het instellen van alle benodigde maatregelen. Herinner je gebruikers er vooral aan dat het veel minder tijd kost om een infectie te voorkomen dan achteraf de rommel te moeten opruimen.

8. Servermisbruik

Je kunt je servers blijven opschonen totdat ze glimmen, en toch vinden gebruikers steeds manieren om ze te misbruiken - met name op het gebied van opslag, zoals lezer Yan Fortin vertelde. Op een saaie regenachtige dag ging hij zijn firewall-logs eens ging bekijken, gewoon om wat te doen te hebben. Opeens kreeg hij een telefoontje van een gebruiker: dat het network de toegang tot bestanden weigerde. Een volgende oproep zorgde ervoor dat hij zijn fascinerende leeswerk onderbrak om eens echt op onderzoek uit te gaan.

"En ja hoor, ik had vijf e-mails die me waarschuwden dat de hoeveelheid vrije ruimte op het gedeelde netwerk F: gevaarlijk klein werd. Jammer genoeg had ik de Windows Messenger Service op mijn workstation uitgeschakeld, dus had ik de waarschuwing niet op die manier gekregen. Ik moest me schamen." Inderdaad, ja.

Fortin doorzocht de schijf op bestanden groter dan 50MB en kwam zo een marketing medewerker op het spoor die zo'n 30 TIFF-bestanden van elk 150MB van een DVD naar het netwerk aan het kopiëren was. "Ik belde haar om haar duidelijk te maken dat ik al haar bestanden zou verwijderen, en ik voegde meteen de daad bij het woord." Crisis voorbij.

Oplossing: Fortin kocht meteen na dit incident extra harde schijfruimte voor de server. Verder had hij een streng gesprek met de gebruiker over de eindigheid van serverschijfruimte.

Moraal: Zie punt zes: je wordt er wel eens moe van dingen uit te leggen aan onervaren of zelfs tech-fobische gebruikers, maar het kan je uiteindelijk veel tijd, problemen en schreeuwende managers schelen.

9. Verschrikking van thuiswerkers

Onthoud dat zelfs teleforenzen uiteindelijk een keer naar kantoor komen. Eén lezer vertelt over de ervaring van een gebruiker-op-afstand die het hoofdkantoor bezocht en meteen het hele netwerk platlegde. Een klein laptoponderzoek wees uit dat de gebruiker ervoor had gekozen zijn laptop voor zijn thuisnetwerk als DHCP-server te configureren, waardoor "opeens zijn machine de default gateway voor dat segment werd".

Andere voorbeelden zijn mama's en papa's die zo dom zijn hun kinderen toe te staan high-end computergames op de bedrijfshardware te spelen, of (nog erger) op het internet te surfen naar al die duistere hoeken van het web die tieners zo graag onderzoeken. Terwijl de volwassenen uit eten zijn, zitten de kids thuis het workstation te infecteren, wat meteen virussen begint uit te spugen zodra papa inlogt op kantoor.

Oplossing: Perimeterbescherming. Eindpuntbeveiligingstechnologieën zoals Cisco's NAC of Microsoft's NAP zijn specifiek ontworpen om dit risico te minimaliseren, door machines van buitenaf te scannen op het moment dat ze verbinding maken met het netwerk. Als er niet aan specifieke criteria wordt voldaan, waaronder alles van minimale patchniveaus tot geplande virsusscans, wordt de pc in een quarantainegebied op het netwerk gedumpt waar het gescand, geupdate en gerepareerd kan worden zonder dat het andere machines kan infecteren.

Moraal: Praat met je thuiswerkers. Fair use-bepalingen met een beetje disciplinerende praat erbij kunnen mama zover brengen dat ze voor haar kroost een aparte computer aanschaft, in plaats van haar baan op het spel te zetten door de kids die van haar te laten gebruiken.

10. Ultieme eigenaardigheden

Het volgende verhaal verdient onze Grootste Gniffel Award. Lezer Dave Schultz vertelde over een incident waarbij hij een briefje op een netwerk laserprinter had geplakt waarop stond dat, als de printkwaliteit achteruit begon te lopen, de gebruikers voordat ze en nieuwe cartridge lieten aanrukken eerst "een paar keer moest schudden" om er een paar extra kopieën uit te krijgen.

Schultz werd later berispt omdat een gebruiker op het werk door zijn rug was gegaan doordat hij, nadat hij het briefje had gelezen, de hele HP LaserJet 4000 had opgepakt en geprobeerd had de printer heen en weer te schudden.

Oplossing: Schiet die gebruiker maar af, hij is nu toch al lam.

Moraal: Laat je bloeddruk nooit oplopen tot gevaarlijke hoogten en houd altijd een doosje Paracetamol bij de hand.

Bron: Techworld

De rubriek Tips & Tools biedt praktische informatie die IT-professionals in hun dagelijkse werk kunnen toepassen.