Een verschijnsel waar bijna elke IT'er mee bekend is, is de hypnotiserende aantrekkingskracht van knopjes. We weten dat we er soms beter af kunnen blijven en tóch drukken we erop. Deze redacteur heeft ooit een 110-220-schakelaar op een pc omgezet, terwijl hij beter wist (lang verhaal). Een andere collega had een knop op een kabelgoot geïnstalleerd met het label "NIET INDRUKKEN". Als je dat wel deed, ging er alleen een rood lampje aan. Verder niks. Maar iedereen drukte erop.

Ook dreuzels (niet-IT'ers) kennen deze kracht en drukken wel eens op knoppen waarvan ze wéten dat ze er af moeten blijven. Leidinggevenden hebben vaak meer toegang dan gewone stervelingen en kunnen behoorlijk wat schade aanrichten als je niet de moed hebt ze in de weg te staan. Ook daarvan volgen een paar belangrijke lessen met steeds dezelfde moraal: blijf van die knop af.

Ten slotte kijken wij naar ook sysadmins die vonden dat zij niet (genoeg) werden gewaardeerd en wraak namen. Wellicht iets om stil bij te staan tijdens Systemadministrator Appreciation day?

1. Sysadmin versus stroomschakelaar

Toen het tijd werd om het budget vast te stellen, kwamen de managers het datacenter bekijken en een senior-netwerkbeheerder leidde ze rond. Hij liet de twee nieuwste servers zien en schepte op over de fantastische uptime van de nieuwe servers. Een vraag over de UPS wuifde hij weg met de mededeling dat die niet nodig was.

Om zijn standpunt kracht bij te zetten, raakte hij de stroomschakelaar op de server aan en smeet in één klap 500 gebruikers van het netwerk. Een ezel stoot zich in het algemeen geen twee keer aan dezelfde steen, maar deze sysadmin demonstreerde bij de tweede server het effect nogmaals, waardoor ook de rest van het personeel zonder netwerkverbinding zat.

Om de een of andere reden werd de systeembeheerder niet ontslagen en was alleen zijn trots gekrenkt. Een gunstig effect was overigens wel dat het management ervan overtuigd was dat er wel degelijk behoefte was aan een UPS en meer redundantie, waardoor er meer geld in het budget werd gestoken voor de serverinfrastructuur.

2. Kantoor BBQ

We blijven even bij de electriciteitsverhalen: Sysadmin wordt gebeld door medewerker van het hoofdkantoor: "Het netwerk doet het niet" Onderweg naar plek des onheil valt hem een doordringende geur op, het ruikt als een uit de hand gelopen barbecue. Eenmaal aangekomen in het pand wordt al snel duidelijk wat er mis is. Er brandt geen licht. De pc's staan nog wel aan en mensen zijn min of meer aan het werk, maar de UPS piept.

Belangrijke systemen hangen aan een UPS, maar de hubs en andere systemen niet, dat verklaart de vele netwerk-problemen (Tja, er was geen budget voor een volledig UPS-systeem). De sysadmin legt aan de medewerkers uit dat dat het probleem is en dat de computers zo snel mogelijk moeten worden uitgezet om de schade te beperken. Dat is iets wat al vaker is gezegd, maar altijd wordt vergeten. Tijd om op onderzoek te gaan en te kijken waarom er geen elektriciteit is. De geur had dat eigenlijk al duidelijk moeten maken. Blijkbaar was er een rat in de transformator terecht gekomen met alle gevolgen van dien.

Ja, het leven van een Sysadmin is soms zwaar, maar niet zo zwaar als dat van de elektricien die de transformator moest repareren. "Dode muizen in de spouwmuur, rottende eekhoorns, m'n hond die ruzie had met een stinkdier...niets komt qua stank in de buurt van geëlektrocuteerde rat," aldus de elektricien.

3. En als we het dan toch over budgetten en elektriciteit hebben...

Deze sysadmin werd al maandenlang naar een kapotte netwerkrouter gestuurd om deze te repareren en weer in de lucht te krijgen. Er is al te pas en te onpas aangegeven dat dat ding vervangen moest worden omdat het van ellende praktisch uit elkaar viel. Maar daar was geen geld voor.

Toen de gewraakte router bij een blikseminslag uit elkaar knalde was de admin met stomheid geslagen toen hij te horen kreeg dat hij het apparaat toch weer in elkaar moest zetten. Geen discussie mogelijk. Het apparaat vatte spontaan vlam toen de stekker in het stopcontact werd gestoken en het brandalarm zorgde ervoor dat iedereen in een mum van tijd buiten stond.

Zelfs dat was niet genoeg om het management te overtuigen. De sysadmin werd serieus gevraagd het ding weer in elkaar te zetten en het nog een keer te proberen om te kijken of het apparaat nu wel werkte.

4. Als loslaten geen optie is

Een junior IT'er had de opdracht om een niet-kritiek systeem uit te schakelen in de serverruimte. Hij ging op weg en drukte de knop in en realiseerde zich dat hij de verkeerde server had. Dit was de machine waar bestanden op stonden die op dit moment door 600 medewerkers in gebruik waren. Dit was een server uit de jaren 90 en de stroom zou met die machines uitgaan op het moment dat hij de knop losliet.

Loslaten was dus geen optie. De IT'er greep zijn mobiele telefoon, maar had geen bereik in de serverruimte. Er was niemand in de buurt en met de gesloten deur, ratelende airco's en zoemde servers zou niemand hem horen als hij om hulp schreeuwde. Zijn enige hoop was de vaste telefoon, maar die stond drie meter verderop - buiten het bereik van zijn vrije arm.

De IT'er had maar een optie: de telefoon naar zich toehalen. Hij trok zijn broek uit, wierp die naar het toestel en schoof die langzaam maar zeker dichterbij. Na enkele tergende minuten kon hij collega's bereiken die vervolgens werknemers informeerden dat de server over een kwartier down zou gaan. In dat kwartier kwamen sympathieke collega's een kijkje nemen naar de arme IT'er die inmiddels een half uur lang een knop ingedrukt hield - in zijn boxershort.

5. Het loszittende beschermkapje

Deze datacenterbeheerder wilde alleen maar taken gemakkelijker maken, workflows versoepelen en wat irritante details opschonen. Maar in zijn enthousiasme de boel te verbeteren, ging hij net een stapje te ver. Toen hij een inspectie deed van de servers die hij net efficiënter had gemaakt, zag hij een beschermplaatje dat er precair los op leek te liggen.

Hij stak zijn hand uit om het plaatje aan te duwen, voor hij goed en wel doorhad dat het de beschermingskap van de noodknop op het hoofdsysteem was. Het plaatje kwam los, de veerknop duwde zich naar buiten en de schakelaar was officieel omgezet. Direct daarop gingen alle lichten uit en ontstond er een doodse stilte in de ruimte.

Het eerste geluid dat deze IT'er hoorde waren de schreeuwen van paniek van werknemers die computers zagen uitvallen of wiens telefoontjes bruusk werden opgehangen. Er was geen grote schade aangericht - de servers werden haastig weer up gebracht - maar de les die hij leerde was duidelijk: denk eerst goed na voor je iets verbetert en houd je handen thuis.

6. 30 seconden bij brand

Dit verhaal speelt zich af in een klassieke computerruimte: drie mainframes met aangesloten tape drives, een opslagrij die zo groot is als een rij afwasmachines, drie matrixprinters, één hypermoderne laserprinter en-- een brandafweersysteem met Halon. De systeembeheerders en de baas komen er niet uit wat de shutdown-procedure moet zijn als er een brand is.

De baas blijft erbij dat de IT'ers in de ruimte blijven om de mainframes netjes down te brengen. De systeembeheerders zeggen uiteraard: "Als het brandalarm afgaat, ren ik naar de uitgang." Hun leidinggevende zegt dat het maar 30 seconden kost om langs de drie mainframes te lopen om een nette shutdown uit voeren. Om het te bewijzen, wordt er een praktijktest gedaan.

In de ruimte wilde een van de beheerders ook het daadwerkelijke alarm horen. Dat kon via het systeem worden opgeroepen, zonder dat de rest van het afweersysteem wordt geactiveerd. Toen de admin in die ruimte de beschermkap van het controlesysteem oplichtte, viel een paperclip in het paneel. Daarop volgde kortsluiting en werd Halon de mainframeruimte ingeblazen. Drie maal raden wie het er eerste door de deur naar buiten rende? De baas had het daarna nooit meer over de 30 seconden-regel.

7. Bestuurders gaan op onderzoek

We hebben een simpele vuistregel voor systeembeheerders: Laat bestuurders nooit zonder toezicht bij een server. Op een kwade dag kwamen een paar onderdirecteuren van een moederbedrijf een kijkje nemen op de IT-afdeling van een zaak die binnenkort opgeslokt zou worden door het grote bedrijf. Meteen daarna ontstonden er allerlei vreemde problemen, zoals sites die geen verbinding meer konden leggen en e-mailtjes die verdwenen.

De DNS-server lag eruit, de back-up-server ook en het monitoringssysteem lag plat. Een voor een werden de issues aangepakt tot de boel na een middag aanpoten weer draaide. Uiteindelijk bleek dat de rondlopende directeuren hadden geconcludeerd dat er niet-gebruikte servers onnodig draaiden en ze hadden na een korte inventarisatie een paar uitgeschakeld.

Dat terwijl ze zelf altijd hameren op Change Requests en werknemers door twintig brandende hoepels moeten springen om toegang te krijgen tot de printer op de hoek. Zonder een juist ticket konden de systeembeheerders niet eens een IP-adres wijzigen of server uitschakelen. Bestuurders houden zich zelf niet aan hun eigen regeltjes. Wederom: laat een bestuurder nooit, maar dan ook nooit, in de buurt van een server.

8. De overijverige opruimactie

Je verwacht het van domme gebruikers, niet door kennis gehinderde bestuurders en eigenwijze IT-managers. Maar niet van je collega's. Deze professional kreeg de taak om te bepalen welke servers overbodig waren geworden en uit het datacenter konden worden verwijderd. In een vlaag van wat verstandsverbijstering moet zijn geweest, ontdekte hij, gewapend met een excelsheetje, een kritieke beheerserver en schakelde deze uit.

De beheerserver was echter de enige manier om de firewall te configureren en de netwerkbeheerders gingen direct op onderzoek uit toen deze opeens niet meer te benaderen was. Tot hun grote ontsteltenis was de server verdwenen. Het wordt erger. De IT'er had namelijk de machine meegenomen naar zijn kantoor, waar hij de harde schijf had geformatteerd.

O, het wordt nóg erger. De beheerders dachten dat ze gewoon een back-up konden terugplaatsen, maar die reservekopie werd bewaard, je raadt het al, op de beheerserver zelf. Uiteindelijk moest de hele firewall en het beheersysteem van de grond af aan opnieuw opgebouwd worden - een proces dat vijf maanden in beslag nam. De overenthousiaste IT'er werd weggepromoveerd naar een andere afdeling.

Hoewel de verhalen op de vorige pagina's vooral meestal vergissingen waren of voortkwamen uit ontwetendheid, kan het ook andersom. Vorig jaar schreven wij bijvoorbeeld nog over de boze sysadmin die routerconfiguraties verwijderde bij verschillende banken. Sommige beheerders zijn het zat en slopen de boel om een punt te maken of om ontslagen te worden.

Misschien iets om over na te denken als je je sysadmin niet in het zonnetje zet vandaag?

9. Plan om ontslagen te worden

Een man moest zich voor de rechter verantwoorden voor het plaatsen van backdoors op meer dan 2700 servers van een hostingprovider. De systeembeheerder had deze al geplaatst voor zijn ontslag, maar ze goed verhuld door ze voor te doen als bestaande processen en te verstoppen in mappen die leken te verwijzen naar legitieme libraries. Bovendien had hij de monitoringstools aangepast, zodat de backdoor onopgemerkt bleef.

De 29-jarige systeembeheerder werd vrij snel gesnapt, onder meer omdat het bedrijf een IT-audittool gebruikte die een ongeoorloofde verbinding opmerkte. Overigens richtte hij geen schade aan, volgens de hoster omdat hij daar de kans niet voor heeft gehad. De backdoor zou onderdeel zijn van een George Costanza-achtig plan om zichzelf te laten ontslaan en vervolgens aan de haal te gaan met bedrijfsgegevens.

De ontdekte backdoor werd herleid naar een Duitse server die op naam stond van de juist ontslagen systeembeheerder. Hij zit momenteel in de cel in afwachting van het proces. Hij wordt vervolgd voor computervredebreuk, een federale misdaad onder de strenge Computer Fraud and Abuse Act (CFAA).

10. De viruspionier

Deze IT'er is een pionier in de wereld van wraakzuchtige systeembeheerders en het verhaal stamt dan ook uit de tijd waarin virus nog tussen aanhalingstekens in de krantenkoppen verscheen omdat bijna niemand het verschijnsel kende - er bestonden op dat moment nog maar 40 virussen. Donald Burlsons cyberwraak was een noviteit in 1985. Zijn snode plan was het bouwen van malafide code die zou afgaan als hij werd ontslagen. Hij werd daarmee een rolmodel voor wraakzuchtige IT'ers die logic-bombs plaatsten toen ze werden ontslagen.

Het Mac-virus van Burlson was een tijdbom die afging twee dagen na zijn ontslag. De code verwijderde 160.000 loongegevens en zorgde zo voor forse schade. Nog een primeur: Burlson was een van de eerste mensen ter wereld die werd veroordeeld voor een dergelijke computermisdaad. Aanklagers meden dit soort zaken in de jaren 80 omdat forensische IT een behoorlijke niche was en virusaanvallen lastig te bewijzen waren.

Een ouderwets krantenartikel over dit toentertijd nieuwerwetse fenomeen (uit Times-News van Henderson, North Carolina - via Google News.)

11. Vrijdagmiddag-logic bomb

Rajendrasinh Makwana was Unix-beheerder bij de Amerikaanse hypotheekverstrekker Federal National Mortgage Association, ook wel Fannie Mae (FNMA). Tijdens zijn werkzaamheden schreef hij een programma die de instellingen van de servers wijzigde zonder fatsoenlijke autorisatie. De hypotheekverstrekker ontsloeg Makwana om die reden aan het eind van een vrijdagochtend in 2008. Zijn beveiligingspas werd ingenomen, maar hij werd wel teruggebracht naar zijn werkplek waar hij zijn werkzaamheden kon afronden.

's Middags liet hij een afscheidscadeau achter in de vorm van een logic bomb die financiële data van de Fannie Mae gewist zou hebben, midden in de crisis op de Amerikaanse huizenmarkt. Het programma stond op een timer voor eind januari 2009. Volgens de aanklagers zou de malware de hypotheken van miljoenen huiseigenaren hebben laten verdwijnen.

Een collega Unix-beheerder ontdekte de malafide code bij toeval in een legitiem script enkele dagen na het vertrek van de geschoffeerde systeembeheerder. De 4000 servers van de Fannie Mae werden zo gered van een rampscenario waarbij de monitoringsystemen zouden zijn geblokkeerd en alle inlogpogingen op de servers zouden worden afgewezen. Makwana werd veroordeeld tot 3 jaar cel.

12. Wraak of wijs IT-beheer?

De zaak van Terry Childs is legendarisch in de IT-wereld. Hij was verantwoordelijk voor het glasvezelnetwerk in San Francisco en had het netwerk zo geconfigureerd dat alleen hij het kon beheren. Toen management kritiek had op zijn functioneren, weigerde hij de wachtwoorden van de routers af te geven. En met het herstarten van de routers zou de hele configuratie verdwijnen en het netwerk plat komen te liggen, omdat Childs de configuratie op het geheugen had weggeschreven.

Childs bleek de de facto beheerder te zijn van het gemeentelijke netwerk - met al diens gevoelige documenten - omdat het de IT-afdeling de kennis en ervaring ontbeerde om het beheer fatsoenlijk op te zetten. De afdeling had geen authenticatiebeleid en Childs zou daarom de toegang hebben beperkt tot enkel zichzelf om niet verantwoordelijk gehouden te kunnen worden voor gerommel op het netwerk.

Na bijna twee weken heeft hij de wachtwoorden overhandigd aan de burgemeester van de Amerikaanse stad, maar de openbare aanklager nam de netwerkkaping hoog op. De jury had sympathie voor de benarde positie van Childs, maar achtte hem wel schuldig aan het veroorzaken van Denial of Service, wat strafbaar is onder de wet in California. Hij kreeg 4 jaar cel en moet 1,5 miljoen dollar betalen aan de gemeente.

Heb je zelf ook zo'n bijzonder verhaal? Stuur hem (anoniem) op naar de redactie - we plaatsen zelf ook leuke IT-verhalen uit de praktijk.