Gepubliceerd: Donderdag 15 mei 2008
De ongekend lange ATM-storing van KPN duurt nog langer omdat de switches 'handmatig' moeten worden hersteld met het stap voor stap installeren van nieuwe firmware.
Toon volledig artikel
Deze kwetsbaarheid is niet te ondervangen met extra back-up apparatuur die bij een storing de taken van een uitgevallen apparaat overneemt. Hania: "De grap is, het netwerk is compleet redundant, op hardwareniveau. Maar de achilleshiel is dat al die hardware op dezelfde software draait."
Maar je gaat mij niet wijsmaken dat software de oorzaak van dit probleem was.
Ze waren toch bezig met het breed upgraden van de firmware? Volgens mij kunt je dat vergelijken met het upgraden van de bios van een PC.
Als daarmee iets mis gaat tijdens het proces, dan heb je echt een probleem. Soms schijn je een bak weg te kunnen gooien, bijvoorbeeld als er stroomuitval was tijdens de upgrade.
Het gaat om Lucent switches en dus geen Cisco routers. Op een Cisco router kan je aangeven met welke IOS versie je wilt booten en kan je dus ook in geval van problemen een rollback doen door simpelweg met de oude versie te booten. Mits de router/switch/device niet in een vreemde bootloop zit en je de oude versie niet hebt weggegooid van je flashdisk. ;-)
Redundantie heeft een prijs. En als je dus 2 aparte DSl verbindingen wilt hebben, moet je deze van twee carriers afnemen waarvan je zeker weet dat ze over een apart netwerk beschikken.
Volgens bronnen dicht bij het vuur zou het om een bepaalde IOS versie gaan icm met een firmware upgrade. De getroffen Cisco routers zouden daarna niet goed meer werken. Waarom ze deze niet uitvoerig getest hebben zou komen door het feit dat er reeds problemen waren die deze firmware zou oplossen (op advies van Cisco?). Blijft natuurlijk wel de vraag dat als dit waar is (en ik heb gezien de bron geen rede om hier aan te twijfelen), waarom ze dit dan hebben uitgevoerd zonder een fallback te creëren. Veel van onze klanten hebben hier ook last van. Zoals SED zegt is het dus raadzaam als je redundant DSL lijnen wil hebben, dat je dan ook 2 verschillende netwerken neemt. Waarom is de afgelopen dagen wel duidelijk geworden.
Jouw 'bronnen' zitten verder van het vuur dat de aarde van de zon staat. Het artikel zegt duidelijk dat Alcatel-Lucent de vendor is en toch bralt er hier weer iemand dat het om Cisco gaat. Is dat nou de enige hardware fabrikant die je kan verzinnen? Of kan je gewoon niet lezen? Of lees je wellicht alleen wat je wilt lezen?
Wel lezen he? Er staat niet mijn bronnen. Tevens zeg ik ook nog duidelijk als het waar is, waarmee ik dus aan geef dat ik het iig niet kan verifiëren.
Wel lezen he? Er staat niet mijn bronnen. Tevens zeg ik ook nog duidelijk als het waar is, waarmee ik dus aan geef dat ik het iig niet kan verifiëren.
De "hele wereld" weet dat het bestaande KPN netwerk voornamelijk draait op Alcatel equipment, dat is geen staatsgeheim. Zelfs het artikel geeft eerlijk aan dat het gaat om Alcatel equipment, dus hoe betrouwbaar denk je zelf dat jouw bronnen zijn?
En wat voor een reden zou KPN c.q. XS4ALL hebben om Alcatel te noemen, terwijl het om Cisco equipment zou gaan? Ik kan me voorstellen dat Alcatel daar wel eens een zaak van kunnen maken...
Omdat WebWereld Duchcowboys citeerd en omdat Dutchcowboys geen clue heeft? Een perfect voorbeeld hoe een stuk desinformatie dat ergens opduikt tot feit wordt verheven. Goed gedaan, DutchCowboys, helpt enorm in de geloofwaardigheid.
Kom op, doe niet zo zielig, het is GEEN Cisco. Het was nooit Cisco en het zal ook geen Cisco worden. Heb je enig idee hoe het Bitstream netwerk van KPN eruit ziet?
Nogmaals: Er bestaat geen enkele reden voor KPN om Alcatel als schuldige aan te wijzen als het niet om Alcatel equipment gaat. Een network operator zal zich wel 10x bedenken om een foute naam te noemen en die te koppelen aan zo'n grote storing. Geef mij eens een enkele valide reden waarom?
Kom op, doe niet zo zielig, het is GEEN Cisco.
Hoe verklaar je dit dan?
Cisco Systems wil het verhaal niet bevestigen en verwijst naar KPN.
Ik zou als ik Cisco was toch echt niet willen dat mijn naam genoemd werd icm Neerlandsch grootste allertijden. Cisco kan toch gewoon zeggen: nee, onze producten, technici en software hebben hier niets mee te maken. Zo moeilijk is dat toch niet als men je om een reactie vraagt?
Zucht. Misschien heeft Cisco er wel geen flauw benul van? Misschien heeft KPN nog nooit met Cisco contact gehad over dit probleem? Dus hoe moet Cisco nu weten of er ergens een ding van hun tussen zit dat misschien problemen heeft?
Als ze (mogelijk) een team uit Azië moeten laten over vliegen, lijkt me dat Cisco daar wel van op de hoogte is. Daarnaast lijkt me het zéér onwaarschijnlijk dat ALS het Cisco apparatuur betreft de mensen van KPN niet even met hun gebeld hebben. En als laatste is het toch wel erg vreemd dat als er géén Cisco apparatuur bij deze storing is betrokken het bedrijf geruchten niet uit de wereld wil helpen om hun imago te beschermen en naar KPN verwijst die niets vertelt? Maar goed, de tijd zal het leren. Ik heb er iig geen verstand van, jij kennelijk wel, dus dan ben jij de expert. Graag wil ik wat meer weten en leren, dus kan je eens wat linkjes of info plaatsen?
Nee druiloor, je schrijft: Blijft natuurlijk wel de vraag dat als dit waar is (en ik heb gezien de bron geen rede om hier aan te twijfelen)
. Hiermee benadruk je dat je het zo goed als zeker aanneemt als de waarheid.
Niet recht gaan lullen wat krom is.
Als je het zo leest heb je gelijk, het is dus een interpretatie kwestie. Dat ik iets aan neem van anderen die expert op dat gebied zijn is, als het alleen netwerkswitches betreft en geen routers, idd niet slim. Maar als het niet je expertise is ben je geneigd te vertrouwen op de vakman. Ik heb alleen maar opgeschreven wat ik heb gehoord, niets meer niets minder.
De grote telefoon-storing in Amerika was ook een softwareprobleem. Het uitschakelen van talloze elektriciteitsaansluitingen nadat ze in Duitsland een hoofdleiding even uitgezet hadden, was ook een softwareprobleem. Zolang alles goed gaat, werkt de apparatuur zoals het hoort. Komen er onverwachte 'buiten-spec' situaties voor, dan kan het compleet in de soep lopen. Met name als je de grensgevallen niet allemaal test "omdat dat toch nooit voorkomt". Of omdat je een firmware update uitbrengt voor probleem X, "hoef je alleen dat stukje maar te testen". Been there, done that, didn't work.
Meest klassieke voorbeeld is Honeywell met industriele thermostaten. Als temperatuur < X, dan doe je dit, als temperatuur > X dan doe je wat anders. Na een paar uur productie draaien loopt de boel compleet in het honderd, want het gedrag bij temperatuur == X waren ze vergeten te specificeren...
Je kunt je natuurlijk afvragen of redundant dan niet echt zinvol is als je twee versies van firmware naast elkaar draait of dat je twee merken gebruikt voor de redundancy.
Helaas is dit soort storingen nooit helemaal te voorkomen en toont het alleen maar aan dat we erg afhankelijk zijn geworden van het internet.
Je moet ook vaststellen dat bepaalde bedrijven goedkope verbindingen gebruiken voor bedrijfskritische processen en dat is niet verstandig. In dat geval zou je kunnen overwegen twee ISP met gescheiden netwerken als basis te nemen voor je bedrijfskritische werk. Kostbaar misschien, hoewel de prijzen fiks gedaald zijn, maar wel zo verstandig.
Je moet ook vaststellen dat bepaalde bedrijven goedkope verbindingen gebruiken
Bij mijn weten zijn ook bedrijven met DSL verbindingen getroffen. Daarmee zit je toch in de categorie dure betrouwbare business verbindingen?
DSL op zich hoeft geen dure verbinding te zijn. Je hebt het dan alleen over de up en downstream die gelijk is.
In een Fair Use policy zal men niet moeilijk doen als je "prive" lijntje een tijdje volop data verbruikt. Dus twee gewone lijnen zijn vaak beter dan een dure zakelijke.
Inderdaad, je hebt als provider 2 opties (nouja 3, maar laten we GEEN redundantie maar even niet meerekenen) aan de ene kant kun je redundant twee identieke appraten draaien. Hierdoor weet je zeker dat alles goed met elkaar communiceert en dat alles met dezelfde settings en protocollen werkt, alleen als je firmware gaar is, dan ben je het haasje. Aan de andere kant kun je ervoor kiezen om twee apparaten van verschillende fabrikanten naast elkaar te zetten. Voordeel is dat de kans een stuk kleiner is dat de firmwares dezelfde problemen hebben. Maar daar staat weer tegenover dat de compatibiliteit van die twee apparaten gewoon niet te waarborgen is.
Parallel aan deze twee mogelijkheden, moet je dan het volgende bedenken:
Fabrikanten testen hun firmware op hun eigen hardware. Dus van de firmware kun je verwachten dat deze getest wordt aangeleverd.
Fabrikanten testen hun firmware niet op functioneren met concurrerende apparaten, dus bij elke upgrade moet je maar afwachten of alles nog goed samenwerkt.
Lastig vraagstuk waar iedereen die redundantie wil bieden mee te maken heeft. Helaas is er geen eenduidig antwoord, wat iemand voor oplossing kiest, is niet per definitie fout, er is bij allebei de oplossingen een kans dat het fout gaat.
Wij hebben als bedrijf 2 ADSL aansluitingen. Eén via Solcon over het KPN netwerk en één via Unet via het BBned netwerk. Alles bij elkaar ongeveer 60 euro per maand, maar wel veel goedkoper dan een dure aansluiting met SLA. Ondanks dat onze Solcon aansluiting er de afgelopen dagen uitlag hebben wij helemaal geen last gehad van de storing door over te schakelen op onze Unet aansluiting. Als IT-bedrijf adviseren wij deze constructie ook altijd al aan klanten van ons. De klanten die ons advies hebben opgevolgd hebben dan ook helemaal geen last gehad van de storing.
Misschien voor bedrijven een tip om over na te denken?
idd een goed alternatief. Ik zou nog verder gaan dan indien je kabel hebt deze ene adsl verbinding te laten vervangen door een kabelverbinding.
Mocht er bijv eens een telefoonkabel kapotgetrokken worden dan loopt daar zowel knp als bbnet door. tv kabel met internet ligt vaak net ergens anders in de grond dus is de kans op uitval nog minder.
Maar het is idd veel goekoper om 2 adsl verbindingen te nemen dan een hele duurde business verbinding die honderden euro's kost.
Misschien voor bedrijven een tip om over na te denken?
De slimste en goed koopste oplossing die je hier beschrijft. Al zou je drie verbindingen nemen. De prijzen voor zakelijk Internet is enorm gekelderd en voor SLA's moeten je uiteraard betalen. Met 2 (of zelfs drie) goedkope verbindingen denk ik dat je geramd zit. Wanneer alle drie verbindingen niet zouden werken moet er een flink probleem zitten op knooppunt Amsterdam.
Over de exacte oorzaak van de storing kunnen KPN of XS4All nog geen uitsluitsel geven. Maar het is, voor zover Hania kan nagaan, wel de grootste netwerkstoring ooit in Nederland.
Het antwoord geven ze zelf al, er moet nieuwe firmware op. Maar waarom nieuwe firmware, was er iets mis met de oude firmware ? of is het toch gewoon zo de de geruchten dat er iets mis ging tijdens firmware update misgegaan is en dat er nu manueel geupdate moet worden.
Dit laatste verhaal lijk haast waarheid te zijn als je leest dat ze de firmware aan het updaten zijn.
Maar goed zo een grote fout tijdens het updaten wil men natuurlijk niet graag toegeven dusa ik ben benieuwd wat voor een verhaaltje ze gaan vertellen.
Zal wel iets zijn als een niet of onvolledig geteste software release die breed is uitgerold en dus ook een grote impact heeft. Maar het sprelltje zwartepieten zal wel snel van start gaan op executive niveau binnen KPN. KPN geeft de schuld aan Lucent, Lucent verwijt KPN weer iets anders. Onder aan de streep is de klant de dupe..
Aan de hand van de laatste berichtgeven begrijp ik dat de firmware upgrade nodig was om de storing te verhelpen. De storing zou veroorzaakt zijn door een bug in de oude firmware.
lijkt me sterk een bug. Die bug zou nu ineens zo maar naar voren komen en het een boel routers platleggen. Schijnbaar is er voor de update niet een probleem geweest omdat het netwerks gewoon werkte.
Het verhaal van de update die is misgegaan ligt ook voor de hand, zeker omdat het maar een gedeelte van de routers betrof.
Je komt de gekste dingen tegen hoor. Ik werk zelf ook bij een ISP en wij hadden ook ooit een grote storing die uiteindelijk veroorzaakt bleek te worden door PC's van de Aldi. De netwerkkaarten in die PC's bleken allemaal 00-00-00-00-00-00 als MAC-adres te hebben, waardoor CMTS-en over hun nek bleken te gaan.
Het duurde best even voor we daarachter waren...
Wat heb je aan redundantie als je tegelijk op je productie en redundante omgeving dezelfde updates uitvoerd? Rol het eerst uit over je ene infrastructuur, gaat het fout dan rol je het terug en neemt de andere het intussen even over. Is het in orde dan doe je ook je redundante infrastructuur updaten.
Of mis ik iets?
- Unomi -
Waarschijnlijk ging het fout tijdens "productie", het draait al jaren goed en plotseling trigger je een bug in je ATM switches, die zijn toevallig allemaal van hetzelfde merk (Alcatel/Lucent) en draaien ongeveer dezelfde revisies firmware.
Dit soort zaken zijn de nachtmerrie voor elke netwerkbeheerder, een groot probleem op je gehele productie netwerk door een of andere vage, moeilijk te achterhalen bug. Ik denk dat Alcatel ook wel wat heeft uit te leggen aan KPN als het feest over is.
Zelfs cross-vendor kun je deze ellende hebben. Veel vendors kopen bepaalde software stacks in van derden.
Software bugs zijn de meest voorkomende reden waarom redundantie vaak niet werkt. Op papier zou het allemaal redundant moeten zijn, als het ene uitvalt, neemt het andere het over. Als de software de mist in gaat op systeem A, dan is er ook een grote kans dat het mis gaat op systeem B.
De ongekend lange ATM-storing van KPN duurt nog langer omdat de switches 'handmatig' moeten worden herstelt
...
Moeten worden herstelT? Met een T?
Whoehaha :-)
Deze combinatie van artikel en advertentie is een klein beetje ongelukkig gekozen:
www.xs4all.nl/~rkoops/Naamloos.jpg
Deze combinatie van artikel en advertentie is een klein beetje ongelukkig gekozen:
www.xs4all.nl/~rkoops/Naamloos.jpg
*sniffel*
Ik vermoed dat ze dit jaar hun 99.9% uptime niet gaan halen. Ondanks deze storing vind ik het toch een plus-punt voor een provider die zijn uptime als speerpunt ziet. Ik zit zelf bij @Home en opzich ben ik wel tevreden maar wanneer het eruit ligt krijg ik niet het gevoel dat alle registers worden opgetrokken om het probleem te verhelpen. Elke keer wanneer ik bel is de Helpdesk niet op de hoogte...
Iets wat al een lange tijd stabiel draait houdt er niet zomaar mee op. Valt de zaak ineens om, dan is er in de praktijk vaak een 'change'(wijziging) aan vooraf gegaan. Het kan natuurlijk ook zijn dat iets gewoon stuk gaat.
Als je de fabrikant belt met je probleem dan wordt vaak als eerste een firmware(of laatste patch level) update aangeraden. Ik heb dit in de praktijk al een paar keer meegemaakt. Sommige fabrikanten eisen dat alles up-to-date is alvorens zij komen. Ben benieuwd wat de echte oorzaak is van de KPN storing :)
Ik werk zelf bij een internet provider en had wel internet, heb de afgelopen dagen dus gelukkig mijn werk gewoon kunnen doen :-)
Ik denk dat veel bedrijven hierdoor merken hoe belangrijk het is om een fallback verbinding te hebben, bijv. een lijn van bbNed ernaast of in ieder geval een inbelaccountje zodat je in ieder geval iets kunt doen. Een UMTS kaartje doet ook wonderen (als UMTS tenminste ook niet uit valt).
Wij hebben ook 24 uur zonder verbinding gezeten (@home) en nu biedt ik alleen wat (gratis) CD-ROM's aan (die elders gehost worden).
Binnen die 24 uur wordt je wel even met de neus op de feiten gedrukt, hoe afhankelijk je inmiddels van die suffe Internetverbinding bent. Het heeft ongeveer dezelfde impact als stroomuitval.
Stel je voor dat je zelfstandig ondernemer bent, die producten of diensten via "het net" aanbiedt. Daar gaan je inkomsten, want de klant gaat gewoon naar de concurrentie, omdat je service niet bereikbaar is.
De financiële schade zou vergoed kunnen worden, maar hoe zit het met de veroorzaakte stress?
Is dit niet gewoon de Hollandse manier van pappen en nathouden?
Beetje de boel bij elkaar houden met pleisters (software) om het
maar draaiende te houden.
Wat gebruiken ze eigenlijk Windows? Cisco? IBM/
Solaris,
Het doet er niet zoveel toe wat je draait/gebruikt. Zolang je maar goed(pro-actief) beheer doet. Daar schort het vaak aan. Alles moet tegenwoordig snel, goedkoop en goed. Wat vaak niet lukt omdat deze zaken in tegenspraak met elkaar zijn(vooral in complexe ICT omgevingen)
Dat van het pappen en nathouden zal zeker van toepassing zijn :)
Ben in verloop van jaren al bij teveel providers te gast geweest om me hier nog druk over te gaan maken. Neemt echter niet weg dat ik me kan indenken dat het uitvallen van internetverbindingen voor velen een ramp geweest kan zijn. Hoewel het PTT-regiem verleden tijd is, kan ik me niet aan de indruk onttrekken dat KPN zich nog niet helemaal heeft kunnen ontrekken aan ingesleten hierarchische structuren uit het verleden.
Om te kunnen reageren, dient u ingelogd te zijn.
2 jaar geleden: 13 februari 2010
3 jaar geleden: 13 februari 2009
4 jaar geleden: 13 februari 2008
5 jaar geleden: 13 februari 2007
14 jaar geleden: 13 februari 1998
IDG Nederland is uitgever van: AppFish
, CIO, Computer!Totaal, Computerworld, ITworld, Jobworld, MacWorld, RAW fotomagazine, TechFish, Tips & Trucs, Webwereld en Zoom.nlMeer informatie: IDG Nederland, IDG.com, Privacy-statement, Cookie-statement Hosting by Terremark.
