Storing 112 topje van de ijsberg

De afgelopen maanden was het weer diverse keren raak met ICT verstoringen. Nu ook 112 weer uren onbereikbaar was is het wachten op een serieuze calamiteit dat het maatschappelijke leven lam legt door falende ICT. De storing bij het noodnummer is niet bepaald uniek. Het regent voorbeelden van verstoringen met grote financiële en maatschappelijke gevolgen. Waar komt dat toch door en vooral – is er iets tegen te doen?

Omdat ICT storingen een toenemende impact op ons hebben wordt de roep om betrouwbare ICT luider. Maar bedrijven lijken meer bezig met kostenverlaging, dan het adequaat adresseren van dit groeiende risico. Met de beweging naar de cloud zal de impact van verstoringen toenemen. Er is immers minder zicht en minder invloed op de keten van ICT dienstverleners. Als ICT-manager en PhD onderzoeker ontwikkel ik een unieke, praktische kijk op het fenomeen ICT verstoringen. Neem het volgende voorbeeld:

Een kritische 24x7 software-as-a-service oplossing is gewild bij vele multinationals. Door de populariteit staat een nieuwe groep gebruikers te trappelen om van de dienst gebruik te maken. Voordat ze van start gaan komt er nieuwe functionaliteit in het systeem. Na de ICT-wijzigingen in het weekend blijkt op maandagmorgen de capaciteit van het productiesysteem plotseling ontoereikend. Met wachttijden van meer dan 30 seconden per schermwisseling is er een onwerkbare situatie ontstaan. De dienstverlening is kritisch en de weg terug niet mogelijk; er wordt besloten om tijdelijk de uitwijkomgeving in te zetten als additionele capaciteit. De keuze wordt slagvaardig en met een beperkte groep betrokkenen gemaakt. Het capaciteitsprobleem is opgelost.

Een paar weken later blijkt op maandagmorgen het systeem plotseling helemaal uit de lucht te zijn. Dinsdagmorgen wordt ontdekt dat een ICT-change in het weekend een component buiten werking heeft gesteld waardoor een kettingreactie is ontstaan en het systeem lam is gelegd. De calamiteit had inmiddels geleid tot grote financiële schade. De mensen van de afdeling die de wijziging hebben doorgevoerd zagen in de configuration management database (CMDB) dat uitwijk was geregeld en het risico van de ICT-change beperkt was. De betrokkenen die de change hadden goedgekeurd waren niet op de hoogte van de potentiële impact doordat ze niet wisten dat de uitwijkomgeving ingezet werd voor productie.

Dit voorbeeld laat zien dat een klein misverstand onbedoeld grote gevolgen kan hebben. Het laat ook zien dat beter inzicht in het ICT-landschap hard nodig is. Onjuiste informatie bij betrokkenen leidt tot verkeerde beslissingen met ernstige gevolgen. In mijn promotieonderzoek zie ik voortdurend dat inzicht een spilfunctie vervult in het voorkomen van verstoringen.