A votre service

Bedrijfskritische systemen van banken of e-tailers mogen eigenlijk nooit uit de lucht zijn. High-availability vereist daarom een perfecte aanpak van de service. Bull Nederland staat ons een een kijkje in de keuken toe.

Het klinkt zo simpel: een it-systeem dat 99,90 procent van de tijd beschikbaar is. Maar bij een volcontinue gebruik op alle uren en dagen mag de downtime per jaar dan niet meer bedragen dan 8 uur en 42 minuten. Dat lukt alleen door maximale preventie, automatisering van de analysetools en een perfecte opvolging van de service-organisatie als het toch nog mis dreigt te gaan. IT-leverancier en dienstverlener Bull monitort in het High Availability Center in Grenoble ruim 4.100 systemen, waarvan 271 in Nederland. Met deze en andere activiteiten genereren de bijna 8.000 medewerkers wereldwijd een omzet van 1,13 miljard euro; in Nederland heeft Bull 110 medewerkers.
In Grenoble klopt het hart van de HA-dienstverlening van Bull, leggen Edwin Brok en Ekke Wouda uit in het kantoor in Diemen. Brok is business development manager bij Bull, Wouda is als technical account manager een intermediair tussen de klant en de service-organisatie. Niet alleen Bull-systemen hangen aan de monitor in Grenoble. “De onderneming sluit ook contracten met up-time garantie af op niet-Bull systemen.” Wouda en zijn collega’s zijn belast met het bewaken van de SLA-overeenkomsten die zijn afgesloten met Nederlandse klanten als Wehkamp, Schuitema, Onderlinge Levensverzekering Maatschappij en Detailresult Services, het shared service center van onder meer Dirk van den Broek, D-Reizen en Digros.

Agents
Bull installeert bij de klant een eigen relay-server die voor de VPN-verbinding zorgt naar het Center in Grenoble en het Bull-netwerk. De tools van de Bull Server Manager (BSM) draaien op de relay, die communiceert met de klantsystemen via daar actieve agents. “We monitoren de load van het moederboard, de CPU’s en schijven, het netwerk en het filesystem. Ook de virtual machines op de servers en het geheugen houden we in de gaten. IJkpunt is of de bedrijfsapplicaties op de server beschikbaar zijn voor de eindgebruiker.”
De BSM is open source-software van Bull, die regelmatig wordt uitgebreid om nieuwe applicaties of Bull-vreemde apparaten te kunnen ondersteunen. “We bouwen dan een nieuwe agent voor het systeem van de klant. Kortgeleden hebben we dat nog gedaan voor de point-of-sale-systemen van retailonderneming C1000 (Schuitema). De relay-server tussen het netwerk van Bull en dat van de klant versterkt de security van de HA-implementatie.”
Voor elke servercomponent die aan de monitor hangt worden de drempels die in de SLA met de klant zijn afgesproken lokaal in de BSM op de relay-server vastgelegd. “Afhankelijk van welke applicaties bij de klant draaien mag de maximale schijfbenutting bijvoorbeeld 60 procent zijn, of 90 procent. Alle relay-servers van Bull bij de klanten sturen per dag ongeveer 1.000 automatisch gegenereerde calls (autocalls) naar het HA Center in Grenoble. Die worden door ons systeem geanalyseerd en van een specifieke kleur voorzien op de monitorwand van de vijf tot zeven operators. De operators bepalen hoe ernstig de call is.”

20 Werkorders
Hoe serieuzer het probleem, hoe dringender de communicatie die op gang komt met de lokale Bull-organisatie. “Dat kan variëren van een automatisch gegenereerde mail naar Diemen of een operator uit Grenoble die belt. De dagelijkse hoeveelheid van 1.000 automatische incidentmeldingen van de systemen resulteert in gemiddeld 20 werkorders per dag voor een interventie. Dat kan betekenen dat er een reparatie moet worden uitgevoerd, maar kan net zo goed een aanwijzing zijn om een file-system te vergroten. Afhankelijk van de afspraken zijn wij als lokale organisatie even snel, eerder of later op de hoogte dan de klant. Elke klant heeft een eigen scenario: het is maatwerk.”
Een in Grenoble draaiend expertsysteem helpt bij het analyseren van de incidentmeldingen. Het is een CMDB-achtige knowledgecenter (configuration managment database), zoals we dat kennen uit de ITIL-wereld. “De calls worden daarin gegroepeerd op systemen en op klanten, om zo trends te onderkennen en signaleren. Die komen terecht in het rapport dat elke HA-klant maandelijks van ons ontvangt. Dat is veelal de aanzet tot preventieve maatregelen die – afhankelijk van de SLA-overeenkomst- door ons of door de klant worden getroffen.”
Want alleen door preventief actie te ondernemen is het mogelijk de jaarlijkse downtime onder de negen uur te houden. Schijven blijken in de praktijk het meest kwetsbaar te zijn. “Maar mirroring en hot spares helpen om de effecten te minimaliseren van een schijf die down gaat. Als er redundancy aanwezig is kan de call een level-2 aanduiding krijgen (reduced capacity) in plaats van een level-1 status: system down.”

Lokaal
De calls uit Grenoble komen binnen op de call reception van de helpdesk in Diemen (3 medewerkers). “Afhankelijk van de SLA gaat de call naar de beheerafdeling van 10 man of naar de helpdesk: de eerstelijns groep van 3 medewerkers of naar de tweedelijn met 6 medewerkers. Die laatste groep doet in ITIL-termen het problem management, de call reception plus de eerste lijn het incident management. In de dispatch-mail uit Grenoble staat het systeem met zijn serienummer vermeld, het niveau van het incident en de naam van de klant en de systeemnaam, een werkordernummer en de foutmelding. Met die melding gaan de technische mensen van de klant en wij vervolgens aan de slag.”
Een door Bull gegarandeerde beschikbaarheid vereist een assessment vooraf. Die geldt niet alleen voor Bull-systemen; ook niet-Bull omgevingen als AIX, Windows, Linux, HPUX en Sun Solaris-systemen kunnen geanalyseerd worden. “Een garantie van vier negens wordt alleen afgegeven na een verplichte assessment, met drie negens hangt het af van de afgesloten SLA. De assessment wordt uitgevoerd door medewerkers uit Grenoble, die daarvoor een aantal dagen overkomen naar de klant.”