REASON FOR OUTAGE REPORT
RFO20230808
Storingsgegevens
Datum 8 augustus 2023
Aanvang storing 12.13 uur
Storing opgelost 12.42 uur
Duur storing 2x enkele minuten binnen voorgenoemd tijdsvenster
Gevolg storing Vertraging in netwerkverkeer mogelijk op locatie Amsterdam DR-AMS17 (AS29028)
Rapport
Beschrijving storing
Binnen genoemd tijdsvenster is tweemaal kortstondig vertraging ontstaan in het netwerkverkeer. Dit kan tot packetloss hebben geleid op alle interne verbindingen binnen deze locatie.
Oorzaak storing
Tijdens het toevoegen van hardware aan een serverrack op de locatie Amsterdam is bij het bundelen van de netwerkkabels 1 netwerkverbinding verbroken. Dit leidde tot een onvrijwillige switch van de STP master. Kort daarna is de verbinding hersteld, waarna de STP master weer is terug geswitcht naar de originele switch. Beide schakelingen zijn kortstondig merkbaar geweest.
Oplossing
Het herstellen van de verbroken netwerkverbinding.
Voorkomen in de toekomst
Dit euvel wordt op basis van veiliggestelde logs nader onderzocht in samenwerking met onze netwerkspecialist. Alle netwerkverbindingen zijn redundant uitgerust, de genoemde schakeling had dus helemaal niet hoeven / mogen plaatsvinden. Nadat de volledige oorzaak bekend is maken we een plan om dit euvel binnen een nog aan te kondigen onderhoudsvenster definitief te verhelpen.
Tijdsverloop
12.13 uur De eerste melding van netwerkmonitoring wordt ontvangen, onderzoek wordt gestart.
12.16 uur De eerste hersteld-meldingen worden ontvangen. We kunnen een duidelijke link leggen met in uitvoering zijnde werkzaamheden in het datacentrum en daarbij aangeraakte bekabeling.
12.30 uur Uit logs blijkt een onvrijwillige switch van STP master
12.35 uur De laatste melding van netwerkmonitoring wordt hersteld gemeld. Alle netwerkverbindingen zijn hersteld.
12.41 uur De switches schakelen terug naar de originele master. Enkele monitoringpunten geven een down-melding af.
12.42 uur De laatste melding van netwerkmonitoring wordt hersteld gemeld.