Von: "PlusServer Deutschland Support" 
An: "PlusServer Deutschland Support" 
Gesendet: Dienstag, 13. Januar 2015 17:31:07
Betreff: [UPDATE] Ausfall der Stromversorgung - 2015-01-12
Sehr geehrte Kunden,
anbei erhalten Sie den Ausfallbericht zur gestrigen Stromunterbrechung.
Der Inhalt wurde aus dem Bericht von TeliaSonera an uns übernommen. TeliaSonera ist der Betreiber der Rechenzentrumsinfrastruktur (Stromversorgung, Klimatisierung, Gebäudezugang).
--------------------------------------------------------
Am Montag, dem 12.01.2015, ist gegen 10.45 Uhr am Standort Düsseldorf, In der Steele 43, die Stromversorgung ausgefallen. TeliaSonera wurde durch PlusServer telefonisch über den Ausfall informiert und hat daraufhin die erforderlichen Maßnahmen zur Wiederherstellung der Stromversorgung eingeleitet.
Ausfallgrund:
Ein Steuerungsrelais im 10-KV-Leistungsschalter zum Energieversorger Stadtwerke Düsseldorf ist ausgebrannt. Dies hatte zur Folge, dass der Leistungsschalter ausgelöst hat und somit die Stromversorgung unterbrochen wurde.
In einem solchen Fall sollen die beiden Netzersatzanlagen (Diesel-Generatoren) die Stromversorgung sicherstellen. Die Netzersatzanlagen konnten aufgrund einer defekten Steuerungsbatterie in der Niederspannungshauptverteilung (NSHV) nicht zugeschaltet werden.
Dies hatte zur Folge, dass nach ca. 10 Minuten alle 230-V-Verbraucher ausgefallen sind. Die Überbrückungszeit der 230-Volt-USV-Anlagen ist auf ca. 10 Minuten ausgelegt.

Getroffene Maßnahmen:
- Öffnen eines Major Outage Tickets durch das TeliaSonera Network Management Center
- Entsenden des verantwortlichen Standorttechnikers der Firma Ericsson zum Standort
- Entsenden der Errichter der NSHV und der Netzersatzanlagen (Wiegand Elektrotechnik GmbH) zum Standort
- Entsenden des Ericsson-Wartungspartners (Alpine) zum Standort
- Entsenden des zuständigen Schaltmeisters des lokalen EVU zum Standort
- Entsenden eines Spezialtechnikers der Firma Alstom (Hersteller des 10-KV-Leistungsschalters) zum Standort
- Entsenden der zuständigen Klimawartungsfirma zum Standort
- Betankung der Netzersatzanlagen
Maßnahmen zur Wiederherstellung der Stromversorgung:
Durch die Firma Wiegand Elektrotechnik wurde der Fehler in der NSHV-Steuerung festgestellt und dieser temporär behoben, so dass eine Netzersatzanlage nach ca. 4:45 h in Betrieb genommen werden konnte. Aufgrund der instabilen Steuerung war es nicht möglich, die zweite Netzersatzanlage in Betrieb zu nehmen. Dies konnte erst nach Austausch der defekten Steuerungsbatterie erfolgen.
Durch den Techniker der Firma Alstom wurde der Defekt am Leistungsschalter festgestellt und das defekte Steuerrungsrelais ausgetauscht, so dass der Schalter wieder funktionsfähig ist und die normale Stromversorgung gegen 22.00 Uhr wieder zur Verfügung stand.
Weitere Maßnahmen zur Sicherstellung eines stabilen Betriebes des Standortes:
- Austausch des 10-KV-Leistungsschalters
- Eskalationsmeeting mit allen Wartungspartnern
Log File mit ungefähren Zeitangaben:
10:50 Information durch PlusServer: "power loss".
10:55 Angestoßen vom deutschen TSIC-Infrastrukturteam interne Abstimmung des FLM-Partners, welcher Site Engineer zum Standort fährt (Qualifikation / schneller Vor-Ort-Einsatz).
11:25 FLM-Partner vor Ort in Düsseldorf.
11:27 Der Batteriepuffer ist erschöpft und erstes PlusServer-Equipment fällt aus.
12:30 Vom FLM-Partner angestoßen wurde Securitas beauftragt, zum Standort zu kommen, um strombedingte Zugangsprobleme zu lösen.
12:45 Zugang des Site-Engineers zur Colo-Fläche über eine Seitentür. Nach erster Analyse wurde Fa. Wiegand beauftragt, vor Ort zu kommen, da es sich sehr wahrscheinlich um ein Problem der Netzumschaltung handelte.
13:00 Klima Becker erreicht den Standort, diese wurden auch zu diesem Einsatz gerufen aufgrund der angestiegenen Raumtemperatur.
14:15 Zusätzlicher FLM-Spezialist für die lokalen Power-Supply-Systeme trifft ein.
14:45 Fa. Wiegand erreicht den Standort – verantwortlich für das Stromversorgungssystem und die Backup-Lösung. Auch die Netzgesellschaft mbH (lokaler Stromlieferant) ist vor Ort.
15:30 Es wird bestätigt, dass die Indoor-Generatoren des Backup-Systems Strom bereitstellen und erstes Colo-Equipment bereits Strom aufnimmt.
15:45 Fa. Wiegand besorgt 2x 12V-Batterien, die vermutlich der Grund für den Ausfall der NSHV-Steuerung sind (erste Fehlerquelle).
16:00 Das automatisierte Kentex-Tür-Schließsystem wurde wiederhergestellt. Auch die Outdoor-Generatoren liefern nun Strom in den Colo-Standort.
Erste Umschaltversuche auf das Hauptstromsystem funktionieren nicht, da – wie man später festgestellt hat - der 10-KV-Leistungsschalter defekt ist (zweite Fehlerquelle).
17:30 Fa. Wiegand bestätigt, dass das Backup-System stabil läuft und der Colo-Standort wieder in Betrieb genommen werden kann.
19:40 Schneider Electric (Alstom Specialist für 10-KV-Leistungsschalter) wurde vom FLM-Partner an den Standort zitiert.
20:10 Umschaltung zur Hauptstromquelle des Energieversorgers (von der USV).
21:00 Diesel-Lieferant füllt vor Ort die Tanks auf für die Funktionsfähigkeit der Generatoren. Der Standort Düsseldorf arbeitet wieder normal ohne die Unterstützung der Generatoren.
22:15 Der FLM-Partner verläßt den Standort.
--------------------------------------------------------
Mit freundlichen Grüßen,
Patrick Kambach
--
  PlusServer Deutschland GmbH
  Web    : www.plusserver.de
  Amtsgericht Köln, HRB 82361
  Geschäftsführung: Claudia Gharavi Nouri
  USt-Id-Nr: DE216487715