Congratulations!! Danke an Alle Die Umstellung hat einige Risiken enthalten. Engagement und Vorbereitung haben offensichtlich dafür gesorgt, dass es sehr reibungslos verlaufen ist. Lasst uns die Erfahrung mit in die nächste Umstellung und in das nächste Deployment mitnehmen Mit freundlichen Grüßen Haiko Gerdes - Projektmanagement - ___________________________________________________________________________ activate communication systems GmbH Georg-Schumann-Str. 294 D-04159 / Leipzig Tel.: +49 341 90 98 7 418 // Fax: +49 341 90 98 749 Mobil: +49 172 610 2849 -----Ursprüngliche Nachricht----- Von: Carsten Zinke [mailto:c.zinke@activate.de] Gesendet: Donnerstag, 30. Mai 2013 08:20 An: activate Support Cc: Haiko Gerdes; Rainer Jansen Betreff: Wartungsarbeiten - Übergabe Hallo zusammen, Übergabe: - bis auf den INFX Abbruch bei tropo (OPD-616) gab es keine Auffälligkeiten - alles was passiert ist, hab ich nochmal in ein Protokoll gesteckt, siehe unten - direkt übergeben werden muss aktuell nichts, halt nochmal die einen oder anderen Sachen zur Sicherheit doppelt testen, wie abgesprochen Auffälligkeiten: - die Stromausfälle im Rack2 - CollectD sah bis 5:45 Uhr recht holprig aus, bitte beobachten - bei LMX gab es am 29.05. keine BA Quote und keine BA Auswertung. - die Testsysteme konnte ich in meinen Tests nicht berücksichtigen, dafür fehlte schlicht die Zeit - mir lagen keine Logindaten mehr für Jack+ und LMX.Stadis vor, konnte ich nicht testen - Sebastians Testscripts haben sehr geholfen, bei LTS wurde aber im Mailer eine Exception geworfen, der zweite Mail-Eintrag war ohne Probleme, sieht nach dem gleichen Problem aus wie bei GTI und tropo - der data01 von tropo fiel 06:19 Uhr bis 6:55 Uhr aus, Neustart hat die Angelegenheit behoben - OPD Pauschal-Daten wurden noch hochgeladen - Updatelisten laufen wieder - FZU-Reports, Flugexporte, Transferlisten und Paxlisten wurden angeworfen - Liste entsprechend XRES-1688 abgearbeitet - Mails an alle Kunden sind raus Fazit: - gut verlaufen! Protokoll: 23:34 OPD INFX abgebrochen 23:45 LMX, FER, GTI und DAF sind OK, JT steht aus 23:50 Beratung wegen Verfahrensweise OPD 00:05 FTPs kontrolliert 00:15 JT-Produktion beendet 00:21 OPD-616 erstellt 00:30 Prozente durchgerechnet, Beratung mit Sebastian, Datei-Check 00:45 Entscheidung die OPD Produktion NH und P vom 29.05. 23:34 Uhr auf die 6 FTPs nach der Wartung hochzuladen, weil es 96 Minuten Zeit benötigt, Sebastian wird das machen 00:50 Freigabe C.Zinke zur Abschaltung 01:00 Telefon-Standleitung mit RZ, Admins beginnen Cronjobs und Prozesse zu killen 01:02 Nagios aus 01:09 Tobias FTP Spy ausgeschaltet 01:21 Netzwerkkabel Mailserver getrennt 01:36 MongoDB umgeklemmt und getestet 01:50 Mailserver umgesteckt 01:57 Interner Mailserver-Zugriff möglich, aber nicht von außen 02:03 Mailserver wieder von außen erreichbar 02:07 Mailserver / Ticketsystem offline 02:15 Mailserver / Ticketsystem online 02:16 Spamfilter bei reporting/info angepasst auf Textfloskeln 02:17 OPD Pauschal INFX-Produktion von Sebastian bei TT-FTP hochgeladen 02:21 Transferlisten FER laufen noch, Prozesse nochmal gekillt 02:24 diverse confluence und OTRS-Änderungen 02:25 10.10.1.3 läuft wieder 02:28 hlweb02 - lastminute-express.de intern abgeschaltet, extern erreichbar 02:33 VPN Tunnel zusammengebrochen, Mailserver kann nicht zu IMAP verbinden, LTS-DB über xAdmin nicht erreichbar 02:38 hlweb03 offline 02:41 hlweb03 wieder erreichbar 02:44 LTS-DB wieder erreichbar 02:51 VPN-Tunnel steht wieder 02:54 Mail an Kunden: Vorbereitung 02:58 Webmailer wieder in Funktion 03:01 service02.fer und cache02.jt offline 03:05 service02.fer und cache02.jt online 03:08 vmhost03.rz1.activate.de offline > act-Wiki, new-ticket, test02.jt 03:12 vmhost03.rz1.activate.de online 03:13 LTS-DB Verbindung geht nach Hinweis von Tobias immer wieder verloren 03:17 OTRS-Anhänge in Funktion 03:25 vmhost01.rz1.lts.xres.de offline -> ale LTS Server, db02.lmx 03:28 vmhost01.rz1.lts.xres.de online 03:34 backup01.lts offline 03:37 backup01.lts online 03:42 Herr Schneider startet Switche durch 03:50 Rack1 geht nicht Kunde für Kunde zu ziehen, weil die Verkabelung so eng ist, dass man die Kabel nicht verfolgen kann; zuerst grünes Netzwerk = DB und DNS-Verbindungen weg, rotes Kabel = externes Netz, cache, müssen gezogen und kontrolliert werden, welche Server-LED ausgeht 03:53 vmhost01.rz1.xbed.xres.de offline -> stadis01.fer 03:56 hlweb02 und hlweb03 Check 04:02 Stromausfall auf unbekannter Seite, LTS und xBed laufen nur auf einer Stromschiene 04:05 Strom wieder da 04:06 backup01.rz1.xbed.xres.de offline 04:11 backup01.rz1.xbed.xres.de online 04:15 Pootle mit Serverfehler, Routing-Probleme 04:17 Bamboo und Crowd laufen 04:23 Kundensysteme intern alles umgesteckt 04:25 Pause 04:30 Webmailer nicht erreichbar 04:41 Rack1 alle Kabel sind umgesteckt, 04:43 Webmailer wieder erreichbar 04:45 RabbitMQ, Cluster-IP verloren, HBD Scan außer Betrieb 04:49 Mail an Tropo 04:54 VA-Tests beginnen 05:49 alle alten Switche sind raus 05:50 das dritte Mal im Rack2 ein Stromausfall, Quelle ist nach wie vor unbekannt 05:55 HBD Scan wieder in Betrieb 06:06 Crontabs sollen wieder angeworfen werden 06:07 RabbitMQ läuft 06:12 mongoDB OK 06:16 Anruf Sebastian, Upload der INFX Pauschal-Daten bei tropo fortsetzen 06:19 data01 OPD down 06:40 Sebastian kann nicht über VPN connecten, Mails nicht abrufen 06:45 Krisztian hat auf rabbit01 umgestellt, seitdem kann Sebastian wieder über vpn02 connecten 06:58 data01 OPD wieder on 07:30 OPD Pauschal-Daten auf die restlichen Vertriebskanäle hochgeladen -- Mit freundlichen Grüßen Carsten Zinke - xRes Support / Webdesign - ________________________________________________________ activate communication systems GmbH Georg-Schumann-Str. 294 D-04159 Leipzig Tel.: +49 341 90 98 7 45 / Fax: +49 341 90 98 749 E-Mail: c.zinke@activate.de Internet: http://www.activate.de ________________________________________________________ Geschäftsführer: Markus Hartwig, Rainer Jansen Handelsregister: Amtsgericht Leipzig, HRB 21850