- team - example.com

Netzwerkumbau Rechenzentrum Meilenstein 3
by Tobias Stein 31 May '13

31 May '13

Sehr geehrte Damen und Herren, Nach Meilenstein 2 erstmal ein großes Dankeschön an alle helfenden Hände. Nur dank des ausnahmslos guten Zusammenspiels aller Abteilungen bei Activate, Consultants und der HLKomm war ein reibungsloser Umschwung möglich. Hab schon gehört die ersten Geschwindigkeitsverbesserungen beim xAdmin sind schon eingetreten. :-) Die Umstellung ist auch noch nicht zu Ende geführt, aber wir können die nächsten Meilensteine etwas entspannter angehen. Eben habe ich in eine Konferenz mit Herrn Schneider von Controlware und Herrn Hilbert von HLKomm festgehalten, das wir den nächsten Schritt am 07. Juni .2013, ein Freitag, um 11:00 morgens angehen. Die Firewalls wird eingesetzt. Die HLKomm und die Controlware haben uns ein Konzept vorgestellt, in dem wir das künfig für das ausfallsichere Routing unseres Internet-Uplinks verantwortliche Border Gateway seperat testen können. Kurz zum technischen Hintergrund: Es wird uns freundlicher Weise temporär an jedem Rack ein zweites Uplink-Kabel sowie ein Netz gestellt, welches wird gegenüber dem Router der HLKomm per BGP propagieren können, zur Verfügung gestellt. Somit ist das Setup vor dem Schwenk der Gateway-IPs, auf die aktive Firewall (was zu einem nach-gelagerten Termin stattfindet) testbar. ;-) Meilenstein 3 ist abgeschlossen, wenn die Gateway-IPs auf der aktiven Firewall konfiguriert sind. Auch der Schwenk der aktiven Firewall muss funktionieren. Für die diese Umstellung gibt es einen Termin (,wenngleich er auch noch nicht felsenfest eingeplant ist,) zw. dem 16.06. und 19.Juni 2013. Nachfolgender Abschnitt dient nur der Terminfindung. Herr Hilbert kommt erst am 17. Juni aus dem Urlaub zurück. Tobias Stein passt der 17.06. nicht so recht. Tilo Werner der 18.06. nicht so recht. Ist aber bereit in der Nacht vom 18. Juni zum 19. Juni. diese Umstellung mit zu absolvieren. Fassen wir also die Nacht 18. Juni zum 19. Juni. 00:00 ins Auge? Nochmal ein großes Dankeschön. -- Mit freundlichen Grüßen Tobias Stein - Systemadministration - activate communication systems GmbH G.-Schumann-Str. 294 04159 Leipzig Tel: +49 341 90 98 7 508 Fax: +49 341 90 98 7 49 email: t.stein(a)activate.de Geschäftsführer: Markus Hartwig, Rainer Jansen Handelsregister: Amtsgericht Leipzig (HRB 21850)

1 0

Datenschutzvereinbarung
by Rainer Jansen - TJC-Knowledge 30 May '13

30 May '13

Hallo zusammen, ich bin davon ausgegangen dass der Sinn und Zweck dieses Dokuments kommuniziert worden ist. Das ist anscheinend nicht der Fall. Das werden wir am Dienstag, 04.06. in unserem Meeting nach holen und die Sache klären. @Marcel, Rene und Sebastian: Ihr hat in manchen Punkten recht und das wird behoben. Einiges ist ja durch den ersten Umbau im RZ erst möglich und nach dem zweiten Umbau dann erst wirklich sicher. @Haiko: Bitte einen Task zur Änderung der Passwörter und Schließung der genannten Zugänge mit hoher Prio. LG Rainer

1 0

Datenschutzvereinbarung
by Rainer Jansen - TJC-Knowledge 30 May '13

30 May '13

Hallo zusammen, die unterschriebenen Datenschutzvereinbarungen liegen mir AUSSCHLIESSLICH von Zinke, Schmalenberg und Pestner vor. Ich brauche bitte bis spätestens Montag die Datenschutzvereinbarung von ALLEN. Am besten macht Ihr es sofort, für die Unterschrift braucht man 10 Sekunden und es bei Carsten ab zu geben dauert maximal 30 Sekunden. Mfg Rainer

1 0

Protokoll Meeting 29.05.13
by Romana Weihmann 30 May '13

30 May '13

Hallo zusammen, anbei das Protokoll des gestrigen Meetings. -- Mit freundlichen Grüßen Romana Weihmann - Kaufmännische Assistenz - ___________________________________________________________________________ activate communication systems GmbH Georg-Schumann-Str. 294 D-04159 / Leipzig Tel.: +49 341 90 98 7 45 // Fax: +49 341 90 98 749 Internet : http://www.activate.de // E-Mail: romana.weihmann(a)activate.de ___________________________________________________________________________ Geschäftsführer: Markus Hartwig, Rainer Jansen Handelsregister: Amtsgericht Leipzig, HRB 2185

2 1

Re: [Team] Wartungsarbeiten - Übergabe
by Haiko Gerdes 30 May '13

30 May '13

Congratulations!! Danke an Alle Die Umstellung hat einige Risiken enthalten. Engagement und Vorbereitung haben offensichtlich dafür gesorgt, dass es sehr reibungslos verlaufen ist. Lasst uns die Erfahrung mit in die nächste Umstellung und in das nächste Deployment mitnehmen Mit freundlichen Grüßen Haiko Gerdes - Projektmanagement - ___________________________________________________________________________ activate communication systems GmbH Georg-Schumann-Str. 294 D-04159 / Leipzig Tel.: +49 341 90 98 7 418 // Fax: +49 341 90 98 749 Mobil: +49 172 610 2849 -----Ursprüngliche Nachricht----- Von: Carsten Zinke [mailto:c.zinke@activate.de] Gesendet: Donnerstag, 30. Mai 2013 08:20 An: activate Support Cc: Haiko Gerdes; Rainer Jansen Betreff: Wartungsarbeiten - Übergabe Hallo zusammen, Übergabe: - bis auf den INFX Abbruch bei tropo (OPD-616) gab es keine Auffälligkeiten - alles was passiert ist, hab ich nochmal in ein Protokoll gesteckt, siehe unten - direkt übergeben werden muss aktuell nichts, halt nochmal die einen oder anderen Sachen zur Sicherheit doppelt testen, wie abgesprochen Auffälligkeiten: - die Stromausfälle im Rack2 - CollectD sah bis 5:45 Uhr recht holprig aus, bitte beobachten - bei LMX gab es am 29.05. keine BA Quote und keine BA Auswertung. - die Testsysteme konnte ich in meinen Tests nicht berücksichtigen, dafür fehlte schlicht die Zeit - mir lagen keine Logindaten mehr für Jack+ und LMX.Stadis vor, konnte ich nicht testen - Sebastians Testscripts haben sehr geholfen, bei LTS wurde aber im Mailer eine Exception geworfen, der zweite Mail-Eintrag war ohne Probleme, sieht nach dem gleichen Problem aus wie bei GTI und tropo - der data01 von tropo fiel 06:19 Uhr bis 6:55 Uhr aus, Neustart hat die Angelegenheit behoben - OPD Pauschal-Daten wurden noch hochgeladen - Updatelisten laufen wieder - FZU-Reports, Flugexporte, Transferlisten und Paxlisten wurden angeworfen - Liste entsprechend XRES-1688 abgearbeitet - Mails an alle Kunden sind raus Fazit: - gut verlaufen! Protokoll: 23:34 OPD INFX abgebrochen 23:45 LMX, FER, GTI und DAF sind OK, JT steht aus 23:50 Beratung wegen Verfahrensweise OPD 00:05 FTPs kontrolliert 00:15 JT-Produktion beendet 00:21 OPD-616 erstellt 00:30 Prozente durchgerechnet, Beratung mit Sebastian, Datei-Check 00:45 Entscheidung die OPD Produktion NH und P vom 29.05. 23:34 Uhr auf die 6 FTPs nach der Wartung hochzuladen, weil es 96 Minuten Zeit benötigt, Sebastian wird das machen 00:50 Freigabe C.Zinke zur Abschaltung 01:00 Telefon-Standleitung mit RZ, Admins beginnen Cronjobs und Prozesse zu killen 01:02 Nagios aus 01:09 Tobias FTP Spy ausgeschaltet 01:21 Netzwerkkabel Mailserver getrennt 01:36 MongoDB umgeklemmt und getestet 01:50 Mailserver umgesteckt 01:57 Interner Mailserver-Zugriff möglich, aber nicht von außen 02:03 Mailserver wieder von außen erreichbar 02:07 Mailserver / Ticketsystem offline 02:15 Mailserver / Ticketsystem online 02:16 Spamfilter bei reporting/info angepasst auf Textfloskeln 02:17 OPD Pauschal INFX-Produktion von Sebastian bei TT-FTP hochgeladen 02:21 Transferlisten FER laufen noch, Prozesse nochmal gekillt 02:24 diverse confluence und OTRS-Änderungen 02:25 10.10.1.3 läuft wieder 02:28 hlweb02 - lastminute-express.de intern abgeschaltet, extern erreichbar 02:33 VPN Tunnel zusammengebrochen, Mailserver kann nicht zu IMAP verbinden, LTS-DB über xAdmin nicht erreichbar 02:38 hlweb03 offline 02:41 hlweb03 wieder erreichbar 02:44 LTS-DB wieder erreichbar 02:51 VPN-Tunnel steht wieder 02:54 Mail an Kunden: Vorbereitung 02:58 Webmailer wieder in Funktion 03:01 service02.fer und cache02.jt offline 03:05 service02.fer und cache02.jt online 03:08 vmhost03.rz1.activate.de offline > act-Wiki, new-ticket, test02.jt 03:12 vmhost03.rz1.activate.de online 03:13 LTS-DB Verbindung geht nach Hinweis von Tobias immer wieder verloren 03:17 OTRS-Anhänge in Funktion 03:25 vmhost01.rz1.lts.xres.de offline -> ale LTS Server, db02.lmx 03:28 vmhost01.rz1.lts.xres.de online 03:34 backup01.lts offline 03:37 backup01.lts online 03:42 Herr Schneider startet Switche durch 03:50 Rack1 geht nicht Kunde für Kunde zu ziehen, weil die Verkabelung so eng ist, dass man die Kabel nicht verfolgen kann; zuerst grünes Netzwerk = DB und DNS-Verbindungen weg, rotes Kabel = externes Netz, cache, müssen gezogen und kontrolliert werden, welche Server-LED ausgeht 03:53 vmhost01.rz1.xbed.xres.de offline -> stadis01.fer 03:56 hlweb02 und hlweb03 Check 04:02 Stromausfall auf unbekannter Seite, LTS und xBed laufen nur auf einer Stromschiene 04:05 Strom wieder da 04:06 backup01.rz1.xbed.xres.de offline 04:11 backup01.rz1.xbed.xres.de online 04:15 Pootle mit Serverfehler, Routing-Probleme 04:17 Bamboo und Crowd laufen 04:23 Kundensysteme intern alles umgesteckt 04:25 Pause 04:30 Webmailer nicht erreichbar 04:41 Rack1 alle Kabel sind umgesteckt, 04:43 Webmailer wieder erreichbar 04:45 RabbitMQ, Cluster-IP verloren, HBD Scan außer Betrieb 04:49 Mail an Tropo 04:54 VA-Tests beginnen 05:49 alle alten Switche sind raus 05:50 das dritte Mal im Rack2 ein Stromausfall, Quelle ist nach wie vor unbekannt 05:55 HBD Scan wieder in Betrieb 06:06 Crontabs sollen wieder angeworfen werden 06:07 RabbitMQ läuft 06:12 mongoDB OK 06:16 Anruf Sebastian, Upload der INFX Pauschal-Daten bei tropo fortsetzen 06:19 data01 OPD down 06:40 Sebastian kann nicht über VPN connecten, Mails nicht abrufen 06:45 Krisztian hat auf rabbit01 umgestellt, seitdem kann Sebastian wieder über vpn02 connecten 06:58 data01 OPD wieder on 07:30 OPD Pauschal-Daten auf die restlichen Vertriebskanäle hochgeladen -- Mit freundlichen Grüßen Carsten Zinke - xRes Support / Webdesign - ________________________________________________________ activate communication systems GmbH Georg-Schumann-Str. 294 D-04159 Leipzig Tel.: +49 341 90 98 7 45 / Fax: +49 341 90 98 749 E-Mail: c.zinke(a)activate.de Internet: http://www.activate.de ________________________________________________________ Geschäftsführer: Markus Hartwig, Rainer Jansen Handelsregister: Amtsgericht Leipzig, HRB 21850

1 0

Re: [Team] Erreichbarkeit
by Rainer Jansen 29 May '13

29 May '13

Und ich werde wohl nicht vor 01:00 zu Hause sein. LH hat 100 Minuten Verspätung. Ihr seid also nicht allein. Tilo hat mir versprochen das es keine Probleme gibt. LG Rainer Vom Mobile gesendet -------- Ursprüngliche Nachricht -------- Von: Haiko Gerdes <h.gerdes(a)activate.de> Datum: An: Activate Team <team(a)lists.activate.de> Betreff: [Team] Erreichbarkeit Hallo Zusammen, ich werde sicher bis Mitternacht am System sitzen. Ich bin danach über Handy oder auch Festnetz erreichbar. Mobil: 0172 610 2849 Tel.: 06181 9698990 Alles Gute Mit freundlichen Grüßen Haiko Gerdes - Projektmanagement - ___________________________________________________________________________ activate communication systems GmbH Georg-Schumann-Str. 294 D-04159 / Leipzig Tel.: +49 341 90 98 7 418 // Fax: +49 341 90 98 749 Mobil: +49 172 610 2849

1 0

Erreichbarkeit
by Haiko Gerdes 29 May '13

29 May '13

Hallo Zusammen, ich werde sicher bis Mitternacht am System sitzen. Ich bin danach über Handy oder auch Festnetz erreichbar. Mobil: 0172 610 2849 Tel.: 06181 9698990 Alles Gute Mit freundlichen Grüßen Haiko Gerdes - Projektmanagement - ___________________________________________________________________________ activate communication systems GmbH Georg-Schumann-Str. 294 D-04159 / Leipzig Tel.: +49 341 90 98 7 418 // Fax: +49 341 90 98 749 Mobil: +49 172 610 2849

1 0

Testliste Buchungskern und xAdmin
by Rene Lange 29 May '13

29 May '13

Hallo an alle, doch noch mal per Mail damit es nicht untergeht: Anbei mein Entwurf für die Testliste, die dann morgen für den Buchungskern und den xAdmin abzuarbeiten wäre. Vor allem der Support müsste da mal kritisch drüberschauen und entscheiden, was überhaupt testbar ist und was für welchen Kunden gar nicht zutrifft. René -- René Lange - Leiter Entwicklung - activate communication systems GmbH G.-Schumann-Str. 294 04159 Leipzig telefon: (+49) 0 341 90987 507 email: r.lange(a)activate.de Geschäftsführer: Markus Hartwig, Rainer Jansen Handelsregister: Amtsgericht Leipzig (HRB 21850)

1 0

Status des Umbaus im Wiki
by Tobias Stein 29 May '13

29 May '13

Hallo liebe Kollegen, Email ist heut Nacht evtl.nicht das Mittel der Wahl um den aktuellen Stand auszutauschen. Ich bitte darum den Status des Beitrages, wie verschieben der cron-jobs, mailverkehr, tests usw., auf folgender Wiki-Page zu dokumentieren. http://confluence.app.activate.de/display/root/Status+RZ-Umbau -- Mit freundlichen Grüßen Tobias Stein - Systemadministration - activate communication systems GmbH G.-Schumann-Str. 294 04159 Leipzig Tel: +49 341 90 98 7 508 Fax: +49 341 90 98 7 49 email: t.stein(a)activate.de Geschäftsführer: Markus Hartwig, Rainer Jansen Handelsregister: Amtsgericht Leipzig (HRB 21850)

1 1

Planung Rechenzentrumsumbau
by Tobias Stein 29 May '13

29 May '13

Planung Rechenzentrumsumbau Donnerstag, den 30.05., 0 Uhr Sollte ich etwas offensichtliches vergessen haben, dann schickt mir einfach eine Anregung. Ich lasse diese dann in das Dokument einfließen. _Beteiligte Personen__vor Ort_ * Frank Schneider * Tobias Stein * Tilo Werner * Krisztian Springer _Beteiligte Personen in GS oder VPN_ * Carsten Zinke * Stefan Wieden * Haiko Gerdes * Sebastian Schirrmeister Es werden nicht alle Personen für morgens verplant, da Support, sowohl Entwicklung auch über den Tag besetzt sein müssen. Über den Tag werden weitere Herausforderungen entstehen. ;-) _Vorbereitungen_ * Alarmalage für die Nacht 29.05. bis 30.05. abschalten * FTP-Spy deaktivieren * cronjobs aller VA anpassen (mit backup): o INFX-Produktion nach vorne verschieben + LMX gegen 2 Uhr fertig, 180 Minuten vor verschieben + JT gegen 1:30 Uhr fertig, 120 Minuten vor verschieben + OPD 3 Uhr fertig, 210 Minuten vor verschieben + FER 1 Uhr fertig, 90 Minuten vor verschieben + GTI 23:30 Uhr fertig, 30 Minuten vor verschieben + DAF 2 Uhr fertig, 180 Minuten vor verschieben o INFX-Produktion abstellen + LMX + OPD + JT * Die INFX Backups liegen auf dem cache01 unter "/home/infx2/backup" Diese werden notfalls eingespielt, sollte die 1. Produktion schief laufen. * letztes klärendes Gespräch mit der HLKomm Material * Organisation von Stühlen und einem Tisch * 2 Monitore, Keyboards und Mäuse mitnehmen * 3er Verteiler, C13/14-Kabel * Kabel, Kabellabels und Microsense 8-Port Miniswitche * Werkzeug und Kabelbinder * ClubMate, Fotoapperat * Ich fahr mit dem Auto ins RZ * LMX-Auto organisieren _Ablauf 0-7 Uhr_ * Frank, Tilo, Tobias und Krisztian ab 0 Uhr im RZ * Carsten ab 0 Uhr im Büro und prüft die Exporte und deren Uploads 1. Nagios deaktivieren 2. Herstellung einer Verbindung zw. neuem und alten Stack 3. Freigabe zum Umbau nach Export durch Carsten 4. Alle anderen Cronjobs abschlaten, am besten gleich die CRON-Daemon deaktivieren 5. Der CrossLink läuft über den neuen Stack 6. Test Management des neuen Stacks 7. VPN Gateways auf neuen Stack holen 8. Rack2 auf neuen Stack bewegen 1. Mailserver 2. Ticket 3. hlwebs 4. mongos 5. Spartacus 6. lolek&bolek 9. Kunden in Rack2 auf neuen Stack bewegen 1. Xbed 2. LTS als Pilot 10. Kunden in Rack1 auf neuen Stack bewegen 1. GTI als Pilot 2. Carsten testet die Buchbarkeit 3. JT, FER, LMX/LTS, OPD, DAF 11. Ausbau der alten Hardware _Test der Komponenten_ Kompetenzen * Tilo für Webstack/Mail/Ticket * Tobias für VPN/Mongo/RabbitMQ * Krisztian für xRes-Software/Java-Workers/PhP * Carsten für INFX-Check, Freigabe Abschaltung (nach Export), dauernder telefonischer Kontakt mit Überprüfung der jeweils zugeschalteten VA und deren xRes/Buchbarkeit über Sabre/TT/TFX und Co., Reporting-Check Testsuiten * interne Netze * default Gateways und NAT-Router * Erreichbarkeit nach/von draussen * Recursive und Authoritative DNS * Test der VPN-Tunnel * andere zentrale Komponenten wie rabbitmq & mongodb * Datamix Testen * Stadis Testen _Ablauf ab 6:00 Uhr_ * Stefan und Marcel bitte ab 6:00 Uhr im Büro o starten manuell bei allen VA: + FZU Reports + Paxlisten + Transferlisten + Flugexporte o Check der Webseiten und Webdienste o Den CRON-DEAMON wieder reaktivieren und neu einstellen * Tobias ab 8 Uhr im Büro für den Check o des Reportings o der Buchbarkeit o der Produktionen * Alle nicht direkt verplanten, menschlichen Ressourcen sind am Donnerstag aufgerufen etwas früher zu kommen. * *Im laufe des Tagen müssen alle Entwickler jede bekannte Funktion des xRes****testen und ggf. eingreifen.* _Ende der Wartungsarbeiten vor 7 Uhr_ * Admin-Erreichbarkeit weiterhin gegeben 0341 90987 510 * Übergabe-Email für Stefan/Tobias mit Fakten -- Mit freundlichen Grüßen Tobias Stein - Systemadministration - activate communication systems GmbH G.-Schumann-Str. 294 04159 Leipzig Tel: +49 341 90 98 7 508 Fax: +49 341 90 98 7 49 email: t.stein(a)activate.de Geschäftsführer: Markus Hartwig, Rainer Jansen Handelsregister: Amtsgericht Leipzig (HRB 21850)

4 3