Hallo Team, Config-Anpassung zur Mongo-DB bei FER, OPD, JT und LMX Verantwortlicher: Stefan Rank-Kunitz Zeitpunkt: 31.10.2014 16:00Uhr, 02.11.2014 10:26Uhr Kunden: FER, OPD, JT, LMX Info: In den vergangenen Wochen haben wir teilweise drastische Probleme damit, dass die xRes-Livesysteme die MongoDB zu gewissen Stoßzeiten nicht erreichen können. Marcus' und meine Untersuchungen haben ergeben, dass zu diesen Zeiten (z.B. tgl. zwischen 15 und 17 Uhr) die CSV-MongoDB-Worker die von HBD gelieferten Daten in die MongoDB "prügeln" und diese damit aus-/überlasten. In der Folge kann der Buchungskern seine Logs nicht schnell genug in die MongoDB speichern und führt damit eine recht hohe Anzahl aller Buchungskern-Anfragen ins Timeout. * Als ersten BugFix sitzt Marcus derzeit TÄGLICH davor und startet die CSV-Worker manuell nacheinander. Das ist kein Dauerzustand und bedeutet einen extrem hohen manuellen Aufwand, auch am Wochenende!!! * Als zweiten BugFix habe ich am Freitag in den genannten Kundensystemen wieder die Mongo08 UND die Mongo07 eingetragen, so dass der Buchungskern dynamisch zwischen 2 Mongos wählen und damit das Last-Problem lindern kann. Eine LÖSUNG ist das nicht, Freitag-Abend und Samstag haben gezeigt, dass das Problem weiterhin besteht. * Als dritten BugFix habe ich das MongoDB-Logging des Buchungskerns bei LMX und JT soeben deaktiviert. Nachdem ich in der Minute 10:25Uhr eben über 50 BAs mit runTime > 10 Sekunden gesehen habe ... und um 10:27 Uhr (nach der Deaktivierung) noch 4 sollten wir das auch vorerst so lassen! @Admin: Dieses Problem tritt seit etwa 3-4 Wochen massiv auf. Ich bitte Euch DRINGEND zu untersuchen, ob ggf. ein Hard- oder Konfigurations-Problem eine Ursache für die plötzliche Eskallation des Problems sein kann. Seht Ihr z.B. IO-Waits oder Netzwerk-Überlastungen oder oder oder oder ..., welche eine Ursache für das plötzliche Eintreten sein können? @Oliver: Bitte untersuche schnellstmöglich den Aufwand, die Mongo-Logs des Buchungskerns auch auf die RabbitMQ umzustellen und damit keine Antwort von der Mongo zu benötigen!!! Ist es realistisch, die Mongo-Logs des Buchungskerns einfach an die Rabbit zu schieben und keine Antwort von dort (oder gar von der Mongo) abzuwarten? @Marcus: Was würde die RabbitMQ dazu sagen, eine Masse an Requests und Responses aus dem Buchungskern übergeholfen zu bekommen? Ist dieser Umbau mit unserer aktuellen Struktur möglich / sinnvoll? VG SRK -- Mit freundlichen Grüßen Stefan Rank-Kunitz - Lead Developer - ________________________________________________________ TraSo GmbH Georg-Schumann-Str. 294 D-04159 Leipzig Tel.: +49 341 909 87 45 E-Mail: s.rank-kunitz@traso.de Internet: http://www.traso.de ________________________________________________________ Geschäftsführer: Haiko Gerdes Handelsregister: Amtsgericht Leipzig, HRB 21850