Hallo Team,
Config-Anpassung zur Mongo-DB bei FER, OPD, JT und LMX
Verantwortlicher: Stefan Rank-Kunitz
Zeitpunkt: 31.10.2014 16:00Uhr, 02.11.2014 10:26Uhr
Kunden: FER, OPD, JT, LMX
Info:
In den vergangenen Wochen haben wir teilweise drastische Probleme
damit, dass die xRes-Livesysteme die MongoDB zu gewissen Stoßzeiten
nicht erreichen können. Marcus' und meine Untersuchungen haben
ergeben, dass zu diesen Zeiten (z.B. tgl. zwischen 15 und 17 Uhr)
die CSV-MongoDB-Worker die von HBD gelieferten Daten in die MongoDB
"prügeln" und diese damit aus-/überlasten. In der Folge kann der
Buchungskern seine Logs nicht schnell genug in die MongoDB speichern
und führt damit eine recht hohe Anzahl aller Buchungskern-Anfragen
ins Timeout.
- Als ersten BugFix sitzt Marcus derzeit TÄGLICH davor und
startet die CSV-Worker manuell nacheinander. Das ist kein
Dauerzustand und bedeutet einen extrem hohen manuellen Aufwand,
auch am Wochenende!!!
- Als zweiten BugFix habe ich am Freitag in den genannten
Kundensystemen wieder die Mongo08 UND die Mongo07 eingetragen,
so dass der Buchungskern dynamisch zwischen 2 Mongos wählen und
damit das Last-Problem lindern kann. Eine LÖSUNG ist das nicht,
Freitag-Abend und Samstag haben gezeigt, dass das Problem
weiterhin besteht.
- Als dritten BugFix habe ich das MongoDB-Logging des
Buchungskerns bei LMX und JT soeben deaktiviert. Nachdem ich in
der Minute 10:25Uhr eben über 50 BAs mit runTime > 10
Sekunden gesehen habe ... und um 10:27 Uhr (nach der
Deaktivierung) noch 4 sollten wir das auch vorerst so lassen!
@Admin: Dieses Problem tritt seit etwa 3-4 Wochen massiv auf. Ich
bitte Euch DRINGEND zu untersuchen, ob ggf. ein Hard- oder
Konfigurations-Problem eine Ursache für die plötzliche Eskallation
des Problems sein kann. Seht Ihr z.B. IO-Waits oder
Netzwerk-Überlastungen oder oder oder oder ..., welche eine Ursache
für das plötzliche Eintreten sein können?
@Oliver: Bitte untersuche schnellstmöglich den Aufwand, die
Mongo-Logs des Buchungskerns auch auf die RabbitMQ umzustellen und
damit keine Antwort von der Mongo zu benötigen!!! Ist es
realistisch, die Mongo-Logs des Buchungskerns einfach an die Rabbit
zu schieben und keine Antwort von dort (oder gar von der Mongo)
abzuwarten?
@Marcus: Was würde die RabbitMQ dazu sagen, eine Masse an Requests
und Responses aus dem Buchungskern übergeholfen zu bekommen? Ist
dieser Umbau mit unserer aktuellen Struktur möglich / sinnvoll?
VG SRK
--
Mit freundlichen Grüßen
Stefan Rank-Kunitz
- Lead Developer -
________________________________________________________
TraSo GmbH
Georg-Schumann-Str. 294
D-04159 Leipzig
Tel.: +49 341 909 87 45
E-Mail: s.rank-kunitz@traso.de
Internet: http://www.traso.de
________________________________________________________
Geschäftsführer: Haiko Gerdes
Handelsregister: Amtsgericht Leipzig, HRB 21850