Wieder an bei FER/LMX.

Analyse-Resultat:
Die Mongo-Infrastruktur ist ab einem gewissen Speicherverbrauch (1,2 TB bei LMX) nicht mehr in der Lage bei Log-Rotation den Speicherplatz per TTL-Monitor freizugeben. Obwohl nur noch 1 Tag bei den Provider-Logs Gültigkeit besaß, lag der Speicherverbrauch immer noch festgesetzt bei 1,2 TB.
Obendrein merkt die Mongo nicht, dass sie sich nur noch aufbläht und 149% Last auf sich selbst verbraucht, ohne effektiv noch irgendwas zu loggen.
Durch dieses Verhalten erhöhten sich bei LMX in Kalenderwoche 8 die durchschnittlichen BA-Laufzeiten um 2 Sekunden.

Zudem kann kein Nagioscheck auf einen Speicherplatz-Verbrauch X aufgrund der Collection-Größe von 32TB bei mmapv1 eingerichtet werden, welcher uns z.B. vor Überschreitung warnen könnte.

Somit haben wir den Holzhammer gewählt und alle Provider-Logs verworfen, die xAdmin-Changelogs vorher gesichert.
Nun ist LMX bei nur noch 0,18 TB Daten.

Am 20.02.2020 11:11, schrieb Carsten Zinke:

Wieder aus.
Seit 2 Tagen sind bei FER/LMX die durchschnittlichen Antwortzeiten um 2 Sekunden gestiegen.
Seit heute früh waren die Change-Logs wieder durchgängig nicht erreichbar.
Kaputt.

AD-685

Am 13.02.2020 10:32, schrieb Carsten Zinke:

Wieder an.

Die LMX DB ist nun 1173.381GB groß, wodurch mehr Speicher für das Mongo-Defrag notwendig gemacht werden musste.

Am 12.02.2020 10:00, schrieb Carsten Zinke:

Hallo,

es ist ein Config Hotfix live gegangen.

Verantwortlich: DGO, CZI
Zeitpunkt: 12.02.2020, 10:00 Uhr
Kunde(n): LMX/FER

Info: Das nächtliche Defrag der Mongo200 ist gecrashed (page cache invalidation failure beim direct I /O). Reparatur und CentOS/Kernel Update brachten aber keine Linderung der Mongo-Timeouts. Darum jetzt Abschaltung und manueller Defrag.

Knoten:
SYSTEM > DATABASESEVER > MONGOSERVER > ENABLED

--

Mit freundlichen Grüßen

  Carsten Zinke

- xRes Support -

________________________________________________________
TraSo GmbH

Nonnenstraße 42
D-04229 Leipzig

Tel.: +49 341 355 740 20
Fax: +49 341 355 740 21
eMail: c.zinke@traso.de


________________________________________________________

Geschäftsführer: Haiko Gerdes
Handelsregister: Amtsgericht Leipzig (HRB 21850)

_______________________________________________
Hotfix mailing list
Hotfix@lists.traso.de
https://lists.traso.de/listinfo/hotfix

_______________________________________________
Hotfix mailing list
Hotfix@lists.traso.de
https://lists.traso.de/listinfo/hotfix

_______________________________________________
Hotfix mailing list
Hotfix@lists.traso.de
https://lists.traso.de/listinfo/hotfix