Wieder an bei FER/LMX. Analyse-Resultat: Die Mongo-Infrastruktur ist ab einem gewissen Speicherverbrauch (1,2 TB bei LMX) nicht mehr in der Lage bei Log-Rotation den Speicherplatz per TTL-Monitor freizugeben. Obwohl nur noch 1 Tag bei den Provider-Logs Gültigkeit besaß, lag der Speicherverbrauch immer noch festgesetzt bei 1,2 TB. Obendrein merkt die Mongo nicht, dass sie sich nur noch aufbläht und 149% Last auf sich selbst verbraucht, ohne effektiv noch irgendwas zu loggen. Durch dieses Verhalten erhöhten sich bei LMX in Kalenderwoche 8 die durchschnittlichen BA-Laufzeiten um 2 Sekunden. Zudem kann kein Nagioscheck auf einen Speicherplatz-Verbrauch X aufgrund der Collection-Größe von 32TB bei mmapv1 eingerichtet werden, welcher uns z.B. vor Überschreitung warnen könnte. Somit haben wir den Holzhammer gewählt und alle Provider-Logs verworfen, die xAdmin-Changelogs vorher gesichert. Nun ist LMX bei nur noch 0,18 TB Daten. Am 20.02.2020 11:11, schrieb Carsten Zinke:
Wieder aus. Seit 2 Tagen sind bei FER/LMX die durchschnittlichen Antwortzeiten um 2 Sekunden gestiegen. Seit heute früh waren die Change-Logs wieder durchgängig nicht erreichbar. Kaputt.
AD-685 [1]
Am 13.02.2020 10:32, schrieb Carsten Zinke:
Wieder an.
Die LMX DB ist nun 1173.381GB groß, wodurch mehr Speicher für das Mongo-Defrag notwendig gemacht werden musste.
Am 12.02.2020 10:00, schrieb Carsten Zinke:
Hallo,
es ist ein Config Hotfix live gegangen.
Verantwortlich: DGO, CZI Zeitpunkt: 12.02.2020, 10:00 Uhr Kunde(n): LMX/FER
Info: Das nächtliche Defrag der Mongo200 ist gecrashed (page cache invalidation failure beim direct I /O). Reparatur und CentOS/Kernel Update brachten aber keine Linderung der Mongo-Timeouts. Darum jetzt Abschaltung und manueller Defrag.
Knoten: SYSTEM > DATABASESEVER > MONGOSERVER > ENABLED
--
Mit freundlichen Grüßen
Carsten Zinke
- xRes Support -
________________________________________________________ TraSo GmbH
Nonnenstraße 42 D-04229 Leipzig
Tel.: +49 341 355 740 20 Fax: +49 341 355 740 21 eMail: c.zinke@traso.de
[2] [3] [4] [3] [5] [3] [3] ________________________________________________________
Geschäftsführer: Haiko Gerdes Handelsregister: Amtsgericht Leipzig (HRB 21850) _______________________________________________ Hotfix mailing list Hotfix@lists.traso.de https://lists.traso.de/listinfo/hotfix _______________________________________________ Hotfix mailing list Hotfix@lists.traso.de https://lists.traso.de/listinfo/hotfix
_______________________________________________ Hotfix mailing list Hotfix@lists.traso.de https://lists.traso.de/listinfo/hotfix Links: ------ [1] https://ticket.app.infra.gs.xtrav.de/servicedesk/customer/portal/1/AD-685 [2] https://www.traso.de [3] https://www.kununu.com/de/traso1 [4] https://www.facebook.com/TraSoGmbH [5] https://www.xing.com/companies/trasogmbh
