Betroffen waren xRes Steward, RPAC, xAdmin sowie xMid. Ursache war das bei „Rebalance“ Aktionen auf den 6 Storage Servern Metadaten von Dateien verloren gegangen sind. Das ist auf Bugs oder Konfigurationsfehler in der GusterFS Server Software zurückzuführen.

Ich musste vor dem Wochenende (27.12.) dringend 3 weitere Gluster Server einbinden und Dateien auf die neuen Server verteilen lassen („Rebalance“). Dadurch wurden wir vor einem totalen Crash mit Dateisystemfehlern ( Problem BTRFS 100%) und Dateiverlusten bewahrt. Aufgrund der Dringlichkeit wurden keine größeren Vortests gemacht.

Hello everyone,

Since December 26, we first noticed irregularities and then experienced outages affecting our shared storage (GlusterFS cluster).

The following systems were impacted: xRes Steward, RPAC, xAdmin, and xMid. The root cause was that during “rebalance” operations across the six storage servers, file metadata was lost. This is attributable to bugs or configuration issues within the GlusterFS server software.

As a result, these files were no longer accessible to the web servers (the “Apache” user). There was no data loss.

Before the weekend (December 27), I urgently had to add three additional Gluster servers and redistribute files to the new servers (“rebalance”). This prevented a complete crash involving filesystem errors (BTRFS 100% issue) and potential data loss. Due to the urgency, we did not perform extensive pre-testing.

Best regards,
Gunnar

--

Mit freundlichen Grüßen

Gunnar Mann

- Leitung Systemadministration | Head of System Administration -
________________________________________________________

TraSo GmbH

Nonnenstraße 42
D-04229 Leipzig

Tel.: +49 341 355 740 76
E-Mail: g.mann@traso.de

________________________________________________________
Geschäftsführer: Haiko Gerdes
Handelsregister: Amtsgericht Leipzig, HRB 21850