Tausend Alarme am Tag – und keiner davon wichtig
Ein Alarmkanal, der tausendmal am Tag piept, ist so nützlich wie ein Rauchmelder in der Sauna. Wir bauen Monitoring so um, dass eine Meldung wieder etwas bedeutet – und dass Stille wieder heißt, dass alles läuft.
DomainSouveräne Infrastruktur
KategorieEigene Lösung
Offene Monitoring-Probleme nach einem Aufräumtag67 → 29
Zeitgesteuerte Dienste mit Ausfall-Alarm (vorher 7 von 133 mit Fehlerbehandlung)65
Sicherheitsalarme am Anmeldeserver pro Tag362 → 27
Systeme in Monitoring und Sicherheitsüberwachungfast 90
FürIT-Verantwortliche mit zu vielen oder zu wenigen Alarmen
StatusIm Einsatz
Die Herausforderung
Monitoring kann auf zwei Arten scheitern: Es schweigt, oder es redet ohne Pause. Wir haben beides gesehen, oft im selben Betrieb. Der Kanal für kritische Störungen bekam an schlechten Tagen über tausend Meldungen, der Großteil von einem einzigen Hintergrundjob, dem nach einem Update eine Datenbankspalte fehlte. Container meldeten Speichernot, weil sie den Auslagerungsspeicher ihres Gastgebers sahen. Zugleich hatten nur 7 von 133 zeitgesteuerten Diensten überhaupt eine Fehlerbehandlung. Ein Import für den Monatsabschluss stand wochenlang still, und niemand hat es gemerkt.
Was wir gebaut haben
- Ursache statt Stummschalter: Jede Alarmflut wird bis zur Wurzel verfolgt und dort behoben: fehlende Spalte, falscher Schwellwert, wechselnde Prozessnummern in der Alarmsignatur. Abklingzeiten gibt es nur dort, wo sich dieselbe Meldung sonst stündlich wiederholt.
- Messen, was der Container spürt: Last und Speicherdruck kommen aus dem Container selbst, nicht vom Host. Die Schwellwerte sind an 46 Containern kalibriert, nicht geschätzt.
- Kein Job scheitert mehr leise: Ein kleiner Zusatz an jedem zeitgesteuerten Dienst meldet den ersten Fehler, erinnert täglich und bestätigt die Erholung. Beim Ausrollen fielen drei Jobs auf, die seit Wochen tot waren, darunter ein Abgleich, der nach jedem Timeout wieder von vorn begann.
- Sicherheitsereignisse mit Gedächtnis: Wazuh und Graylog sammeln Ereignisse von Servern, Arbeitsplätzen und Firewall, mit Aufbewahrungsfristen und eigenem Alarm bei Anmeldefluten. Routine wird ausgeblendet, nicht gelöscht. Die Rohdaten bleiben für den Nachweis.
- Getrennte Kanäle: Kritisches kommt in den Team-Chat und aufs Handy, Routine bleibt in der Übersicht. Wer nachts geweckt wird, soll auch aufstehen müssen.
- Ein Cockpit statt zwölf Konsolen: Eine Weboberfläche führt alle fünf Minuten Virtualisierung, Backup, Zabbix, Wazuh, Verzeichnisdienst und Virenschutz zusammen, in rund 20 Ansichten von Alarmen über Backup-Matrix bis Agenten-Abdeckung. Sie zeigt auch, was fehlt: Schon am ersten Tag tauchten acht laufende Server ohne Backup-Auftrag auf.
Was es bringt
An einem Aufräumtag sanken die offenen Probleme im Monitoring von 67 auf 29, die Speicher-Fehlalarme von 29 auf null. Am zentralen Anmeldeserver fielen die Sicherheitsalarme von 362 auf 27 pro Tag. Heute melden 65 zeitgesteuerte Dienste ihre Ausfälle selbst, und fast 90 Systeme sind in Monitoring und Sicherheitsüberwachung eingebunden. Der Alarmkanal ist wieder ein Ort, den man liest.
Für wen das passt
IT-Verantwortliche, deren Monitoring entweder schreit oder schweigt, und die nicht mehr sagen können, was davon schlimmer ist. Wir arbeiten mit Zabbix, Wazuh und Graylog, quelloffen und im eigenen Haus betrieben. Am Anfang steht Zuhören: Welche Meldungen kommen, welche fehlen, welche liest niemand? Danach wird abgestellt, umgebaut und ergänzt.
Technik
Passt zu