Backups, die nicht nur laufen, sondern zurückkommen

Die Herausforderung

Fast jeder Betrieb hat Backups. Die wenigsten haben je eines zurückgespielt. Was wir beim Nachsehen fanden: eine Replikation außer Haus, die drei Tage lang bei jedem Lauf abbrach – ohne Alarm. Zwei Server mit gleichen Gast-Nummern, die in dieselbe Backup-Historie schrieben; ein Restore hätte je nach Datum den falschen Server zurückgebracht. Und einen Wiederherstellungspunkt, den die Software als vollständig führte und der trotzdem nicht startete.

Was wir gebaut haben

• Zwei Orte, Schlüssel im Tresor: Jeder virtuelle Server wird nachts verschlüsselt und dedupliziert gesichert und danach in ein externes Rechenzentrum gespiegelt. Was lokal gelöscht wird, bleibt am Ziel liegen. Die Schlüssel liegen im Passwort-Tresor – ein verschlüsseltes Backup ohne Schlüssel ist bloß sehr ordentlich verpackter Datenmüll.
• Eine Schicht, die auch ein Admin nicht löscht: Unter dem externen Backup-Speicher liegen unveränderliche Dateisystem-Schnappschüsse – täglich, wöchentlich, monatlich. Wer die Backup-Software kapert, hat damit noch nicht die Vergangenheit.
• Ordnung in der Historie: Jeder Host sichert in einen eigenen Namensraum. Die vermischten Historien wurden anhand der Snapshot-Kommentare entwirrt, ohne ein Byte doppelt zu speichern.
• Proben statt Hoffen: Wiederherstellungen laufen in eine vom Netz getrennte virtuelle Maschine und müssen bis zum Desktop starten. Für den Leitrechner einer Produktionsanlage – ein Einzelstück, seit zwei Jahren ohne Neustart – steht so ein Zwilling bereit, der in rund vier Minuten oben ist. Als ein Image trotzdem streikte, zeigte der Vergleich mit einer zweiten, unabhängigen Sicherung rund 1.400 Systemdateien mit richtiger Größe und falschem Inhalt. Mit den Dateien aus dem zweiten Weg bootete das System wieder.
• Wächter mit Stimme: Fehlschläge und veraltete Images melden sich per Mail und im Messenger – nicht erst, wenn jemand sie sucht.
• Arbeitsplätze inklusive: Laptops und PCs sichern still auf einen eigenen Backup-Server, über das verschlüsselte Firmennetz auch von unterwegs.

Was es bringt

Am Hauptstandort laufen jede Nacht über 50 virtuelle Server durch die Sicherung. In der letzten Woche waren es über 470 Sicherungsläufe ohne einen einzigen Fehler, jeder Abgleich nach außen grün – gemessen, nicht geschätzt. Als gelöschte Projekttabellen samt Papierkorb verschwunden waren, kamen sie aus der Kopie außer Haus zurück; die lokalen Sicherungen waren dafür schon zu jung. Als der externe Backup-Server wegen eines Hardwarefehlers mehrfach einfror, lief binnen eines Wochenendes Ersatz. Ein zweiter Virtualisierungsknoten ist geliefert und in Inbetriebnahme: Er soll kritische Dienste alle 15 Minuten replizieren.

Für wen das passt

Betriebe mit eigener Serverlandschaft, deren Backups seit Jahren „laufen“, aber nie zurückgespielt wurden. Besonders dann, wenn ein einzelner Rechner eine Anlage steuert und ein Ausfall nicht in Tagen, sondern in Schichten gerechnet wird. Wir beginnen mit einer Probe: ein Restore, ein Start, ein Protokoll. Was dabei herauskommt, ist der eigentliche Notfallplan.