Proxmox mit Ceph: Wann sich hyperkonvergenter Storage lohnt und wann nicht

Auf der Seite zur VMware-Ablösung beantworten wir die Frage „Brauchen wir Ceph?“ mit „Nicht immer“. Hier steht, wovon das abhängt. Die Beispiele stammen aus unseren eigenen Proxmox-Clustern in Karlsruhe, darunter ein Backup-Cluster, den wir im September 2026 aus drei vorhandenen Servern aufgebaut haben.

Was Ceph in einem Proxmox-Cluster macht

Ceph verteilt die Daten der virtuellen Maschinen über die Festplatten aller Server im Cluster und hält von jedem Datenblock mehrere Kopien auf verschiedenen Servern. Fällt ein Server aus, sind die Daten weiter vorhanden, und Proxmox startet die betroffenen VMs auf den übrigen Servern neu. Ein zentrales Speichersystem (SAN) ist dafür nicht nötig: Rechenleistung und Speicher stecken in denselben Servern. Das nennt man hyperkonvergent.

Wann Ceph passt

Sie haben mindestens drei Server, und der Ausfall eines Servers soll den Betrieb nicht stoppen.
Sie wollen VMs im laufenden Betrieb zwischen Servern verschieben, ohne ein zentrales Speichersystem anzuschaffen oder weiter zu betreiben.
Die Umgebung soll wachsen, indem Sie Server hinzufügen, statt ein Speichersystem zu ersetzen.
Zwischen den Servern gibt es ein schnelles Netz, mindestens 10 Gbit/s, getrennt vom übrigen Verkehr.

Wann Ceph nicht passt

Zwei Server. Ceph braucht für seine Entscheidungen eine Mehrheit der Monitore, also mindestens drei. Für zwei Server ist ZFS mit der Replikation von Proxmox meist die bessere Wahl: Die VM-Daten werden in festen Abständen auf den zweiten Server kopiert, standardmäßig alle 15 Minuten. Fällt ein Server aus, gehen im schlimmsten Fall die Änderungen seit der letzten Replikation verloren. Für viele kleine Umgebungen ist das vertretbar.
Nur 1-Gbit-Netz. Jeder Schreibvorgang geht über das Netz zu den anderen Servern. Auf einem langsamen oder geteilten Netz wird die Umgebung langsamer als vorher.
Ein vorhandenes, gut funktionierendes Speichersystem, das noch Jahre Support hat. Dann kann Proxmox es weiter nutzen, und Ceph ist eine Frage für die nächste Hardware-Generation.
Sehr wenige VMs ohne Anforderung an Hochverfügbarkeit. Dann ist ein einzelner Server mit gutem Backup oft die ehrlichere Lösung.

Was Ceph an Kapazität kostet

Mehrere Kopien kosten Platz. Bei drei Kopien, dem üblichen Wert für produktive VMs, ist ein Drittel der Rohkapazität nutzbar. Davon sollte man nicht alles verplanen: Ceph warnt standardmäßig ab 85 Prozent Füllstand, und nach einem Serverausfall braucht es freien Platz, um die fehlenden Kopien auf den übrigen Servern neu anzulegen.

Unser Backup-Cluster hat 21 Festplatten mit je 900 GB, zusammen 17 TiB roh. Er arbeitet mit zwei Kopien statt drei, weil von jeder Sicherung zusätzlich zwei verschlüsselte Kopien an zwei externen Standorten liegen. Nutzbar sind damit rund 8,2 TiB. Für produktive VMs würden wir zwei Kopien nicht empfehlen.

Wie viel die dritte Kopie wert ist, haben wir in unserem Produktionscluster gesehen: Als dort ein Server ausfiel, meldete Ceph eine Warnung, ein Drittel der Daten lag nur noch in zwei Kopien vor. Die Daten blieben lesbar, und die Sicherung des Clusters lief trotzdem.

Was wir beim Aufbau gelernt haben

RAID-Controller gehören in den HBA-Modus. Ceph will jede Festplatte einzeln sehen. Ein Hardware-RAID darunter versteckt Fehler, die Ceph selbst behandeln würde. Bei unseren Servern ließ sich der Controller als HBA betreiben, ein Umbau war nicht nötig. Das sollte man vor dem Kauf oder der Weiterverwendung prüfen.

Der schnelle Zwischenspeicher muss groß genug sein. Bei Festplatten legt man die Verwaltungsdaten von Ceph auf eine schnelle SSD oder NVMe. Unsere vorhandene NVMe hatte nur 16 GB, also 1,8 GiB je Festplatte. Das ist zu knapp, ein Teil der Verwaltungsdaten landet wieder auf den langsamen Festplatten, und Ceph warnt dauerhaft. Für einen Backup-Cluster ist das ein Leistungs-, kein Datenproblem. Wir haben diese eine Warnung abgeschaltet, damit sie keine echten Alarme überdeckt, und eine größere NVMe ist eingeplant. Für einen Produktionscluster würden wir das nicht hinnehmen.

Getrennte Netze für Storage und Cluster. Der Ceph-Verkehr und die Abstimmung der Proxmox-Server laufen bei uns in eigenen VLANs. Die Cluster-Abstimmung hat zusätzlich einen zweiten Weg über das Verwaltungsnetz, falls der erste ausfällt. Ist der Storage-Verkehr ausgelastet, verliert der Cluster dadurch nicht den Kontakt zu sich selbst.

Eine Leitung ist keine Redundanz. Die 10-Gbit-Anbindung unseres Backup-Clusters ist als Bündel aus zwei Leitungen konfiguriert, aber derzeit ist nur eine davon gesteckt. Das ist eine bekannte Lücke, die wir dokumentiert haben und beim nächsten Termin vor Ort schließen. Wer seine eigene Umgebung bewertet, sollte genau solche Stellen suchen: konfiguriert heißt nicht verkabelt.

Den Wiederaufbau drosseln. Fällt eine Festplatte oder ein Server aus, legt Ceph die fehlenden Kopien neu an. Das konkurriert mit dem Zugriff der VMs. Wir drosseln den Wiederaufbau. Er dauert dann länger, aber die VMs bleiben bedienbar.

Im Betrieb

Ceph ist kein System, das man einrichtet und vergisst. Bei uns gilt:

Der Zustand von Ceph wird überwacht, jeder Zustand außer „in Ordnung“ löst einen Alarm aus.
Server werden nacheinander neu gestartet, und vorher wird Ceph mitgeteilt, dass der Server nur kurz fehlt. Der nächste Server folgt erst, wenn Ceph wieder vollständig gesund ist.
Die Konfiguration der Netze und der Cluster-Verbindungen liegt als Ansible-Code im Git.

Kurz zusammengefasst

Ausgangslage	Unsere Empfehlung
1 Server	kein Ceph, gutes Backup mit Kopie außer Haus
2 Server	ZFS mit Replikation, kein Ceph
3 oder mehr Server, 10-Gbit-Netz, Hochverfügbarkeit gewünscht	Ceph mit drei Kopien
vorhandenes Speichersystem mit Support	weiter nutzen, Ceph bei der nächsten Hardware prüfen
nur 1-Gbit-Netz	erst das Netz, dann Ceph

Ob Ihre vorhandene Hardware für Ceph taugt, klären wir in der Bestandsaufnahme zur VMware-Ablösung. Wenn Sie bereits Proxmox betreiben und wissen wollen, wo Ihr Cluster steht, gibt es den Proxmox-Check. Und wer keine eigene Hardware betreiben will, findet unter Private Cloud die Variante in unserem Rechenzentrum.