Ceph ist ein Biest, ZFS funktioniert einfach: Die Storage-Kriege der Proxmox-Community
Ceph oder ZFS-Replikation für einen Proxmox-Cluster? Angefangen hat diese Debatte mit einer einfachen Homelab-Reorganisation. Ein Benutzer entschied sich, sein NAS von seinem Proxmox-Setup zu trennen. Aus diesem ordentlichen, technischen Schritt wurde eine leidenschaftliche Debatte über zwei der meistdiskutierten Storage-Lösungen in der Virtualisierungswelt: Ceph und ZFS-Replikation.
Die Geschichte spielt bei Homelab-Bauern, weit weg von der Infrastruktur eines Cloud-Riesen. Gemeint sind die Tüftler, die Cluster in Kellern und Garagen betreiben. Niemand zwingt sie zu Redundanz und Uptime, sie kümmern sich trotzdem darum, weil es einen tief befriedigenden Juckreiz kratzt.
Als der Benutzer also über die Reorganisation seines Setups postete, einen Zwei-Node-Proxmox-Cluster mit einem Raspberry Pi als Quorum, und fragte, ob er Ceph oder ZFS-Replikation verwenden soll, öffneten sich die Schleusentore.
Der Reiz von Ceph: Power, Skalierung und Schmerz
"Ceph ist ein Biest", schrieb ein Benutzer. "Wenn Sie es mit genug OSDs und Netzwerkgeschwindigkeit füttern, ist es wie ein Traum. Bare-Minimum-Hardware? Versuchen Sie es nicht." Diese Zeile könnte glatt als Cephs inoffizieller Slogan durchgehen.
Ceph wurde für Skalierung gebaut. Es ist die Art von verteiltem Speichersystem, das Sie in Rechenzentren summen hören, wo es Petabytes wie nichts handhabt. Es bietet echten gemeinsamen Speicher, das heißt, jeder Node in Ihrem Cluster sieht die ganze Zeit die gleichen Live-Daten. In einem Hochverfügbarkeits-Setup ist Ceph der Hauptgewinn: sofortiges Failover, reibungslose Live-Migrationen und praktisch keine Ausfallzeit.
Diese Power hat aber ihren Preis. Cephs Komplexität kann ein Home-Setup machen oder brechen. Es verlangt mehrere Nodes (mindestens drei, fünf oder mehr, wenn Sie nachts schlafen wollen), ein Hochgeschwindigkeitsnetzwerk und sorgfältige Wartung. Und wenn doch etwas schiefgeht, dann meist auf spektakuläre Weise.
"Ceph ist in Ordnung, wenn man die Zeit hat, es zu warten und Probleme zu beheben", sagte ein erfahrener Admin. "ZFS funktioniert einfach, weil es leicht zu warten ist."
Gerade das "leicht zu warten" kommt in der Homelab-Szene an. Die meisten Hobbyisten haben kein 24/7-Monitoring, keine redundante Stromversorgung und keinen Ersatz-Switch im Regal, denn tagsüber gehen sie arbeiten. Ceph wirkt bei aller Brillanz oft wie ein Formel-1-Wagen in einer Wohnsiedlung.
Ein Benutzer sagte es ganz direkt: "Ceph während größerer Code-Updates lohnt sich nicht." Ein anderer gab zu, dass ein Upgrade einmal fast seine komplette Produktionsumgebung lahmgelegt hätte. Ceph verzeiht wenig. Wer seine Architektur nicht respektiert, merkt schnell, wofür es gebaut wurde: für Rechenzentren.
ZFS-Replikation als unauffälliges Arbeitstier
Dann gibt es ZFS, den unauffälligen Überflieger. Während Ceph Daten in Echtzeit dynamisch über Nodes verteilt, geht ZFS einfacher und snapshot-basiert vor. Sie können es so einstellen, dass Änderungen in Intervallen repliziert werden, alle 15 Minuten, alle 5 Minuten oder sogar jede Minute, wenn Sie mutig sind. Die Replikation läuft asynchron. Fällt ein Node zwischen zwei Durchläufen aus, können also die Änderungen seit dem letzten Lauf verloren gehen. Viele Heimanwender nehmen dieses Risiko in Kauf.
Für die meisten Homelabs, die keine missionskritischen Workloads hosten, lohnt sich dieser Kompromiss. "Meine VMs und LXC-Container ändern sich nicht so stark", erklärte ein Benutzer. "Deshalb ist das vielleicht gar kein Problem."
ZFS-Replikation verspricht keine Perfektion, bietet aber genug. Sie ist schnell, effizient und passt gut zum Do-it-yourself-Gedanken: zuverlässig, ohne dass ein Team von Sysadmins Bereitschaft schieben muss.
In der Praxis berichten Benutzer von Replikationszeiten von nur drei Sekunden für kleine virtuelle Maschinen. Einer repliziert ein halbes Dutzend Linux-VMs alle fünfzehn Minuten, jeder Durchlauf dauert nur wenige Sekunden. Ein anderer betreibt sieben HA-Gäste, die alle in unter fünf Sekunden synchronisieren. Für diese Leute wäre Ceph schlicht unnötig.
Darin steckt etwas fast Poetisches. ZFS steht für eine pragmatische Gelassenheit: dem eigenen Setup vertrauen, die eigenen Grenzen kennen und gelegentliche Unvollkommenheit in Kauf nehmen, um bei Verstand zu bleiben.
Wenn "gut genug" perfekt ist
Bei der Arbeit nutzt ein Kommentator beide Systeme: Ceph für den Fünf-Node-Cluster des Windows-Teams, ZFS-Replikation für kleinere Zwei-Node-Setups. Beides funktioniert gut. Und zu Hause? "Da habe ich einen einzelnen kleinen Proxmox, ein funktionierendes Backup-System und ein vorinstalliertes PVE als Cold Standby. Das reicht."
Diese Haltung zieht sich durch die ganze Community: Perfektion kostet Aufmerksamkeit, und sie kostet Hardware. Ceph synchronisiert ständig, und dieser Overhead frisst Bandbreite und Ressourcen. ZFS hält sich zurück, bis man ihm sagt, dass es etwas tun soll. Für das durchschnittliche Homelab, auf dem vielleicht ein paar Fileserver, Plex-Container und einige Entwicklungs-VMs laufen, ist "gut genug" oft die beste Option.
Ein anderer Benutzer fasste es knapp zusammen: "Übertreib es in deinem Homelab nicht." Eine erwachsene Einstellung. Basteln soll Spaß machen. Ein Teilzeitjob als Betreiber eines Mini-Rechenzentrums war nie der Plan.
Wenn es Ihnen vor allem um Hochverfügbarkeit, Quorum und ein NAS als dritte Option geht, lesen Sie unseren Vergleich von Ceph, ZFS und NAS für HA-Storage.
Live-Migration als eigentliche Trennlinie
Einer der größten Unterschiede zwischen Ceph und ZFS-Replikation zeigt sich bei der Live-Migration, also wenn Sie eine laufende virtuelle Maschine von einem Node auf einen anderen verschieben, ohne sie herunterzufahren.
Mit Ceph geht die Migration fast sofort. Da alle Nodes dieselben Daten sehen, wird im Grunde nur der RAM-Zustand übertragen. Bei ZFS-Replikation müssen zuerst die neuesten Plattenänderungen synchronisiert werden, das dauert etwas länger.
"Live-Migration geht mit Ceph schneller, weil nichts zu synchronisieren ist", erklärte ein Benutzer. "Mit ZFS dauert es, bis die letzten Änderungen synchronisiert sind."
Auch hier kommt es auf den Kontext an. Bei wenig genutzten VMs, und die machen den Großteil der Homelabs aus, ist der Unterschied vernachlässigbar. Der Verfasser des ursprünglichen Threads hat es selbst getestet: "Ich habe jetzt einen Testcluster mit ZFS aufgesetzt. Die Migration eines LXC dauert 8 Sekunden." Die meisten würden acht Sekunden gern für mehr Einfachheit und weniger Wartung in Kauf nehmen.
Die versteckten Lektionen eines Homelabs
Diese Diskussionen haben einen fast philosophischen Unterton. Unter den Benchmarks und Replikationsintervallen liegt eine größere Frage: Wie viel Komplexität ist zu viel?
Ceph verführt, weil es Kontrolle verspricht: perfekte Redundanz, ständige Synchronisation, Zuverlässigkeit auf Profi-Niveau. Dafür verlangt es ständige Aufmerksamkeit. ZFS wirkt eher wie der freundliche Nachbar, der nie zu lange bleibt.
"Ceph läuft nicht auf zwei Nodes", erinnerte ein anderer Benutzer. "Man braucht mindestens drei, eigentlich will man aber fünf oder mehr." Schon das schließt es für die meisten kleinen Setups aus.
Andere widersprachen. "Ceph läuft auch mit einer geraden Anzahl Nodes. Ich habe vier. Läuft wie geschmiert." Selbst sie räumten aber ein, dass Cephs Anforderungen an Netzwerk, Storage und Monitoring schnell wachsen. Was in einem Test mit vier Nodes gut aussieht, kann zum Albtraum werden, wenn Hardware ausfällt oder Upgrades anstehen.
Ein Veteran brachte es auf den Punkt: "Die Anforderungen von Ceph werden immer als absurd hoch beschrieben, aber fürs Self-Hosting reicht es mehr als aus." Das klassische Tauziehen zwischen dem Möglichen und dem Praktischen.
Das Problem mit Consumer-NVMe
Der Verfasser des Threads gestand einen kleinen Fehler: Er hatte Consumer-NVMe-SSDs gekauft statt Enterprise-Modellen. "Hoffe, es wird trotzdem schnell", schrieb er halb im Scherz.
Dieses Detail sagt viel über die Homelab-Mentalität. Consumer-Teile sind billiger, halten dauerhafte Schreiblast aber nicht immer gut aus. Das betrifft Ceph und ZFS, wobei Ceph härter darunter leidet. Enterprise-Laufwerke haben höhere Endurance-Werte und mehr Leistung unter Last, sind aber teuer, und für ein Hobby-Setup geht die Rechnung nicht immer auf.
Also plante der Verfasser das nächste Experiment. "Heute habe ich ein 10-Gb-Backbone", sagte er, "aber ich will Thunderbolt mit 40 Gb zwischen den Nodes testen. Ich glaube, meine Consumer-NVMe wird zum Flaschenhals."
Diese Mischung aus Sparsamkeit, Neugier und purer Technikbegeisterung macht die Homelab-Welt aus. Man kauft Hardware, lernt sie kennen, macht sie kaputt, baut sie neu auf und bringt sie dazu, Dinge zu tun, für die sie nie gedacht war.
Warum ZFS die Herzen gewinnt
Als sich der Staub gelegt hatte, neigte der Konsens klar zur ZFS-Replikation, weil sie zum Rhythmus des Homelab-Alltags passt. Mit Glanz oder Tempo hatte das wenig zu tun.
Ceph wirkt trotz seiner unbestreitbaren Power wie ein Vorschlaghammer für eine Reißzwecke. ZFS ist zugänglich, berechenbar und vor allem wiederherstellbar.
"Wenn mit dem Ceph-Storage etwas schiefgeht, ist der ganze Cluster betroffen", sagte ein Benutzer, der diesen Albtraum erlebt hatte. "Mit ZFS ist jeder Node beim Storage unabhängig. Wenn einer oder zwei ausfallen, laufen die anderen weiter." Diese Widerstandsfähigkeit macht ZFS so attraktiv, mehr als jedes Versprechen von Perfektion.
Das Fazit: Bauen Sie für Freude und für Redundanz
Am Ende war die Debatte über Dateisysteme auch eine Erinnerung daran, was Menschen überhaupt zum Self-Hosting zieht: die Freude am Erschaffen, der Reiz der Kontrolle und die Genugtuung, etwas zu seinem Eigenen zu machen.
Ceph ist ein Meisterwerk der Technik, ein verteiltes System, das Rechenzentren auf der ganzen Welt antreiben kann. ZFS ist das Arbeitstier, das Werkzeug, das "einfach funktioniert". Und manchmal, im Summen eines Server-Racks im Keller oder im Licht eines umfunktionierten ThinkCentre mit Proxmox, ist das alles, was man braucht.
Oder, wie ein Benutzer fast poetisch schrieb: "Übertreib es nicht." In einer Community, die von Uptime besessen ist, ist das ein erstaunlich erdender Gedanke. Manchmal ist das beste System dasjenige, das Sie nachts durchschlafen lässt, auch wenn es nicht alles kann.