Was ist der kostengünstigste Weg, Ceph zuhause zu betreiben?

Es beginnt so, wie die meisten Homelab-Abenteuer beginnen: Man bastelt lange genug in einer VM herum, bis der Drang, es wirklich aufzubauen, unerträglich wird. Genau dort landete ein Nutzer, der die r/homelab-Community fragte: Was ist der kostengünstigste Weg, Ceph aufzubauen?

Die Antworten waren hilfreich und zeichneten außerdem ein Bild davon, wie ganz normale Leute zuhause zuverlässigen, verteilten Storage aufbauen, ohne wie eine Enterprise-IT-Abteilung Geld auszugeben. Und die Bandbreite ist so wild, wie man es erwarten würde: alte Pizza-Box-Server, Mini-PCs, NVMe-gestützte Flash-Arrays, alles irgendwie in Ceph-Cluster eingebunden. Wer diesen Weg einschlagen will, findet unten, was die Leute tun, was wirklich funktioniert und wo es schnell teuer wird.

Die Bandbreite der Builds: Von der Schreibtischschublade bis zu Rechenzentrums-Resten

Eines der günstigsten Setups stammte von jemandem, der Ceph auf vier Dell-Optiplex-7010-Mini-PCs betreibt. Jede Box hatte einen dedizierten 2,5-Gbit-Adapter und eine eigene SSD, also einfach, kompakt und effektiv. Der Nutzer gab zu, dass die Performance keine Benchmark-Trophäen gewinnen würde, aber für den echten Einsatz, insbesondere ein paar VMs, die sich keinen Datenverlust leisten können, reichte es mehr als aus.

Der Charme dieses Builds liegt darin, dass man Isolation zwischen den Nodes, dedizierten Storage und eine separate Netzwerkleitung für den Ceph-Traffic bekommt, und das alles ohne laute, stromhungrige Rack-Hardware. Aber natürlich gibt es eine Grenze. „Es skaliert nicht gut", so der Nutzer. „Ich werde die Degradation vermutlich merken, sobald ich über 10+ VMs mit spürbarem I/O komme."

Jemand anderes brachte einen etwas ausgefeilteren Ansatz ein: drei Topton-MS-01-Boards, jedes vollgepackt mit NVMe-Laufwerken und 25G-NICs. Dieses Setup nutzte sechs SSDs pro Node für Ceph und separate SSDs für das Betriebssystem. Zusätzlich kamen USB-SATA-Laufwerke für weitere Storage-Schichten hinzu. Nicht ganz so budgetfreundlich, aber der Leistungssprung ist offensichtlich.

Dann kam ein Nutzer mit gleich zwei Ceph-Clustern. Einer war ein All-Flash-Setup in einem Supermicro-217-Chassis mit 6x 2,5-Zoll-Einschüben pro Node, und das war der Hauptcluster für VM-Disk-Images und Container-Storage. Die Kosten schätzte er auf etwa 250 US-Dollar pro Node, Storage ausgenommen, was immer noch relativ günstig ist, wenn man bedenkt, was damit geleistet wird. Der zweite Cluster bestand nur aus ein paar 1U-Supermicro-Boxen mit einfachen 3,5-Zoll-SATA-HDDs, ausschließlich für Backups und redundante Kopien gebaut, und jeder Node kostete etwa 75 US-Dollar.

Der Thread zeigte ein Muster: Die Leute bauen Ceph entweder von Grund auf mit leichten, stromsparenden Nodes auf, oder sie recyceln ältere Enterprise-Hardware und hauchen ihr mit einer Schicht verteilter Intelligenz neues Leben ein.

Sparen Sie nicht an der falschen Stelle

Der Thread machte noch etwas deutlich: Sparen geht, aber nicht überall. Networking ist wichtig, und zwar sehr. Die Person mit den Optiplex-Mini-PCs sagte unumwunden, dass ihre 2,5-Gbit-Verbindung irgendwann zum Flaschenhals werden würde. Wer noch mit 1-Gbit-Verbindungen durchkommen will, stößt fast sofort an Leistungsgrenzen, sobald Ceph über einfache Workloads hinausgeht.

Storage spielt ebenfalls eine Rolle. SSDs kommen in den meisten geteilten Builds zum Einsatz, aber die wirklich effektiven Setups trennen OS-Laufwerke und Ceph-Laufwerke. Ein Nutzer ging so weit, M.2-Slots ausschließlich für Ceph-OSDs zu reservieren und SATA- oder USB-Laufwerke für Backups zurückzuhalten. Diese Trennung scheint einen spürbaren Unterschied zu machen.

Und schließlich zählt die Skalierungsstrategie. Man kann zwar klein anfangen, mit zwei oder drei Nodes, aber Ceph glänzt erst richtig, wenn es mehr Raum zum Atmen bekommt. Der Nutzer mit den Supermicro-Clustern merkte an, dass er gerne erweitern würde, wenn er das Budget hätte. Das sagt einiges aus, denn es funktionierte offenbar gut genug, dass er bei Gelegenheit mehr investieren würde.

Vorteile, Nachteile und Kompromisse

Der Hauptvorteil sind die Kosten. Die meisten Builds im Thread bewegen sich zwischen 75 und 250 US-Dollar pro Node, was lächerlich günstig ist im Vergleich zu dem, was echte Enterprise-Cluster kosten. Und weil Ceph softwaredefiniert ist, bekommt man Redundanz, Skalierbarkeit und ordentliche Performance, ohne für proprietäre SANs zu bezahlen.

Ein weiterer Pluspunkt ist, dass man tatsächlich etwas dabei lernt. Einer der Nutzer betonte, dass er Proxmox' eingebautes Ceph-Tooling komplett übersprungen und den Cluster manuell aufgesetzt hat. „Man versteht wirklich, womit man arbeitet, wenn man es selbst aufsetzt", sagte er. Diese Haltung zog sich durch den gesamten Thread, denn Ceph ist kein Plug-and-Play-Spielzeug. Wer es ernst meint, sollte sich auf Handarbeit einstellen.

Aber die Nachteile sind ebenso klar. Die Performance leidet, wenn man den Netzwerk-Overhead nicht einplant, und günstige Nodes bedeuten außerdem ein höheres Ausfallrisiko. Wer von drei auf sechs auf neun Nodes skaliert, muss neben den zusätzlichen Maschinen auch das Netzwerk sauber, die Daten repliziert und die Recovery-Zeiten im Rahmen halten.

Dazu kommen Strom und Lautstärke. Ältere 1U-Server sind günstig und leicht zu finden, aber sie sind laut und ziehen mehr Strom, als man denkt. Wer keinen Rack im Keller oder einen schallisolierten Raum hat, zahlt für diese „kosteneffiziente" Hardware mit seiner Ruhe.

Ceph passt nicht zu jedem, aber zu manchen sehr gut

Eine letzte, durchdachte Antwort kam von jemandem, der Ceph mit MinIO als On-Prem-Object-Storage-Alternative verglich. Die eigenen Cloud-Rechnungen, insbesondere die Kosten für API-Aufrufe, waren so aus dem Ruder gelaufen, dass er interne Optionen mit Kubernetes, Ceph oder MinIO prüfte.

Er fragte die Community, ob er voll auf lokalen Node-Storage setzen oder SAN-basierte Backends mischen sollte. Das wäre einen eigenen Blogbeitrag wert, aber die Kernaussage ist relevant: Ceph taugt auch jenseits der Homelab-Bastelei. Richtig umgesetzt, kann es zu einem ernsthaften Werkzeug werden, um Cloud-Workloads im großen Maßstab auszulagern und Kosten zu senken.

Dieser Kontext macht die Homelab-Versionen noch beeindruckender. Wenn man zuhause mit ein paar Mini-PCs, einigen SSDs und einer schnellen Netzwerkkarte ein bescheidenes, robustes Ceph-Setup aufbauen kann, lässt sich erahnen, was in einer kleinen Unternehmensumgebung möglich wäre.

Fazit

Was ist also der kostengünstigste Weg, Ceph zuhause zu betreiben? Basierend auf den realen Builds, die die Community geteilt hat, ist es wahrscheinlich ein Cluster aus drei bis vier stromsparenden Nodes, jeweils mit dedizierten SSDs und mindestens 2,5-Gbit-Networking. Nutzen Sie weiter, was Sie schon haben, kaufen Sie Storage nach und nach dazu, und versuchen Sie nicht, Ceph von Anfang an alles auf einmal machen zu lassen.

Ziel ist ein cleveres Setup, das weder das schnellste noch das größte sein muss. Und wenn das nach Ihnen klingt: willkommen, Sie sind offiziell im Ceph-Club.

Sie überlegen noch, ob es Ceph oder ZFS sein soll? Werfen Sie einen Blick auf unseren Vergleich zwischen Ceph und ZFS für die allgemeinen Kompromisse, oder auf unsere HA-fokussierte Analyse, wenn Failover Priorität hat.