Was ist der kostengünstigste Weg, Ceph zuhause zu betreiben?

Es beginnt so, wie die meisten Homelab-Abenteuer beginnen: Man bastelt lange genug in einer VM herum, bis der Drang, es wirklich aufzubauen, unerträglich wird. Genau dort landete ein Nutzer, der die r/homelab-Community fragte: Was ist der kostengünstigste Weg, Ceph aufzubauen?

Die Antworten waren nicht nur hilfreich, sie zeichneten auch ein Bild davon, wie ganz normale Leute zuhause zuverlässigen, verteilten Storage aufbauen, ohne wie eine Enterprise-IT-Abteilung Geld auszugeben. Und die Bandbreite ist so wild, wie man es erwarten würde: alte Pizza-Box-Server, Mini-PCs, NVMe-gestützte Flash-Arrays, alles irgendwie in Ceph-Cluster eingebunden.

Wer diesen Weg einschlagen will: Hier ist, was die Leute tun, was wirklich funktioniert und wo es schnell teuer wird.

Die Bandbreite der Builds: Von der Schreibtischschublade bis zu Rechenzentrums-Resten

Eines der günstigsten Setups stammte von jemandem, der Ceph auf vier Dell-Optiplex-7010-Mini-PCs betreibt. Jede Box hatte einen dedizierten 2,5-Gbit-Adapter und eine eigene SSD. Einfach, kompakt, effektiv. Der Nutzer gab zu, dass die Performance keine Benchmark-Trophäen gewinnen würde, aber für den echten Einsatz – insbesondere ein paar VMs, die sich keinen Datenverlust leisten können – reichte es mehr als aus.

Der Charme dieses Builds? Man bekommt Isolation zwischen den Nodes, dedizierten Storage und eine separate Netzwerkleitung für den Ceph-Traffic – und das alles ohne laute, stromhungrige Rack-Hardware. Aber natürlich gibt es eine Grenze. „Es skaliert nicht gut", so der Nutzer. „Ich werde die Degradation vermutlich merken, sobald ich über 10+ VMs mit spürbarem I/O komme."

Jemand anderes brachte einen etwas ausgefeilteren Ansatz ein: drei Topton-MS-01-Boards, jedes vollgepackt mit NVMe-Laufwerken und 25G-NICs. Dieses Setup nutzte sechs SSDs pro Node für Ceph und separate SSDs für das Betriebssystem. Zusätzlich kamen USB-SATA-Laufwerke für weitere Storage-Schichten hinzu. Nicht ganz so budgetfreundlich, aber der Leistungssprung ist offensichtlich.

Dann kam ein Nutzer mit nicht nur einem, sondern gleich zwei Ceph-Clustern. Einer war ein All-Flash-Setup in einem Supermicro-217-Chassis mit 6x 2,5-Zoll-Einschüben pro Node. Das war der Hauptcluster für VM-Disk-Images und Container-Storage. Die Kosten schätzte er auf etwa 250 US-Dollar pro Node, Storage ausgenommen – immer noch relativ günstig, wenn man bedenkt, was damit geleistet wird. Der andere Cluster? Nur ein paar 1U-Supermicro-Boxen mit einfachen 3,5-Zoll-SATA-HDDs, ausschließlich für Backups und redundante Kopien gebaut. Jeder Node kostete etwa 75 US-Dollar.

Der Thread zeigte ein Muster: Die Leute bauen Ceph entweder von Grund auf mit leichten, stromsparenden Nodes auf – oder sie recyceln ältere Enterprise-Hardware und hauchen ihr mit einer Schicht verteilter Intelligenz neues Leben ein.

Sparen Sie nicht an der falschen Stelle

Der Thread machte noch etwas deutlich: Sparen geht, aber nicht überall. Networking ist wichtig – sehr sogar. Die Person mit den Optiplex-Mini-PCs sagte unumwunden, dass ihre 2,5-Gbit-Verbindung irgendwann zum Flaschenhals werden würde. Wer noch mit 1-Gbit-Verbindungen durchkommen will, stößt fast sofort an Leistungsgrenzen, sobald Ceph über einfache Workloads hinausgeht.

Storage spielt ebenfalls eine Rolle. SSDs kommen in den meisten geteilten Builds zum Einsatz, aber die wirklich effektiven Setups trennen OS-Laufwerke und Ceph-Laufwerke. Ein Nutzer ging so weit, M.2-Slots ausschließlich für Ceph-OSDs zu reservieren und SATA- oder USB-Laufwerke für Backups zurückzuhalten. Diese Trennung scheint einen spürbaren Unterschied zu machen.

Und schließlich zählt die Skalierungsstrategie. Man kann zwar klein anfangen – zwei oder drei Nodes –, aber Ceph glänzt erst richtig, wenn es mehr Raum zum Atmen bekommt. Der Nutzer mit den Supermicro-Clustern merkte an, dass er gerne erweitern würde, wenn er das Budget hätte. Das sagt einiges aus: Es funktionierte gut genug, dass er bei Gelegenheit mehr investieren würde.

Vorteile, Nachteile und Kompromisse

Der Hauptvorteil? Die Kosten. Die meisten Builds im Thread bewegen sich zwischen 75 und 250 US-Dollar pro Node. Das ist lächerlich günstig im Vergleich zu dem, was echte Enterprise-Cluster kosten. Und weil Ceph softwaredefiniert ist, bekommt man Redundanz, Skalierbarkeit und ordentliche Performance, ohne für proprietäre SANs zu bezahlen.

Ein weiterer Pluspunkt? Man lernt tatsächlich etwas dabei. Einer der Nutzer betonte, dass er Proxmox' eingebautes Ceph-Tooling komplett übersprungen und den Cluster manuell aufgesetzt hat. „Man versteht wirklich, womit man arbeitet, wenn man es selbst aufsetzt", sagte er. Diese Haltung zog sich durch den gesamten Thread – Ceph ist kein Plug-and-Play-Spielzeug. Wer es ernst meint, sollte sich auf Handarbeit einstellen.

Aber die Nachteile sind ebenso klar. Die Performance leidet, wenn man den Netzwerk-Overhead nicht einplant. Günstige Nodes bedeuten außerdem ein höheres Ausfallrisiko. Und die Skalierung von drei auf sechs auf neun Nodes bedeutet nicht nur, mehr Maschinen anzuschließen – es geht darum, das Netzwerk sauber zu halten, die Daten repliziert zu halten und die Recovery-Zeiten im Rahmen zu halten.

Noch ein Nachteil? Strom und Lautstärke. Ältere 1U-Server sind günstig und leicht zu finden, aber sie sind laut und ziehen mehr Strom, als man denkt. Wer keinen Rack im Keller oder einen schallisolierten Raum hat, zahlt für diese „kosteneffiziente" Hardware mit seiner Ruhe.

Ceph ist nicht für jeden – aber definitiv für manche

Eine letzte, durchdachte Antwort kam von jemandem, der Ceph mit MinIO als On-Prem-Object-Storage-Alternative verglich. Die eigenen Cloud-Rechnungen – insbesondere die Kosten für API-Aufrufe – waren so aus dem Ruder gelaufen, dass er interne Optionen mit Kubernetes, Ceph oder MinIO prüfte.

Er fragte die Community, ob er voll auf lokalen Node-Storage setzen oder SAN-basierte Backends mischen sollte. Das wäre einen eigenen Blogbeitrag wert, aber die Kernaussage ist relevant: Ceph ist nicht nur etwas für Homelab-Bastler. Richtig umgesetzt, kann es zu einem ernsthaften Werkzeug werden, um Cloud-Workloads auszulagern und Kosten zu senken – im großen Maßstab.

Dieser Kontext macht die Homelab-Versionen noch beeindruckender. Wenn man zuhause mit ein paar Mini-PCs, einigen SSDs und einer schnellen Netzwerkkarte ein bescheidenes, robustes Ceph-Setup aufbauen kann – man stelle sich vor, was in einer kleinen Unternehmensumgebung möglich wäre.

Fazit

Was ist also der kostengünstigste Weg, Ceph zuhause zu betreiben?

Basierend auf den realen Builds, die die Community geteilt hat, ist es wahrscheinlich ein Cluster aus drei bis vier stromsparenden Nodes, jeweils mit dedizierten SSDs und mindestens 2,5-Gbit-Networking. Nutzen Sie weiter, was Sie schon haben, kaufen Sie Storage nach und nach dazu, und versuchen Sie nicht, Ceph von Anfang an alles auf einmal machen zu lassen.

Es geht nicht darum, das Schnellste oder das Größte zu bauen. Es geht darum, etwas Cleveres zu bauen. Und wenn das nach Ihnen klingt: willkommen, Sie sind offiziell im Ceph-Club.

Sie überlegen noch, ob es Ceph oder ZFS sein soll? Werfen Sie einen Blick auf unseren Vergleich zwischen Ceph und ZFS für die allgemeinen Kompromisse, oder auf unsere HA-fokussierte Analyse, wenn Failover Priorität hat.