Wie sollten Hochdichte-GPU-Rechenzentren Strom, Rack-Kapazität, Kühlung und Flüssigkühlung verwalten?

Hochdichte GPU-Rechenzentren sollten Kapazität als eine Reihe gleichzeitiger physischer Einschränkungen verwalten, nicht als bloße Anzahl leerer Racks. Ein neuer Compute-Knoten ist nur dann einsetzbar, wenn Rack-Platz, bauliche Tragfähigkeit, A- und B-Stromversorgung, Stromkreis-Reserve, Kühlung, bei Bedarf Flüssigkühlungskapazität, Netzwerkanbindung und Betriebsüberwachung alle bereitstehen.

Das verändert die Bedeutung von „Kapazität". Eine Halle kann freie Racks haben und trotzdem keine nutzbare GPU-Kapazität besitzen. Die begrenzende Ressource kann elektrisch, thermisch, mechanisch oder netzwerkbezogen sein. Der Betrieb muss wissen, welche Einschränkung als Erste erschöpft ist.

Warum ist Rack-Platz allein keine ausreichende Kapazitätskennzahl mehr?

Rack-Platz sagt aus, ob Geräte physisch hineinpassen. Er sagt nicht aus, ob das Rack diese Geräte auch sicher betreiben kann.

Ein GPU-Server kann eine erhebliche elektrische und thermische Last zu einem Rack hinzufügen.

Vor der Installation muss der Standort die verbleibende Rack-Stromkapazität, die Grenzen der Stromverteilung, die Kühlfähigkeit, die Netzwerkbereitschaft, bauliche Einschränkungen und die Anforderungen des Servers selbst kennen.

Das ergibt ein mehrdimensionales Kapazitätsmodell.

Erfassen Sie für jedes Rack:

Verfügbare U-Positionen
Reservierte U-Positionen
Installierte Geräte
Gemessene und geplante Leistung
A- und B-Zuleitungskapazität
PDU- oder Stromkreis-Reserve
Kühlmethode
Kühlreserve
Flüssigkühlungs-Zweigkapazität, sofern zutreffend
Netzwerk-Portkapazität
Gewichts- oder Bodenlast-Einschränkungen, sofern relevant

Das Rack sollte ein einfaches Ergebnis zur Einsetzbarkeit liefern, aber dieses Ergebnis muss sich aus all diesen Dimensionen ableiten.

Das zugrunde liegende Betriebsmodell folgt demselben Prinzip: Die Erweiterung wird durch die Einschränkung bestimmt, die als Erste ihre Grenze erreicht.

Wie sollte die Rack-Stromversorgung überwacht werden?

Die Rack-Stromversorgung sollte vom Verteilungspfad bis hinunter zum Rack überwacht werden, mit ausreichend Detailtiefe, um Redundanz und verbleibende Reserve zu verstehen.

Erfassen Sie die vorgelagerte Versorgung.

Erfassen Sie den USV-Status.

Erfassen Sie die PDU-Kapazität.

Erfassen Sie die Last des Stromkreis-Abzweigs oder Rack-Stromkreises.

Erfassen Sie A- und B-Zuleitungen getrennt.

Erfassen Sie die reale Leistung über die Zeit, nicht nur die Typenschild-Leistung.

Typenschild-Werte sind nützlich für Auslegungsgrenzen, aber gemessene Leistung zeigt das tatsächliche Betriebsverhalten.

Hochdichte KI-Workloads können wechselnde Lastmuster erzeugen, wenn Jobs starten und stoppen.

Das bedeutet, dass die durchschnittliche Last allein Spitzen verbergen kann.

Das Überwachungssystem sollte aktuelle Last, jüngste Spitzenlast, konfigurierten Schwellenwert und verbleibende Reserve anzeigen.

Wenn ein Rack über redundante A- und B-Zuleitungen verfügt, sollte die Kapazitätsplanung auch den Ausfallfall berücksichtigen. Die Auslegung muss innerhalb der Redundanzrichtlinie des Standorts bleiben, falls ein Pfad ausfällt.

Das ist eine Entscheidung der Gebäudetechnik, weshalb die Plattform die Daten bereitstellen sollte, statt eine einzige universelle Redundanzregel zu erfinden.

Wofür ist eine Leistungsdichte-Heatmap nützlich?

Eine Leistungsdichte-Heatmap zeigt, wo sich elektrischer und thermischer Bedarf über den Raum oder das Rack-Layout hinweg konzentriert.

Sie hilft, eine andere Frage zu beantworten als die Gesamtleistung der Anlage.

Zwei Rechenzentrumshallen können dieselbe Gesamtlast haben, während die eine konzentrierte Hotspots aufweist und die andere gleichmäßig verteilt ist.

Hochdichte Racks können lokale Engpässe erzeugen, bevor der gesamte Raum seine nominelle Auslegungskapazität erreicht.

Eine Heatmap kann zeigen:

Aktuelle Rack-Leistung
Spitzen-Rack-Leistung
Leistung pro Rack oder Zone
Verbleibende Kapazität
Schwellenwertüberschreitungen
Reservierte Hochdichte-Zonen

Der nützliche Mehrwert liegt nicht in visueller Dekoration.

Ein Betreiber sollte ein heißes Rack auswählen und dessen Stromkreise, Kühlpfad, installierte Server, aktuelle Jobs und jüngste Alarme einsehen können.

Das verbindet die Anlagenbedingungen mit dem Compute-Betrieb.

Wie sollte die Kühlkapazität verwaltet werden?

Die Kühlkapazität sollte auf derselben physischen Granularität verwaltet werden wie die wärmeerzeugenden Geräte.

Kühlkapazität auf Raumebene reicht nicht aus, wenn eine Reihe, ein Rack oder ein Flüssigkühlungszweig eingeschränkt ist.

Überwachen Sie für luftgekühlte Zonen die relevanten Umgebungs- und Kühlsystemdaten wie Zuluftbedingungen, Abluftbedingungen, Luftstromleistung, Containment und lokale Rack-Einlassbedingungen entsprechend der Anlagenauslegung.

NVIDIAs Rechenzentrumsauslegungs-Leitfaden für DGX-Umgebungen behandelt Luftstromoptimierung und Gang-Containment für Hochdichte-Racks.

Für flüssigkeitsgekühlte Zonen ändert sich das Betriebsmodell, weil Wärme über einen Kühlmittelkreislauf abgeführt wird.

Das Überwachungssystem muss die CDU, den primären und sekundären Kreislauf, die Zweige, Ventile, Temperatur, den Durchfluss, den Druck und die Leckageerkennung verstehen, die zu diesem Kühlpfad gehören.

Das Ziel ist nicht nur zu wissen, dass die Kühlung „an" ist, sondern welche Racks von welchen Kühlkomponenten abhängen.

Was ist eine CDU?

Eine Coolant Distribution Unit, oder CDU, ist die Schnittstelle, die die Kühlmittelverteilung zwischen den Teilen eines Flüssigkühlungssystems steuert.

Die genaue Auslegung variiert.

Eine CDU kann das Gebäudewasser vom Kreislauf des technischen Kühlsystems trennen, Temperaturen regeln, Kühlmittel zirkulieren lassen und Betriebstelemetrie bereitstellen.

Identifizieren Sie für die Überwachung jede CDU als eigenständiges Asset und verknüpfen Sie sie mit den Zweigen und Racks, die sie versorgt.

Nützliche CDU-Daten können Vorlauf- und Rücklauftemperatur, Durchfluss, Druck, Pumpenstatus, Ventilstellung, Alarmstatus und weitere herstellerspezifische Messpunkte umfassen.

NVIDIAs Leitfaden zur DSX-BMS-Integration enthält CDU-Metadaten und Beispiele für primäre und sekundäre Vorlauf- beziehungsweise Einlassbereiche, was verdeutlicht, warum Messwerte Kontext brauchen.

Ein Wert von 32,5 ist bedeutungslos, wenn die Plattform nicht weiß, ob es sich um Temperatur, Druck, Durchfluss oder Ventilstellung handelt.

Metadaten sind daher Teil der Kühl-Observability.

Was sollte in den Flüssigkühlungszweigen überwacht werden?

Überwachen Sie jeden Zweig als separaten Betriebspfad, wenn die Auslegung dies zulässt.

Eine einzelne CDU kann mehrere Zweige versorgen.

Wenn bei einem Zweig der Durchfluss sinkt, sollte die Plattform erkennen, welche Racks und Server betroffen sind, statt nur eine generische CDU-Warnung zu melden.

Nützliche Signale umfassen:

Vorlauftemperatur
Rücklauftemperatur
Temperaturdifferenz
Durchflussrate
Druck oder Differenzdruck
Ventilstatus
Pumpenstatus, sofern relevant
Leckageerkennung
Zweig-Alarmstatus

Verfolgen Sie den Trend dieser Werte.

Eine langsame Verschlechterung kann wichtiger sein als eine einzelne, punktuelle Schwellenwertüberschreitung.

Ein Zweig, dessen Durchfluss beispielsweise über mehrere Tage hinweg allmählich abnimmt, kann ein Eingreifen erfordern, bevor Server zu drosseln beginnen.

Das zugrunde liegende Modell trennt aus genau diesem Grund den CDU-Status ausdrücklich von den 24-Stunden-Trends bei Zweigtemperatur und Differenzdruck.

Wie sollte Leckageerkennung im Betrieb funktionieren?

Leckageerkennung sollte mit dem physischen Standort, dem betroffenen Kühlzweig, den betroffenen Racks und einem freigegebenen Reaktionsworkflow verknüpft sein.

Ein Leckage-Alarm ohne Standortangabe erzeugt unnötige Verzögerung.

Das System sollte wissen, welches Erkennungskabel oder welcher Sensor ausgelöst hat und zu welchem Zweig es gehört.

Dann sollte es den potenziellen Wirkungsbereich ermitteln.

Welche Racks werden von diesem Zweig mit Kühlmittel versorgt?

Welche Workloads laufen dort?

Kann der betroffene Zweig isoliert werden?

Erlaubt die Standortrichtlinie ein automatisiertes Schließen der Ventile, oder erfordert diese Aktion eine Freigabe?

ASHRAE betont in Diskussionen zur Resilienz von Flüssigkühlung, dass der Verlust des Kühlmitteldurchflusses bei Hochleistungsprozessoren schnell thermische Folgen haben kann, was den Reaktionsweg wichtig macht.

Maßnahmen mit hoher Auswirkung wie das Schließen von Ventilen sollten daher kontrolliert und auditierbar erfolgen.

Automatisierung ist nützlich, aber nur, wenn die physische Auslegung und das Betriebsverfahren sie unterstützen.

Wie sollten luftgekühlte und flüssigkeitsgekühlte Zonen verglichen werden?

Vergleichen Sie sie anhand von Energie, Kapazität, thermischer Stabilität, Betriebsrisiko und Workload-Unterstützung, statt anzunehmen, dass eine Kühlmethode grundsätzlich überlegen ist.

Erfassen Sie die PUE pro Zone, sofern die Messgrenze dies zulässt.

Erfassen Sie den Kühlenergieverbrauch.

Erfassen Sie den Wasserverbrauch, sofern relevant.

Erfassen Sie die unterstützte Rack-Dichte.

Erfassen Sie die Temperaturstabilität.

Erfassen Sie Kühlungsalarme.

Erfassen Sie den Wartungsaufwand.

Erfassen Sie Ausfälle oder Drosselungsvorfälle.

Flüssigkühlung kann Dichten unterstützen, die Luftkühlung so nicht leisten kann, bringt aber je nach Auslegung zusätzliche Pumpen, CDUs, Kühlmittelkreisläufe, Leckagemanagement, Fragen der Wasserchemie oder Kühlflüssigkeit sowie andere Fehlerarten mit sich.

Die richtige Wahl hängt von der IT-Ausstattung und der Anlage ab.

Der Artikel darüber, wie man PUE, WUE, GPU-Energieverbrauch und Energiekosten pro Token berechnet, erklärt, wie sich diese Telemetrie in vergleichbare Effizienzkennzahlen umwandeln lässt.

Wie sollten Strom und Kühlung die Workload-Planung beeinflussen?

Anlagenkapazität sollte zu einer Planungseinschränkung werden, wenn Strom- oder Kühlbedingungen auf Rack-Ebene die Zuverlässigkeit von Workloads beeinträchtigen können.

Das bedeutet nicht, dass der Scheduler jede PDU direkt steuern muss.

Es bedeutet, dass das Compute-Ressourcenmodell wissen sollte, ob ein Knoten physisch für neue Arbeit verfügbar ist.

Nähert sich ein Rack seinem Strom-Schwellenwert, müssen neue Hochlast-Workloads es möglicherweise meiden.

Hat ein Flüssigkühlungszweig eine Warnung, können Knoten an diesem Zweig als nicht verfügbar markiert werden.

Entfernt eine Wartungsmaßnahme eine redundante Stromzuleitung, kann die Standortrichtlinie die zulässige Last vorübergehend reduzieren.

Das verbindet die Gebäudetechnik mit der Compute-Planung.

Ohne diese Verbindung sieht der Cluster-Scheduler nur GPUs und CPU.

Das Facility-Team sieht elektrische Risiken und Kühlrisiken.

Die beiden Systeme können widersprüchliche Entscheidungen treffen.

Wie sollte die Kapazitätsprognose für Hochdichte-Umgebungen funktionieren?

Prognostizieren Sie jede harte Einschränkung einzeln und melden Sie dann den frühestmöglichen erwarteten Erschöpfungszeitpunkt.

Prognostizieren Sie für den Platz die verbleibenden U-Positionen.

Prognostizieren Sie für den Strom die Rack- und Stromkreis-Reserve.

Prognostizieren Sie für die Kühlung die Zonen- oder Zweig-Reserve.

Prognostizieren Sie für das Netzwerk die benötigten Ports und die Fabric-Kapazität.

Prognostizieren Sie für die Flüssigkühlung die Zweig- und CDU-Kapazität.

Wandeln Sie diese Dimensionen anschließend in eine einsetzbare Knotenkapazität um.

Ein Raum kann zum Beispiel Platz für 40 weitere Server bieten, aber nur Strom für 20 und Kühlung für 12.

Die nützliche Antwort lautet nicht „40 Plätze verbleiben".

Die nützliche Antwort lautet: „Die aktuelle Kühlkonfiguration unterstützt etwa 12 weitere Knoten dieser Spezifikation, bevor eine Erweiterung erforderlich ist."

Verwenden Sie nach Möglichkeit tatsächliche Serverspezifikationen und gemessene Last.

Unterschiedliche GPU-Systeme haben unterschiedliche Strom- und Kühlanforderungen, daher ist der Knotentyp entscheidend.

Was sollte vor der Installation eines neuen GPU-Racks geprüft werden?

Verwenden Sie eine Abnahme-Checkliste, die belegt, dass das Rack die geplanten Geräte unterstützen kann.

Bestätigen Sie Rack-Platz und reservierte Positionen.

Bestätigen Sie die baulichen Anforderungen.

Bestätigen Sie den A- und B-Strompfad.

Bestätigen Sie die Stromkreiskapazität und die Nennwerte der Schutzeinrichtungen gemäß der Anlagenauslegung.

Bestätigen Sie die PDU-Kapazität.

Bestätigen Sie die Kühlmethode.

Bestätigen Sie bei Bedarf den Vor- und Rücklaufpfad der Flüssigkeit.

Bestätigen Sie die CDU- und Zweigkapazität.

Bestätigen Sie die Leckageerkennung.

Bestätigen Sie Netzwerkports und -kabel.

Bestätigen Sie das Management-Netzwerk.

Bestätigen Sie die Umgebungsüberwachung.

Bestätigen Sie, dass die Assets, die Rack-Position, die Stromkreise und die Kühlbeziehungen in das Inventar aufgenommen werden.

Erledigen Sie dies, bevor das Rack zu einer Produktionsabhängigkeit wird.

Der zugehörige Artikel darüber, wie eine CMDB Server, GPUs, Container, Anwendungen, Business-Services und Verantwortliche verknüpfen kann, erklärt, warum diese physischen Beziehungen nach der Installation wichtig sind.

Was sollte das Betriebs-Dashboard anzeigen?

Das Dashboard sollte nutzbare Kapazität anzeigen, nicht nur Rohtelemetrie.

Zeigen Sie auf Anlagenebene die gesamte und verbleibende Strom-, Kühl-, Rack- und Stromkreiskapazität.

Zeigen Sie auf Zonenebene Hotspots und eingeschränkte Kühlbereiche.

Zeigen Sie auf Rack-Ebene aktuelle und Spitzenleistung, U-Belegung, Stromzuleitungen, Kühlpfad, installierte Compute-Ressourcen und aktive Warnungen.

Zeigen Sie für die Flüssigkühlung CDU-Status, Zweig-Status, Vor- und Rücklauftemperaturen, Durchfluss, Drucktrends und Leckagen.

Zeigen Sie für die Erweiterung die begrenzende Einschränkung.

Zeigen Sie für die Effizienz PUE, sofern gemessen WUE, sowie den mit Workloads verknüpften Energieverbrauch.

Ein Plattformbeispiel, das diese Anlagen- und Compute-Beziehungen zusammenführt, ist Sensaka.

Würde ich eine Hochdichte-GPU-Anlage betreiben, gäbe es für mich eine nicht verhandelbare Regel: „Leeres Rack" darf niemals mit „verfügbarer Kapazität" gleichgesetzt werden. Ein Rack ist erst dann verfügbar, wenn Platz, Strom, elektrische Redundanz, Kühlung, Netzwerk und Überwachung vollständig für den konkreten Servertyp bereitstehen, der eingesetzt werden soll.