Centros de datos para GPU de alta densidad: energía, racks y refrigeración líquida

Los centros de datos de GPU de alta densidad deben gestionar la capacidad como un conjunto de restricciones físicas simultáneas y no como un simple recuento de racks vacíos. Un nuevo nodo de cómputo solo se puede desplegar cuando el espacio en rack, el soporte estructural, la alimentación eléctrica A y B, el margen del circuito, la refrigeración, la capacidad de refrigeración líquida (donde sea necesaria), la conectividad de red y el monitoreo operativo están completamente listos.

Eso cambia el propio concepto de «capacidad». Una sala puede tener racks libres y, aun así, carecer de capacidad útil para GPU, ya que el recurso limitante puede ser eléctrico, térmico, mecánico o de red. El equipo de operaciones necesita saber qué restricción se agotará primero.

¿Por qué el espacio en rack ya no es una métrica de capacidad suficiente?

El espacio en rack solo indica si el equipamiento cabe físicamente. No dice nada sobre si el rack puede operar esos equipos con seguridad, y un servidor de GPU introduce una carga eléctrica y térmica enorme. Antes de la instalación, la instalación debe conocer la capacidad eléctrica restante del rack, los límites de distribución de energía, la capacidad de refrigeración, la preparación de la red, las restricciones estructurales y los requisitos propios del servidor.

El resultado es un modelo de capacidad multidimensional. Para cada rack, conviene registrar:

• Posiciones U disponibles
• Posiciones U reservadas
• Equipamiento instalado
• Potencia medida y nominal de diseño
• Capacidad de las líneas de alimentación A y B
• Margen de la PDU o del circuito derivado
• Método de refrigeración
• Margen de refrigeración
• Capacidad del ramal de refrigeración líquida cuando corresponda
• Capacidad de puertos de red
• Restricciones de peso o carga sobre el suelo donde sea relevante

El rack debe ofrecer una conclusión simple sobre si admite despliegues, pero ese resultado debe derivarse de todas estas dimensiones. El modelo operativo de origen sigue el mismo principio: la posibilidad de expansión queda determinada por la restricción que antes alcance su límite.

¿Cómo se debe monitorear la energía en el rack?

Monitorea la energía del rack desde la ruta de distribución hasta el propio bastidor, con detalle suficiente para comprender la redundancia y el margen disponible. Esto implica vigilar el suministro aguas arriba, el estado del SAI, la capacidad de la PDU, la carga del circuito derivado o del rack y las líneas A y B por separado. Registra el consumo real a lo largo del tiempo, no solo la potencia de placa.

Los valores nominales de placa son útiles para fijar límites de diseño, pero la potencia medida refleja el comportamiento operativo real. Las cargas de IA de alta densidad generan patrones de consumo cambiantes a medida que las tareas arrancan y terminan, por lo que la media de carga puede ocultar picos notables. El sistema de monitoreo debe mostrar la carga actual, el pico reciente, el umbral configurado y el margen restante.

Si un rack dispone de alimentación redundante A y B, la planificación de capacidad también debe contemplar el escenario de fallo. El diseño debe respetar la política de redundancia del centro en caso de que una de las vías quede inactiva. Al tratarse de una decisión de ingeniería de instalaciones, la plataforma debe exponer los datos en lugar de imponer una regla de redundancia fija y universal.

¿Para qué sirve un mapa de calor de densidad energética?

Un mapa de calor de densidad energética muestra dónde se concentran la demanda eléctrica y la carga térmica en la sala o en la distribución de racks. Responde a una pregunta distinta a la del consumo total de la instalación. Dos salas pueden tener exactamente la misma carga global, pero una presentar zonas calientes muy concentradas y la otra un reparto homogéneo; además, los racks de alta densidad pueden generar cuellos de botella locales antes de que la sala alcance su capacidad de diseño nominal.

Un mapa de calor puede reflejar la potencia actual por rack, la potencia máxima, la potencia por bastidor o zona, la capacidad restante, las infracciones de umbral y las áreas de alta densidad reservadas.

Desde el mapa de calor, el operador debe poder seleccionar un rack con temperatura elevada y revisar sus circuitos, la vía de refrigeración, los servidores instalados, las tareas activas y las alarmas recientes, conectando así las condiciones de la infraestructura física con las operaciones de cómputo.

¿Cómo se debe gestionar la capacidad de refrigeración?

Gestiona la refrigeración con el mismo nivel de detalle físico que el equipamiento generador de calor. Contar con capacidad de refrigeración a escala de sala no sirve si una fila, un rack o un ramal de líquido concretos están saturados.

En zonas con refrigeración por aire, monitorea datos ambientales y del sistema de climatización como las condiciones de impulsión y retorno, el rendimiento del flujo de aire, el cerramiento y las condiciones en la entrada frontal del rack según el diseño de la instalación. Las guías de NVIDIA para entornos DGX tratan en detalle la optimización del flujo de aire y el confinamiento de pasillos para bastidores de alta densidad.

En zonas con refrigeración líquida, el modelo operativo varía porque el calor se transporta mediante un circuito de refrigerante. El sistema de monitoreo debe comprender la CDU, los circuitos primario y secundario, los ramales, las válvulas, la temperatura, el caudal, la presión y la detección de fugas correspondientes a esa ruta de enfriamiento. Más allá de saber si la refrigeración está activa, el equipo necesita conocer qué racks dependen de cada componente térmico.

¿Qué es una CDU?

Una unidad de distribución de refrigerante (CDU) es la interfaz encargada de gestionar el reparto del fluido entre las distintas partes de un sistema de refrigeración líquida. El diseño exacto varía. Una CDU puede independizar el circuito de agua del edificio del bucle del sistema de refrigeración tecnológica, regular temperaturas, recircular el fluido y exponer telemetría operativa.

Para el monitoreo, identifica cada CDU como un activo individual y conéctala con los ramales y racks a los que presta servicio. Los datos útiles de una CDU incluyen temperatura de suministro y retorno, caudal, presión, estado de las bombas, posición de las válvulas, estado de alarmas y otros parámetros propios del fabricante.

Las pautas de integración BMS de NVIDIA DSX incorporan metadatos de CDU y ejemplos de áreas de proceso de suministro primario y secundario, lo que demuestra por qué las mediciones requieren contexto. Un valor de 32.5 carece de significado si la plataforma desconoce si corresponde a temperatura, presión, caudal o apertura de válvula; por eso los metadatos forman parte de la observabilidad del enfriamiento.

¿Qué se debe monitorear en los ramales de refrigeración líquida?

Monitorea cada ramal como una vía operativa independiente siempre que el diseño lo permita. Una sola CDU puede abastecer varios ramales; si uno de ellos sufre una caída de caudal, la plataforma debe señalar con precisión qué racks y servidores se ven afectados en lugar de emitir un aviso genérico de la CDU.

Las señales de mayor utilidad abarcan:

• Temperatura de suministro
• Temperatura de retorno
• Diferencial de temperatura
• Caudal
• Presión o presión diferencial
• Estado de las válvulas
• Estado de las bombas cuando aplique
• Detección de fugas
• Estado de alarma del ramal

Observa la evolución de estos valores a lo largo del tiempo, ya que un deterioro progresivo suele ser más crítico que rebasar puntualmente un umbral. Por ejemplo, un ramal cuyo caudal disminuye paulatinamente a lo largo de varios días puede exigir una intervención antes de que los servidores comiencen a reducir su frecuencia por sobrecalentamiento. El modelo de referencia separa de forma explícita el estado puntual de la CDU de las tendencias de 24 horas en temperatura de ramal y presión diferencial justo por este motivo.

¿Cómo debe operar la detección de fugas en la práctica?

La detección de fugas debe vincularse a la ubicación física, el ramal de refrigeración afectado, los racks implicados y un protocolo de respuesta aprobado. Una alarma de fuga sin localización precisa genera demoras innecesarias.

El sistema debe identificar qué cable sensor o detector se activó y a qué ramal pertenece. A continuación, debe calcular el radio de impacto potencial. ¿Qué racks reciben refrigerante de este ramal y qué cargas de trabajo se están ejecutando en ellos? ¿Se puede aislar el tramo afectado? ¿Permite la normativa de la instalación el cierre automático de válvulas o dicha maniobra exige autorización previa?

Los análisis de ASHRAE sobre resiliencia en refrigeración líquida recuerdan que la pérdida de flujo de refrigerante provoca consecuencias térmicas inmediatas en procesadores de alto consumo, por lo que el procedimiento de respuesta es clave. Las medidas de alto impacto, como el cierre de válvulas, deben estar controladas y auditadas. La automatización resulta muy útil, pero solo cuando el diseño físico y el procedimiento operativo la respaldan de forma segura.

¿Cómo comparar zonas con refrigeración por aire y zonas con refrigeración líquida?

Compara ambas opciones en función de la energía, la capacidad, la estabilidad térmica, el riesgo operativo y la compatibilidad con las cargas de trabajo, en lugar de asumir que un método es siempre superior al otro.

Mide el PUE por zona cuando los límites de medición lo permitan, además del consumo energético de climatización, el uso de agua cuando aplique, la densidad por rack soportada, la estabilidad térmica, las alarmas de enfriamiento, la carga de mantenimiento y los incidentes de parada o reducción de rendimiento.

La refrigeración líquida admite densidades que la ventilación por aire no puede sostener de igual modo. A cambio, añade bombas, unidades CDU, bucles de líquido, gestión de fugas, control químico del agua o fluidos según el diseño y modos de fallo diferentes. La elección acertada depende de los equipos de TI y de la infraestructura de la sala.

El artículo sobre cómo calcular PUE, WUE, consumo energético de GPU y coste energético por token detalla cómo convertir esa telemetría en métricas de eficiencia comparables.

¿Cómo deben influir la energía y la refrigeración en la programación de cargas de trabajo?

La capacidad de las instalaciones debe actuar como una restricción en la programación de tareas cuando las condiciones de potencia o climatización en el rack puedan comprometer la fiabilidad. El programador no necesita controlar directamente cada PDU, pero el modelo de recursos de cómputo debe saber si un nodo está físicamente disponible para recibir trabajo nuevo.

Si un rack se acerca a su límite de potencia, conviene evitar asignarle nuevas cargas intensivas. Si un ramal de refrigeración líquida presenta una advertencia, los nodos de ese ramal deberían marcarse como no disponibles. Si las tareas de mantenimiento dejan inactiva una línea de alimentación redundante, la política del centro puede reducir temporalmente la carga permitida.

Sin ese vínculo entre las instalaciones y la asignación de cómputo, el orquestador del clúster solo percibe procesadores y GPU mientras el equipo de planta detecta riesgos eléctricos o térmicos, lo que puede llevar a que ambos sistemas tomen decisiones contradictorias.

¿Cómo debe planificarse la capacidad en alta densidad?

Calcula las previsiones de cada restricción física por separado y determina cuál de ellas se agotará primero. En cuanto al espacio, proyecta las posiciones U restantes; en energía, el margen disponible en racks y circuitos; en refrigeración, el margen por zona o ramal; en redes, los puertos necesarios y la capacidad del entramado; y en refrigeración líquida, la capacidad de ramales y unidades CDU. Después, traduce esas dimensiones a número de nodos desplegables.

Una sala puede disponer de espacio físico para 40 servidores adicionales, pero contar con energía solo para 20 y refrigeración apenas para 12. Afirmar en ese caso que «quedan 40 huecos libres» induce a error. La respuesta útil es que «la configuración actual de refrigeración soporta aproximadamente 12 nodos más de estas características antes de requerir una ampliación».

Utiliza especificaciones reales de los servidores y el consumo medido siempre que sea posible. Los diferentes sistemas de GPU presentan requisitos de energía y climatización muy dispares, por lo que el tipo de nodo resulta determinante.

¿Qué comprobar antes de instalar un nuevo rack de GPU?

Aplica una lista de verificación de admisión que certifique que el rack puede sostener el equipamiento previsto. Comprueba:

• Espacio en rack y posiciones reservadas
• Requisitos estructurales y de peso
• Rutas de alimentación eléctrica A y B
• Capacidad del circuito y calibres de protección según el diseño del edificio
• Capacidad de la PDU
• Método de refrigeración
• Vía de suministro y retorno de líquido si se requiere
• Capacidad de la CDU y del ramal
• Detección de fugas
• Puertos y cables de red
• Red de administración
• Monitoreo ambiental
• Registro del activo, posición en rack, circuitos y vínculos de refrigeración en el inventario

Realiza estas comprobaciones antes de que el rack pase a ser una dependencia en producción. El artículo complementario sobre cómo una CMDB conecta servidores, GPU, contenedores, aplicaciones, servicios y propietarios aclara por qué estas dependencias físicas son cruciales tras la instalación.

¿Qué debe mostrar el panel de operaciones?

El panel debe priorizar la capacidad útil disponible, respaldada por la telemetría directa de los equipos.

A nivel de edificio, refleja la capacidad total y restante de energía, climatización, espacio y circuitos. A nivel de zona, destaca puntos calientes y dominios de refrigeración saturados. A nivel de rack, expone la potencia actual y en pico, la ocupación de unidades U, las líneas de alimentación, la ruta de enfriamiento, los equipos instalados y las advertencias activas. En refrigeración líquida, muestra el estado de las CDU, el estado de los ramales, las temperaturas de suministro y retorno, el caudal, las tendencias de presión y las alertas de fuga. Para la ampliación, destaca el factor limitante principal y, en términos de eficiencia, indica el PUE, el WUE si se mide y el gasto energético vinculado a las cargas de trabajo.

Un ejemplo de plataforma que reúne estas relaciones entre infraestructura y cómputo es Sensaka.

Si tuviera que gestionar una instalación de GPU de alta densidad, establecería una regla innegociable: un rack vacío nunca debe considerarse capacidad disponible. Un rack solo está disponible cuando el espacio, la potencia, la redundancia eléctrica, la refrigeración, la red y el monitoreo están listos para el modelo concreto de servidor que se va a desplegar.