NHN inaugura centro de datos con 7.656 GPUs B200 refrigeradas por agua en lugar de aire

En NHN Factory X Seúl: circuitos de agua fría sustituyen el aire entre servidores GPU

4.080 GPUs en un único clúster integrado que ocupa el puesto 20 en el ranking TOP500 mundial

• En NHN Factory X Seúl: circuitos de agua fría sustituyen el aire entre servidores GPU

• 4.080 GPUs en un único clúster integrado que ocupa el puesto 20 en el ranking TOP500 mundial

 

Vista interior del centro de datos NHN Factory X Seúl [Foto=NHN Cloud]

“Si la refrigeración por aire es como soplar con la boca para enfriar rápidamente un tazón de fideos, la refrigeración por agua es como sumergir ese recipiente en agua fría.”

El 18 de agosto, en la sala de datos del piso 6 del ‘Centro de Datos NHN Factory X Seúl’ ubicado en el distrito de Yeongdeungpo, Seúl, Lee Il-jun, director de la División de Negocios Tecnológicos de NHN Cloud, explicó así la tecnología de refrigeración por agua durante la presentación del centro a la prensa. En el interior había filas de servidores en racks de color negro dispuestos a ambos lados, pero el ruido no era intenso.

NHN Cloud ha instalado 7.656 GPUs Nvidia B200 en esta instalación y ha aplicado un sistema de refrigeración por agua para disipar el calor generado por estos procesadores gráficos de alto rendimiento.
 

Instalación de entrada de agua en la parte superior de los racks de servidores de NHN Cloud Factory X Seúl [Foto=NHN Cloud]

En la sala de datos hay un máximo de 6 servidores con GPU por rack. En la parte superior de cada rack hay tuberías negras que se extienden longitudinalmente. Estas tuberías suministran fluido de refrigeración frío y recirculan el agua que ha absorbido el calor de los servidores. En la parte inferior de cada rack se encuentran las unidades de distribución de refrigeración (CDU).

El director explicó: “Los servidores con refrigeración por aire generan un ruido tan intenso que impide la conversación, mientras que en este ambiente con refrigeración por agua alcanzamos aproximadamente 60-70 decibelios”. Y agregó: “Las tuberías de color negro que se ven detrás de los servidores son por donde entra y sale el fluido refrigerante”.

Los procesadores gráficos más modernos utilizados en entrenamiento e inferencia de inteligencia artificial consumen mucha energía y generan considerable cantidad de calor, proporcional a su alto rendimiento computacional. NHN ha aplicado un sistema de refrigeración líquida directa (DLC) que extrae el calor mediante placas frías donde el refrigerante entra en contacto directo con los componentes disipadores de calor de las GPUs y procesadores centrales (CPU).

El director comentó: “Con refrigeración por aire es posible alcanzar entre 30 y 40 kW por rack, pero más allá de eso resulta muy complicado”. Agregó: “Los racks de esta instalación utilizan aproximadamente 130 kW de potencia”. Luego explicó: “Los equipos Nvidia que llegarán en el futuro requerirán aún más potencia, y refrigerar esa cantidad de calor por aire sería prácticamente imposible”.

La refrigeración por agua no reduce necesariamente los costos de manera automática. Es necesario construir infraestructura de refrigeración adicional y, dado que se utiliza agua, se requiere monitoreo continuo de fugas. Sin embargo, ofrece la ventaja de eliminar de forma efectiva el calor generado al emplazar las GPUs en alta densidad.

El director señaló: “Como los centros de datos existentes carecían de instalaciones de refrigeración por agua, fue necesario realizar obras adicionales”. Prosiguió: “En los estudios preliminares estimábamos que tomaría al menos 10 meses, pero en la práctica completamos la implementación de refrigeración por agua en 4 o 5 meses”.

 

Sala de control de NHN Cloud Factory X Seúl [Foto=NHN Cloud]

NHN Factory X Seúl es un centro de datos con 4 pisos subterráneos y 10 pisos sobre tierra. NHN Cloud utiliza los pisos 3 a 6, siendo los pisos 3 a 5 dedicados a la operación de recursos informáticos para inteligencia artificial del gobierno. Especialmente en los pisos 3 y 4, se han conectado 4.080 GPUs B200 formando un único clúster integrado. El piso 6 alberga el servicio propio de nube de IA de NHN Cloud y el espacio de operación de infraestructura GPU.

El total de GPUs B200 asciende a 7.656 unidades. Entre ellas se han construido grandes clústeres GPU: NIPA-CL1 con 4.080 unidades y NIPA-CL2 con 2.040 unidades. NIPA-CL1 integra 4.080 GPUs en un único entorno computacional, y ambos clústeres han alcanzado los puestos 20 y 40 respectivamente en el TOP500, el ranking mundial de supercomputadoras.

En la sala de control, visitada antes de abandonar el centro de datos, se veían en tiempo real en las pantallas el estado de la potencia, temperatura, refrigeración, GPUs y conectividad de red. El director explicó: “En la sala de control monitoreamos continuamente la potencia, temperatura y estado de la refrigeración”. Agregó: “Si surge alguna situación anómala, el sistema operativo se activa inmediatamente”. La sala de control funciona las 24 horas del día, con 4 personas durante el turno diurno y 2 durante la noche.



* Este artículo ha sido traducido por IA.