45°C 냉각수로 GPU를 식힐 수 있을까?
45°C 물은 손에 꽤 뜨겁게 느껴집니다. 그래서 45°C 냉각수로 GPU를 식힌다는 말은 얼핏 모순처럼 들립니다.
NVIDIA는 Rubin이 최대 45°C 냉각수를 받아도 성능을 유지하도록 설계했다고 설명합니다. 냉각수는 최대 45°C로 랙에 들어가 GPU 열을 받은 뒤 약 55°C로 돌아옵니다.
물이 서버를 지나며 더 뜨거워졌다는 것은 GPU의 열이 냉각수로 옮겨졌다는 뜻입니다.
서버가 45°C 냉각수를 허용하면 드라이쿨러로 열을 버릴 수 있는 시간이 늘어납니다. 그만큼 전력 소비가 큰 칠러의 가동 시간은 줄어듭니다.
45°C 물이 GPU의 열을 가져가는 원리
냉각수는 식히려는 칩보다 온도가 낮으면 열을 받아갑니다. 사람 손에 차갑게 느껴질 필요는 없습니다. 연산 중인 GPU는 들어오는 냉각수보다 뜨겁기 때문에 열이 GPU에서 냉각수 쪽으로 이동합니다.
직접액체냉각(Direct Liquid Cooling, DLC)은 GPU에 콜드플레이트를 밀착시키고 그 안으로 냉각수를 흘립니다. 콜드플레이트가 GPU 열을 물로 전달하면 데워진 냉각수는 서버 밖으로 나갑니다.
Rubin에서도 냉각수는 최대 45°C로 들어가 GPU 열을 받은 뒤 약 55°C로 돌아옵니다. 여기서 45°C는 랙 입구에서 잰 냉각수 온도입니다.
다만 냉각수가 따뜻해질수록 GPU와 물의 온도차는 줄어듭니다. 같은 열을 빼내려면 콜드플레이트 구조와 냉각수 유량, 압력까지 그 조건에 맞춰야 합니다. 따라서 45°C 운전은 제조사가 해당 온도에서 성능과 안정성을 검증한 서버에 적용해야 합니다.
GPU의 열은 이렇게 데이터센터 밖으로 나갑니다
서버에서 데워진 냉각수는 CDU(Coolant Distribution Unit)로 돌아갑니다. CDU의 열교환기는 이 열을 냉각 설비 쪽의 별도 회로로 넘깁니다.
두 회로의 물은 서로 섞이지 않습니다. 냉각 설비 쪽으로 넘어간 열은 드라이쿨러나 칠러를 거쳐 바깥 공기로 빠져나갑니다.
OCP는 랙과 CDU 사이의 회로를 TCS(Technology Cooling System), CDU와 냉각 설비 사이의 회로를 FWS(Facility Water System)라고 부릅니다. GPU 열은 두 회로를 거쳐 건물 밖으로 이동합니다.
CDU로 들어오는 시설 냉각수는 랙에서 돌아온 서버 냉각수보다 차가워야 합니다. 필요한 온도차는 열교환기 성능과 유량에 따라 달라집니다.
같은 45°C라도 재는 곳이 다릅니다
NVIDIA Rubin과 ASHRAE W45는 모두 45°C를 제시하지만 측정 위치가 다릅니다.
| 표기 | 45°C를 재는 곳 | 뜻 |
|---|---|---|
| NVIDIA Rubin의 45°C | 랙으로 들어가는 서버 냉각수 | 서버가 성능을 유지하도록 검증한 최대 공급 온도 |
| ASHRAE W45 | 시설이 액체냉각 시스템으로 보내는 물 | 시설 냉각수 공급 온도가 최대 45°C인 액체냉각 환경 등급 |
제품 설명의 45°C 지원을 해석하려면 TCS와 FWS 중 어느 회로인지, 공급과 환수 중 어느 지점인지 확인해야 합니다.
따뜻한 냉각수는 칠러 가동 시간을 줄입니다
드라이쿨러는 자동차 라디에이터처럼 바깥 공기로 물의 열을 내보냅니다. 외기가 30°C인데 서버가 15°C 냉각수를 요구한다면 드라이쿨러만으로 그 온도를 만들 수 없습니다.
이때는 칠러의 압축기를 돌려 물을 더 차갑게 만들어야 합니다. 반대로 서버가 45°C 냉각수를 허용하면 냉각 설비 쪽에서도 더 따뜻한 물로 열을 내보낼 수 있습니다.
그만큼 드라이쿨러만으로 열을 버릴 수 있는 날이 늘고 칠러를 켜는 시간은 줄어듭니다.
ASHRAE는 50 MW IT 부하를 가정한 예시에서 7~12°C 냉수와 칠러를 쓰는 설계를 총 70 MW(PUE 1.40), 45°C 냉각수와 드라이쿨러를 쓰는 설계를 총 55 MW(PUE 1.10)로 비교합니다. 연간 전력 사용량은 각각 약 613 GWh와 481 GWh이며, 차이는 약 132 GWh입니다.
이 비교는 IT 부하를 50 MW로 고정한 뒤 칠러 중심의 냉수식과 드라이쿨러 중심의 45°C 설계를 비교합니다. 냉각수 온도와 냉각 설비 구성이 함께 달라지는 시스템 설계 예시입니다. 실제 절감 폭은 지역 기후와 장비 구성에 따라 달라지므로 도입 검토에서는 냉각 설비와 서버 팬의 연간 전력을 따로 계산해야 합니다.
도입 전에 확인할 조건
먼저 다음 네 항목으로 45°C 운전 가능성을 검토합니다.
| 확인할 값 | 이 값으로 알 수 있는 것 |
|---|---|
| 서버가 허용하는 최대 공급 온도와 액체냉각이 처리하는 열의 비율 | 45°C에서 성능을 유지하는지, 서버실에 공랭 부하가 얼마나 남는지 |
| 최대 부하의 공급·환수 온도, 유량과 압력 | CDU와 펌프, 배관 용량이 충분한지 |
| CDU 열교환에 필요한 두 회로의 온도차 | 서버 냉각수 조건을 맞추려면 냉각 설비 쪽 물을 몇 도로 공급해야 하는지 |
| 지역의 시간대별 외기 온도와 냉각 설비 전체 전력 | 드라이쿨러만으로 운전할 수 있는 시간과 예상 전기요금 |
서버 안의 모든 부품이 액체로 냉각되는지도 확인해야 합니다. GPU와 CPU만 액체로 식히는 서버는 메모리와 네트워크 부품을 위해 팬과 실내 공조를 계속 사용합니다. 액체가 서버 열의 대부분을 가져가므로 공기가 처리할 열과 필요한 풍량은 줄어듭니다. 남는 공랭 열부하는 액체 열 회수율을 바탕으로 계산합니다.
냉각수 성분이 배관과 콜드플레이트, 밀봉 재료에 맞는지도 장비 수명에 영향을 줍니다. 누수와 펌프 고장에 대비한 감지 장치, 예비 펌프와 안전 정지 조건도 함께 설계해야 합니다.
적정 공급 온도는 서버 성능과 신뢰성 조건을 충족하는 범위에서 연간 냉각 전력과 설비 비용을 함께 비교해 정합니다.
45°C 적용은 서버 사양과 냉각 설비가 함께 결정합니다
45°C 냉각수로도 GPU 열을 빼낼 수 있습니다. 이를 적용하려면 서버가 45°C 공급 온도를 허용하고 CDU와 냉각 설비가 해당 열부하를 처리해야 합니다.
매니코어소프트는 2012년부터 액체냉각 솔루션을 공급해 왔습니다. 2017년에는 Warm Water Cooling 방식의 완성품 서버 딥가젯을 개발해 2018년부터 본격적으로 판매했습니다. 현재는 콜드플레이트, 액체냉각 서버, CDU와 관제·운영 시스템을 직접 개발하고 냉각 설비까지 함께 설계합니다. 45°C 냉각수 적용이나 AI 인프라 구축을 검토하고 있다면 문의해 주세요. GPU 수와 목표 랙 전력처럼 지금 정해진 조건부터 알려 주시면 됩니다. 필요한 시설 조건을 함께 정리해 서버와 냉각 설비를 아우르는 인프라 설계를 돕겠습니다.
주요 참고 자료
- NVIDIA, Hotter Than a Hot Tub: The 45°C Breakthrough to Cool AI’s Biggest Machines
- ASHRAE, AI Data Center Energy Performance Framework: Integrated Design Principles
- ASHRAE, AI Data Center Energy Performance Framework: Introduction and Purpose
- ASHRAE, 2021 Thermal Guidelines for Liquid Cooling Reference Card
- Open Compute Project, Cold Plate Cooling Loop Requirements Rev 2.0
- Open Compute Project, Cooling Environments/Cold Plate