H100 8장, 640GB GPU 메모리의 진짜 의미
GPU 8장의 메모리는 어떻게 쓰느냐에 따라 한 모델의 가중치를 나눠 담기도, 같은 모델을 여러 벌 복제하기도 합니다. H100 8장 예제로 멀티 GPU 메모리와 병렬화를 설명합니다.
45°C 냉각수로 GPU를 식힐 수 있을까?
45°C 냉각수로 GPU를 식힐 수 있는 이유를 설명합니다. NVIDIA Rubin의 45°C 조건과 ASHRAE W45의 차이, CDU·드라이쿨러가 냉각 전력에 미치는 영향을 정리했습니다.
AI 오케스트레이터란? GPU 클러스터 운영의 2026년 흐름
AI 인프라 오케스트레이션을 인프라, GPU 자원·워크로드, ML 워크플로와 추론으로 나눠 설명합니다. Kubernetes DRA, Kueue, llm-d 등 2026년 동향과 오픈소스·상용제품 선택 기준을 정리했습니다.
AI 서빙: vLLM과 SGLang을 고르는 기준
LLM 서빙 엔진이 하는 일을 쉽게 설명하고, vLLM과 SGLang의 차이와 선택 기준을 최신 오픈 모델 지원 현황과 함께 정리했습니다.
