NVIDIA H100 SXM5 trekt 700 W bij full FP16/BF16-training. B200 SXM volgt met 1 000 W. GB200 in een NVL36-rack 132 kW. Deze getallen liggen voorbij de grens van wat air cooling fysiek aankan — niet economisch, niet efficiënt, maar **fysiek**. Dit artikel gaat over hoe de besluitvorming verloopt wanneer u voor een 8-node H100-cluster staat of een eerste B200-deployment plant, en waarom two-phase immersion de afgelopen 18 maanden is gestorven.
Waarom air cooling boven 30 kW/rack stopt
Air cooling werkt volgens het principe: de chip geeft warmte af via koperen heatpipes → heatsink fins → ventilatorgedreven lucht → CRAC-unit koelt de lucht → herhalen. De fysische warmtetransportvergelijking:
`Q = ṁ × cp × ΔT`
Waarbij `Q` de af te voeren warmte is (W), `ṁ` het luchtdebiet (kg/s), `cp` de specifieke warmtecapaciteit van lucht (1 005 J/kg·K) en `ΔT` het verschil tussen uit- en inlaatlucht.
Voor een 30 kW-rack bij ΔT = 15 K hebt u nodig: `ṁ = 30 000 / (1 005 × 15) = 1,99 kg/s` = ~1 650 m³/u lucht
Dat betekent ventilatoren in het rack + CRAC die samen **3,5–4,5 kW alleen al voor ventilatie** verbruiken. Bij een 60 kW-rack zou u twee keer zoveel lucht nodig hebben — 3 300 m³/u, wat al 90+ dB geluid betekent en een fysieke chassisbeperking (er passen niet meer ventilatoren in). De ventilatie alleen zou 8–11 kW verbruiken. **PUE voor puur air bij een 60 kW-rack daalt feitelijk naar 1,8–2,2** — economisch onhaalbaar.
De boundary layer chip → heatsink-junction is een aanvullende beperking: bij H100 moet de chip junction temperature onder 87 °C blijven, ambient air naar CRAC max 27 °C, dus ΔT over het hele pad is 60 °C. Voor een 700 W-chip op 7 cm² die area is de warmteflux 100 W/cm². Lucht kan dat bij redelijke snelheden (3–6 m/s) niet efficiënt afvoeren — vanaf 50 W/cm² wordt liquid cooling noodzakelijk.
**Praktische grens:** boven 30 kW/rack verliest air cooling economisch zin, boven 50 kW/rack verliest het fysiek zin.
Direct-to-Chip (DTC) — hoe het echt werkt
DTC = een cold plate direct op CPU en GPU; vloeistof (meestal propyleenglycol-water 25:75 of PG 30:70) stroomt door microchannels in de cold plate. De vloeistof neemt warmte op en gaat naar een **CDU** (Coolant Distribution Unit), die de warmte aan een secundaire loop overgeeft — typisch facility water dat naar een chiller of dry cooler gaat.
Topologie in een reëel 8-node H100-cluster
- **8× DGX H100** of **8× HPE Cray EX H100** — elke node trekt 10,2 kW (8× H100 SXM5 + 2× Sapphire Rapids CPU + DPU + NIC + PSU-losses)
- **Rack TDP:** ~85 kW (8 nodes + 2× InfiniBand switch + storage chassis)
- **DTC-coverage:** GPU SXM5 + CPU. NIC + DPU blijven air-cooled (12–15 % residuaalwarmte)
- **CDU per rack:** Asetek RackCDU D2C of CoolIT CHx650, capaciteit 100–150 kW per CDU
- **Secundaire loop:** facility water 32–40 °C input → 45–55 °C output (W4 ASHRAE liquid cooling-envelope)
- **Warmteafvoer:** dry cooler in EU-klimaat (geen chiller nodig bij 32 °C+ water) — free cooling het hele jaar bij correct ontwerp
Top DTC-vendors in 2026
**Asetek** - RackCDU D2C generation 4 — meest uitgerolde DTC-ecosysteem - Cold plates voor H100, B200, GB200, Intel Xeon, AMD EPYC - CDU-capaciteit 80/120/200 kW - **Retrofitprijs:** 5 800–7 200 EUR / rack voor cold plates + manifold + quick disconnect - **CDU-prijs:** 18–28 k EUR per 120 kW-unit
**CoolIT Systems** - AHx-serie (Asetek-style) + CHx-serie (server-level integrated) - Voor OEM (HPE Cray, Lenovo Neptune, Dell PowerEdge XE9680L) - Hogere OEM-integratie, minder retrofit-kits - **Prijs:** meestal onderdeel van de OEM-serverquote, +3–4 k EUR/server t.o.v. air-variant
**Submer DTC (voorheen CoolIT Direct-to-Chip)** - Oorspronkelijk een immersion-vendor, nu ook DTC-producten - Outdoor CDU-varianten met air-cooled rejection (geen facility water nodig) - **Prijs:** 6 500–8 000 EUR / rack
**Motivair** - Specialisatie in high-density HPC-retrofits - ColdPort-technologie (voor HPE Cray EX) - **Prijs:** vooral project-based, 30–80 k EUR per cluster
Reële benchmark — 8-node DGX H100-cluster
In een project dat we hebben geaudit (greenfield AI lab bij München, volledig in productie in Q4 2025):
| Parameter | Air-cooled DGX H100 | DTC Asetek-retrofit | |-----------|---------------------|----------------------| | Server-TDP per node | 10,2 kW | 10,2 kW | | Cooling power per node | 1,4 kW (fans + CRAC-aandeel) | 0,28 kW (residual fans + CDU-pomp-aandeel) | | **PUE van het hele cluster** | **1,45** | **1,08** | | Jaarverbruik (8 nodes) | 715 MWh | 535 MWh | | Bij 0,18 EUR/kWh | **128 700 EUR/jaar** | **96 300 EUR/jaar** | | CAPEX-delta | baseline | +52 000 EUR (8 racks DTC + CDU) | | **Payback** | — | **~19 maanden** |
Bij B200 en B300 wordt dit voordeel verder versterkt (hoger TDP → hogere verhouding warmte via liquid t.o.v. air).
Immersion — single-phase reality
Single-phase immersion = de gehele server (zonder fans) ondergedompeld in een diëlektrische vloeistof (Submer SmartCoolant, ShellLubri DCT 16, Castrol DC iX). De vloeistof stroomt door de tank, komt binnen op 35–45 °C, verlaat op 45–55 °C.
Capaciteit en PUE
- **Submer SmartPodX:** 100 kW per tank, footprint ~2 m²
- **Asperitas AIC24:** 50 kW per tank
- **GRC ICEraQ Quad:** 168 kW per quad-tank
- **PUE:** 1,03–1,06 (best in industry)
Reële beperkingen
1. **Server-formfactor.** Niet elke server gaat in immersion. Een NVIDIA HGX H100 8-GPU baseboard werkt, maar de fans moeten verwijderd worden en de thermal interface opnieuw met een immersion-specifieke gap pad (ShellLubri SC2). Sommige OEM's (Supermicro, Inspur) bieden immersion-ready varianten; HPE Cray EX niet.
2. **Onderhoud.** Een server uit de tank halen betekent: uitschakelen, 10–15 minuten wachten op drip-off, server met de kraan ophijsen (typisch 30–50 kg + 8–12 kg vloeistof erin), naar een servicetafel brengen. De operatie duurt 45–90 minuten in plaats van 5 minuten zoals bij air-cooled hot swap.
3. **Bekabeling.** Optische kabels met PVC-jacket degraderen in sommige vloeistoffen. Vereist LSZH (Low Smoke Zero Halogen) of PTFE-jacket. Kostenopslag op bekabeling 1,5–2× t.o.v. standaard.
4. **CAPEX:** 25–40 k EUR / rack (tank + vloeistof + CDU-secundaire loop). Voor een 8-rack cluster is het verschil 200–320 k EUR t.o.v. DTC.
Wanneer single-phase immersion wint
- **Extreme dichtheid.** GB200 NVL72 in greenfield — 132 kW in één NVL-rack; DTC zou een custom CDU-sizing vereisen, immersion absorbeert dit natively.
- **Edge deployment met ruimtebeperking.** 200 kW IT-load in een 20 ft-container — air cooling past niet, DTC past maar krap, immersion is het compactst.
- **Greenfield met 5+ jaar horizon.** De CAPEX-delta wordt geamortiseerd via OPEX (PUE 1,05 vs 1,08).
Voor brownfield retrofit van een bestaand DC met air-infrastructuur is single-phase immersion **bijna altijd een slechte keuze** — formfactor change + service-onderbreking + cabling rebuild + retraining voor onderhoud.
Two-phase immersion — waarom het stierf
Two-phase = de vloeistof gaat bij contact met de hete chip **over in gas**, condenseert op een koelslang boven de tank en druppels vallen terug. Het meest efficiënte fysische warmtetransport-principe — passief, geen mechanisch bewegende delen in de primaire loop.
In 2020–2023 werd two-phase als SOTA beschouwd: PUE 1,02, capaciteit 200–300 kW per tank, geen mechanische beweging in de primaire loop. **3M Novec 7100, 7500, 649** waren de vlaggenschip-vloeistoffen — perfluorinated, met goede thermische eigenschappen, milieukundig "veilig".
Realiteit 2024–2026: - **December 2022:** 3M kondigde het einde van productie van alle PFAS (per- and polyfluoroalkyl substances) per eind 2025 aan. - **2023:** EU REACH-voorstel voor PFAS-restrictie (meer dan 10 000 chemicaliën, inclusief Novec). De definitieve restrictie wordt waarschijnlijk 2026–2028 van kracht. - **2024:** De prijs van Novec 7100 steeg van 65 EUR/kg naar 180–220 EUR/kg, beschikbaarheid beperkt tot bestaande klanten. - **2025–2026:** Geen grote vendor (Submer, Asperitas, GRC) verkoopt nog een nieuw two-phase systeem. Bestaande installaties worden onderhouden, maar de roadmaps zijn overwegend single-phase.
Vervangende vloeistoffen (LiquidCool LCS-CF-serie, Engineered Fluids ElectroCool) zitten in pilotfases. Voor een productioneel greenfield cluster in 2026 is **two-phase geen realistische keuze** — vendor support, regelgevingsrisico en lange-termijn vloeistofbeschikbaarheid.
CDU-sizing — een vuistregel die iedereen toepast
De CDU (Coolant Distribution Unit) is het hart van een DTC-deployment. Een warmtewisselaar tussen de primaire (server-) loop en de secundaire (facility water-) loop. Pompen zitten in de primaire loop.
Vuistregel
- **Per-rack CDU:** 1× CDU per rack bij 50–100 kW per rack. Single point of failure per rack, maar eenvoudige architectuur. Asetek RackCDU D2C 50.
- **Per-row CDU:** 1× CDU voor 4–6 racks, in totaal 200–500 kW. Beter economisch schalen, maar een failure raakt de hele row. Asetek CoolIT CHx650.
- **Central CDU:** 1× CDU voor het hele DC (1+ MW). Beste economische schaling, vereist gesofistikeerde plumbing met duizenden quick disconnects.
N+1-redundantie
Voor een AI-training-cluster dat 24/7 draait en waar een verloren checkpoint 8–24 uur training kost, is CDU-redundantie **verplicht**. N+1 betekent: bij een 100 kW-load hebt u 2× 100 kW CDU in active-passive, of 3× 50 kW CDU in active-active load sharing.
CAPEX-delta: +35–60 % op cooling-infrastructuur. Terugverdientijd: de eerste CDU-pump-failure (typisch elke 5–7 jaar bij standaard onderhoud).
Leak-risico en verzekering
Meest gestelde zorg van klanten: "wat als de vloeistof op de servers lekt?"
Realiteit na 5 jaar DTC-uitrollen (data van twee verzekeraars die aggregated claims-data voor EU AI-infrastructuur deelden): - **Leak-frequentie:** 0,3–0,8 incidenten per 1 000 rack-jaar - **Schade per incident:** doorgaans < 5 % van de apparatuur (quick disconnect voorkomt catastrofaal lekken) - **Mean repair time:** 2–6 uur (drain, replace coupling, refill, test)
Ter vergelijking: een air-cooled DC heeft eigen failure modes (CRAC-failure, condensaatlek uit evaporator coils, ventilatiestop). Geaggregeerde downtime over 5 jaar is vergelijkbaar of lager bij een goed ontworpen DTC.
**Verzekering:** Allianz, Munich Re en AXA hebben sinds 2023 DTC-specifieke policies. De premie-delta t.o.v. air-cooled is ~3–8 % in de EU in 2026 — fors gedaald van de oorspronkelijke 15–20 % in 2020. Vereist: leak detection sensors (Aquasense, EcoFlux), automatische shut-off valves per rack, drip trays onder de CDU, gedocumenteerd emergency response plan.
Beslissingsraamwerk in 15 minuten
1. **Welke GPU en welke dichtheid?** - H100 SXM5 single rack (8 GPU, ~85 kW) → DTC verplicht - B200 8-GPU-baseboard (~120 kW per rack) → DTC of immersion - GB200 NVL36/NVL72 (132–192 kW per rack) → DTC met een hoge-capaciteit-CDU of single-phase immersion 2. **Brownfield retrofit of greenfield?** - Brownfield → DTC (bestaande servers kunnen geretrofit of vervangen worden door DTC-varianten), geen tank-verbouwing - Greenfield met 5+ jaar horizon → overweeg immersion bij dichtheid > 100 kW/rack 3. **Welke onderhoudsbelasting kan het team aan?** DTC-onderhoud lijkt op air-cooled (hot swap blijft). Immersion vereist 6–12 maanden technische upskilling. 4. **Welke facility water-input?** Hebt u een bron < 35 °C (dry cooler in EU-klimaat, of een kleine chiller) → DTC ideaal. Niet → reken op chiller-plant-CAPEX. 5. **Welk PUE-target?** 1,08–1,12 → DTC. 1,03–1,06 → single-phase immersion (met hogere CAPEX-meerprijs). 6. **Two-phase immersion?** Schrap. Kom over 2 jaar terug, als non-PFAS-alternatieven productie-rijp worden.
Praktisch advies bij de tendering
Eis in een offerte voor AI-cluster cooling:
- **Per-node thermal envelope:** GPU junction temp budget, CPU junction temp budget, residual air cooling voor NIC/DPU
- **CDU-sizing met 30 % reserve** voor toekomstige GPU-upgrade (B300, R100)
- **Facility water-specificatie:** input/output temperatuur, flow rate, water chemistry (pH, conductivity, biofouling protection)
- **Service-runbook:** quick disconnect procedure, leak response, CDU-pump-failover-test
- **Verzekering + garantie:** hoeveel leak-incidenten dekt de vendor-garantie, welke verzekeringspremie raadt de leverancier aan
Bij een audit van een DGX H100-deployment in 2025 troffen we een klant-leverancier aan die een 80 kW-CDU bood voor 85 kW-racks. Bij full load (training Llama 3.3 405B fine-tune) draaide de CDU op 106 % van zijn capaciteit, het wateruitstroom-temperatuur ging van 50 °C naar 62 °C, de GPU junction temperature steeg tot 84 °C — 3 °C onder thermal throttle. Marginaal. Bij een zomerpiek met warm facility water (39 °C input) zou er thermal throttling optreden. **30 % reserve in CDU-sizing is non-negotiable.**
---
*Wij doen AI-cluster-design + cooling-architectuur voor 8-node en grotere deployments, van H100 via B200 naar GB200. Plant u een cluster boven 500 kW IT-load, dan loopt de eerste design-workshop (4 uur) de DTC vs immersion-beslissing voor uw concrete build-out door met cijfermatige PUE- en CAPEX-vergelijking.*