Nell'era della potenza di calcolo esponenziale dell'IA, le GPU, in quanto unità di calcolo fondamentali, si trovano ad affrontare sfide significative in termini di stabilità hardware e potenza di calcolo erogata, a causa della loro efficienza di dissipazione del calore. Il consumo energetico della GPU H200 di NVIDIA varia a seconda del modello e dello scenario di utilizzo. Il modello standard ha un TDP (Thermal Design Power) di 700 W. Il modello H200 NVL, invece, ha un TDP di 600 W, risultando più adatto ai rack aziendali con raffreddamento ad aria e minori requisiti di potenza. Durante il funzionamento effettivo, il consumo energetico varia anche in base al carico. Ad esempio, durante l'addestramento di un modello di IA, il consumo energetico dinamico dell'H200 può raggiungere circa 750 W. Con il raffreddamento a liquido e l'overclocking abilitati, il consumo energetico può superare gli 800 W. Quando otto GPU vengono installate su una singola scheda madre, il consumo energetico totale supera i 6000 W, rappresentando una sfida significativa per la soluzione di raffreddamento originale di NVIDIA. Questo articolo non solo analizza la logica di ottimizzazione del raffreddamento per questo scenario ad alta potenza, ma si basa anche sulla nostra esperienza nella personalizzazione di una soluzione per FIRMUS, azienda australiana specializzata in intelligenza artificiale (sito web ufficiale: www.firmus.com), e sulla fornitura di 3000 campioni. Ciò fornisce un riferimento pratico per la progettazione di sistemi di raffreddamento a immersione per cluster di GPU ad alta densità.
1. Contesto della soluzione: il dilemma della dissipazione del calore dei server H200 a 8 GPU e i punti deboli di Firmus
Le GPU NVIDIA H200, hardware di base per l'attuale training AI e il calcolo ad alte prestazioni, consumano in genere 750 W di potenza per scheda, con un aumento del 30% rispetto alle generazioni precedenti. Utilizzando una scheda madre con 8 GPU, il sistema deve gestire contemporaneamente una fonte di calore concentrata da 6,000 W. Inoltre, l'area del chip GPU è ridotta e la densità del flusso termico è estremamente elevata. Se la dissipazione del calore non viene gestita adeguatamente, non solo si verificherà una limitazione della frequenza hardware (con conseguente perdita di potenza di calcolo superiore al 20%), ma temperature elevate prolungate possono anche ridurre la durata della GPU. Questo punto critico è particolarmente acuto nel contesto di Firmus, un'azienda australiana specializzata in AI. In qualità di azienda specializzata nello sviluppo di algoritmi di AI industriale e nel leasing di potenza di calcolo su larga scala, i data center di Firmus si trovano nei parchi tecnologici di Singapore e Sydney. Devono soddisfare contemporaneamente tre requisiti fondamentali: distribuzione ad alta densità (oltre 20 server H200 da 8 GPU per cabinet), bassa rumorosità (limite di rumore notturno ≤40 dB) e funzionamento stabile (interruzioni dell'alimentazione di elaborazione non superiori a un'ora durante tutto l'anno). La soluzione di NVIDIA chiaramente non è riuscita a soddisfare questi requisiti.
Inizialmente, Firmus si è concentrata sulla progettazione dell'intera sala computer e sulla garanzia della stabilità del sistema di tubazioni. Tuttavia, dopo aver ricevuto il dissipatore originale per GPU H200 di NVIDIA, ha scoperto che non sarebbe stato compatibile con un sistema di raffreddamento a immersione a base di olio. La progettazione del core e le problematiche sono le seguenti:
• La struttura di raffreddamento: Un fondo camera di vapore + La combinazione di heat pipe saldate trasferisce il calore dal core della GPU alle alette tramite il processo di cambiamento di fase di evaporazione e condensazione del fluido di lavoro all'interno della camera di vapore. Tuttavia, poiché l'intero fondo era racchiuso nel refrigerante, il fluido di lavoro all'interno della camera di vapore non poteva vaporizzare, impedendo il trasferimento di calore. A pieno carico, la temperatura del core H200 superava spesso i 95 °C (avvicinandosi alla soglia di sicurezza di 100 °C) e le frequenti riduzioni di frequenza influivano sui progressi dell'addestramento dell'IA. Pertanto, dopo aver ricevuto i requisiti del progetto, i nostri ingegneri di Kenfa Tech hanno progettato una soluzione di raffreddamento a immersione più performante in un solo giorno e ne hanno infine confermato la fattibilità con il team di ricercatori di dottorato del cliente.
Soluzione di ottimizzazione: implementazione della tecnologia di raffreddamento ad olio a immersione e progettazione personalizzata Firmus
Per risolvere i colli di bottiglia delle soluzioni di raffreddamento ad aria e soddisfare i requisiti di Firmus in termini di elevata densità e bassa rumorosità, abbiamo sostituito il mezzo di dissipazione del calore con l'olio diatermico isolato. Questa soluzione personalizzata di raffreddamento ad olio a immersione sfrutta l'elevata conduttività termica e la silenziosità del liquido per risolvere problemi chiave. I dettagli progettuali specifici sono i seguenti:
2. Aggiornamento della struttura di raffreddamento del core: combinazione di piastra di base in rame + heat pipe compatibile con GPU H200 a 8 GPU.
Il tradizionale design di raffreddamento ad aria "camera di vapore + ventola" è stato sostituito con una piastra di base in rame + saldature indipendenti tubo di calore Struttura più adatta ad ambienti con raffreddamento ad olio. La compatibilità è stata ottimizzata anche per le dimensioni delle schede madri dei server Firmus:
• Piastra di base in rame: realizzata in rame T2, aderisce direttamente al core della GPU H200 (con una tolleranza di adattamento ≤0.05 mm). La conduttività termica del rame (401 W/m·K) è oltre 1000 volte superiore a quella dell'aria, assorbendo rapidamente il calore del core e prevenendo l'accumulo localizzato di alte temperature.
• Heat pipe saldati individualmente: ogni GPU è dotata di 24 heat pipe in rame privo di ossigeno da φ6 mm, collegate alla piastra di base in rame tramite un processo di brasatura sottovuoto (la resistenza termica in corrispondenza della saldatura è ≤0.02 °C/W). La velocità di cambiamento di fase del fluido di lavoro negli heat pipe è del 50% più rapida rispetto agli scenari di raffreddamento ad aria, garantendo un efficiente trasferimento di calore all'olio. La chiave di questo risultato risiede nella capacità di trasferire una grande quantità di calore alle alette in un'area localizzata, calore che viene poi dissipato dal liquido di raffreddamento.
3. Selezione dell'olio e controllo della temperatura: soddisfare i requisiti di funzionamento stabile durante tutto l'anno di Firmus
Per soddisfare i requisiti di Firmus di "funzionamento continuo tutto l'anno", è stata implementata un'ottimizzazione ridondante nella progettazione del sistema di selezione e circolazione dell'olio:
• Selezione dell'olio: olio isolante minerale di grado industriale con una conduttività termica di 1.14 W/m·K, una tensione di rottura ≥ 50 kV (per prevenire danni elettrici all'hardware) e una viscosità a bassa temperatura ≤ 20 mm²/s (per adattarsi alle basse temperature del data center di Sydney durante l'inverno e prevenire il degrado della fluidità).
Controllo della temperatura: uno scambiatore di calore esterno a doppia circolazione è progettato per mantenere una temperatura dell'olio stabile intorno ai 40 °C (con un intervallo di fluttuazione di ±2 °C). Ciò impedisce una diminuzione dell'efficienza di dissipazione del calore causata dall'aumento della temperatura dell'olio, anche quando Firmus funziona a pieno carico in estate (otto GPU che eseguono simultaneamente l'addestramento di modelli di grandi dimensioni).
• Ridondanza: lo scambiatore di calore è dotato di un gruppo pompa di riserva. In caso di guasto della pompa primaria, la pompa di riserva può essere attivata entro 0.5 secondi, soddisfacendo il requisito di affidabilità di Firmus di "nessuna interruzione di più di un'ora all'anno".
4. Consegna del campione FIRMUS: verifica su scala di 3,000 pezzi
Per garantire la stabilità della soluzione, abbiamo consegnato a FIRMUS 3,000 moduli di raffreddamento ad olio a immersione in tre lotti, soddisfacendo i requisiti di test dei loro cinque cluster di elaborazione:
• Primo lotto di 1,000 unità (ottobre 2024): utilizzato per test a pieno carico di un singolo server per verificare le temperature del core. Con un buon dissipatore di calore, l'intera temperatura della GPU è stata mantenuta a circa 68 °C. Questa soluzione è stata consegnata con successo all'utente finale, ottenendo un PUE complessivo di circa 1.145 nel data center. • Secondo lotto di 900 unità (aprile 2025): distribuito in un cluster di 100 server per testare il coordinamento del raffreddamento in un ambiente ad alta densità; anche in questo caso, le prestazioni sono state stabili, con la temperatura della GPU perfettamente mantenuta al di sotto dei 68 °C.
• Il terzo lotto di 1200 unità (settembre 2025): utilizzato in un test di carico su un cabinet a Singapore per verificare la stabilità in un ambiente ad alta temperatura di 45 °C. Anche in questo caso, la temperatura della GPU è stata mantenuta stabilmente al di sotto dei 68 °C, dimostrando pienamente che la nostra soluzione progettuale risolve perfettamente i problemi di gestione termica della GPU H200.
5. Risultati della soluzione: dai dati di laboratorio al feedback concreto di Firmus
Sia i nostri dati di prova che il feedback pratico di Firmus dimostrano i vantaggi della soluzione di raffreddamento a olio a immersione. I principali indicatori di prestazione sono i seguenti:
• Temperatura del core della GPU: stabile a circa 68 °C a pieno carico, con una riduzione di 22 °C rispetto alla precedente soluzione di raffreddamento ad aria di Firmus (oltre 90 °C). L'H200 non ha mai subito rallentamenti, aumentando la potenza di calcolo di circa il 18% (e riducendo il tempo di addestramento dei modelli di grandi dimensioni di Firmus di circa il 15%).
• Livello di rumore: Banca dati i livelli di rumore sono stati ridotti da 65 dB a meno di 10 dB (nel pieno rispetto dei limiti di rumore stabiliti dal Sydney Technology Park e dalla Singapore High-Tech Zone).
• Confronto dei consumi energetici: gli scambiatori di calore esterni del sistema di raffreddamento ad olio a immersione sono posizionati sui tetti dell'intero campus. Grazie al raffreddamento ad aria libera e alle ventole intelligenti, la temperatura di ingresso del refrigerante viene mantenuta costantemente a 45 °C prima di raggiungere la sala computer del data center. Rispetto al consumo energetico della ventola da 400 W del sistema di raffreddamento ad aria soluzione di raffreddamento, il consumo energetico aggiuntivo si riduce del 62.5%. Secondo Firmus… Calcolando una scala di 1,000 server, questo può far risparmiare elevati costi di elettricità ogni anno, rendendo più redditizio il noleggio dei server.
• Affidabilità del campione: durante il periodo di test di 12 mesi di Firmus, nessuno dei 3,000 campioni ha subito guasti di raffreddamento, con conseguente tasso di guasti pari a zero, soddisfacendo i requisiti di "elevata affidabilità".
Riepilogo e prospettive: il raffreddamento a olio a immersione apre una nuova strada ai data center AI ad alta densità
Sulla base della nostra esperienza nella personalizzazione di una soluzione per FIRMUS e nella fornitura di 3,000 campioni, abbiamo appreso che per i server GPU ad alta densità di potenza come l'NVIDIA H200 a 8 schede, il raffreddamento ad aria tradizionale fatica a superare i colli di bottiglia dovuti all'elevato flusso di calore, all'elevato rumore, alla bassa affidabilità e a un PUE di circa 1.1. Il raffreddamento a olio a immersione, attraverso una combinazione di supporti aggiornati e design personalizzato, non solo risolve i problemi di temperatura del core, ma si adatta anche alle esigenze personalizzate di diversi scenari (come l'alta densità, il basso rumore e l'elevata affidabilità di FIRMUS).
In futuro, prevediamo di collaborare con FIRMUS per sviluppare una soluzione più efficiente con piastra di raffreddamento a liquido e lega liquida per le GPU NVIDIA GB200 e GB300, ottimizzando la struttura di raffreddamento per i server GPU di nuova generazione. Il nostro obiettivo è mantenere le temperature dell'olio al di sotto dei 45 °C, mantenendo al contempo le temperature della GPU al di sotto dei 70 °C. Standardizzeremo inoltre l'esperienza pratica di FIRMUS e continueremo a fornire supporto tecnico ai loro progetti il prossimo anno, fornendo una soluzione di raffreddamento a olio a immersione riutilizzabile per un maggior numero di fabbriche di intelligenza artificiale all'estero.