Quando inizi a osservare da vicino come vengono davvero costruiti i sistemi di AI, c’è una conclusione molto naturale a cui le persone tendono ad arrivare e, a dire il vero, all’inizio sembra perfettamente ragionevole.

Se il NAND è troppo lento per certe parti del carico di lavoro, e perfino le architetture flash più avanzate introducono comunque abbastanza ritardo da farsi sentire, allora la risposta ovvia sembrerebbe aggiungere più DRAM. Dopotutto, la DRAM è sempre stata il livello veloce. È lì che vivono i dati attivi, risponde rapidamente e, da decenni, è la parte del sistema su cui fai affidamento quando non vuoi che il processore resti fermo ad aspettare che qualcosa arrivi.

Quindi è facile fare questa supposizione: se il problema è la velocità, allora bisogna espandere la cosa più veloce che si ha.

Questa logica regge piuttosto bene finché non entra in scena l’AI e comincia a spingere la DRAM dentro un ruolo per cui, in realtà, non è mai stata davvero progettata. Il problema non è che la DRAM sia improvvisamente diventata lenta, o obsoleta, o in qualche modo meno utile di prima. Il problema è che i carichi di lavoro AI le stanno chiedendo di fare molto di più che agire semplicemente come un veloce livello operativo tra compute e storage.

Per il quadro più ampio dietro questo cambiamento, questo articolo si collega direttamente al pezzo pillar principale qui: Il NAND non sta scomparendo, ma i server AI oggi dipendono da più del semplice flash.

La DRAM è stata costruita per la velocità, non per sostenere l’intero sistema

La prima cosa da capire è che la DRAM è sempre stata ottimizzata per la velocità e la reattività, non per contenere enormi quantità di dati su larga scala. Nell’informatica tradizionale, questa distinzione raramente era un problema perché la maggior parte dei carichi di lavoro aveva una separazione piuttosto chiara tra dati attivi e dati archiviati. Il sistema teneva in memoria ciò di cui aveva bisogno nell’immediato, richiamava il resto dallo storage quando serviva e il passaggio tra i due livelli era di solito abbastanza buono da far sì che nessuno ci pensasse troppo.

L’AI cambia questo equilibrio in modo piuttosto drastico. Invece di lavorare su blocchi contenuti di dati attivi e poi passare oltre, i modelli AI tendono a rivisitare grandi dataset più volte, a spostare informazioni in parallelo e a mantenere una porzione molto più ampia del working set a portata del livello di compute per periodi di tempo molto più lunghi. Questo significa che alla DRAM non viene più chiesto semplicemente di contenere il compito corrente. Le viene chiesto di aiutare a trattenere un enorme corpo di dati, in costante movimento, che il sistema vuole avere vicino praticamente in ogni momento.

È un lavoro completamente diverso.

Ed è anche il motivo per cui le tecnologie sopra e attorno alla DRAM sono diventate più importanti. Nel precedente articolo su che cos’è la High Bandwidth Memory e perché l’AI dipende da essa, il focus era spostare una quantità più piccola di dati critici estremamente vicino al processore in modo che la GPU resti sempre alimentata. Quell’articolo sottolinea che la vicinanza conta, ma rivela anche in modo silenzioso il problema successivo, perché una volta che il working set cresce oltre quel livello immediato, il sistema deve comunque decidere dove debba vivere tutto il resto.

Il primo muro è il costo, e si presenta molto in fretta

Uno dei motivi per cui alle persone piace l’idea del “basta aggiungere più DRAM” è che suona pulita e diretta. Nella pratica, però, diventa molto costosa molto rapidamente. La DRAM semplicemente non ha lo stesso prezzo del NAND e, quando inizi a scalare sistemi nel territorio dell’AI, non stai più parlando di aggiungere un po’ di memoria extra a un server. Stai parlando di centinaia di gigabyte, a volte molti di più, distribuiti tra numerosi nodi, rack e cluster.

A quel punto, la DRAM smette di sembrare un upgrade prestazionale e comincia ad apparire come un peso infrastrutturale. La curva dei costi non sale in modo graduale. Sale abbastanza velocemente da far sì che l’idea di usare la DRAM per risolvere ogni problema di località dei dati inizi a sgretolarsi sotto il proprio stesso peso economico.

Questo è uno dei motivi per cui lo stack della memoria sta diventando più profondo invece che più semplice. Il settore non si sta allontanando dalla DRAM perché ha smesso di essere preziosa. Si sta allontanando dall’idea che la DRAM, da sola, possa essere la risposta a ogni problema sensibile alla latenza su scala AI.

Il secondo muro è l’energia, e questo problema non dorme mai

Anche se il costo fosse più facile da giustificare, la DRAM si scontra comunque con un altro problema che diventa impossibile da ignorare una volta che i sistemi crescono abbastanza, ed è l’energia. La DRAM deve essere costantemente alimentata per mantenere il proprio stato. Fa semplicemente parte della tecnologia. Quindi, più ne aggiungi, più energia il sistema consuma semplicemente per tenere quei dati lì, pronti all’uso.

In ambienti più piccoli, questo sovraccarico può sembrare accettabile. In sistemi AI densi che funzionano in modo continuo, comincia a diventare un serio problema operativo. Più DRAM significa più assorbimento di potenza, più calore, più raffreddamento e più pressione progettuale sull’intera piattaforma. Improvvisamente la decisione non riguarda più solo la capacità di memoria. Riguarda i limiti termici, l’efficienza del data center e il fatto che l’infrastruttura di supporto possa o meno assorbire il costo di mantenere viva, ventiquattro ore su ventiquattro, una tale quantità di memoria attiva.

È anche qui che il ruolo dei livelli intermedi inizia ad avere più senso. Nel precedente articolo su Storage Class Memory, il livello mancante tra DRAM e NAND, l’idea non era sostituire la DRAM, ma alleggerire parte della pressione su di essa introducendo un livello che mantenga più dati vicini al compute senza costringere tutto a finire nel tier più costoso e più affamato di energia.

Poi c’è la realtà fisica della vicinanza

C’è un altro motivo per cui la DRAM non scala all’infinito nei sistemi AI, e ha meno a che fare con il budget e più con la fisica. La DRAM offre valore anche perché si trova relativamente vicina al processore. Più la memoria è vicina al compute, più la latenza tende a essere bassa e più l’intero sistema appare reattivo. Ma la vicinanza non è qualcosa che puoi espandere per sempre senza conseguenze.

Esistono limiti fisici alla quantità di memoria che può essere collocata vicino a una CPU o a una GPU prima che complessità del layout, lunghezza delle tracce, integrità del segnale e vincoli di packaging inizino a giocare contro di te. È esattamente per questo che è comparso il packaging di memoria avanzato. L’HBM esiste perché il posizionamento tradizionale della DRAM può spingersi solo fino a un certo punto, e una volta che il lato compute diventa abbastanza veloce, quelle distanze e quei percorsi iniziano a contare molto di più di quanto contassero un tempo.

Ma l’HBM non è nemmeno una risposta completa sul fronte della capacità. Offre una larghezza di banda incredibile, ma non un volume illimitato. Così il sistema finisce per vivere in un costante equilibrio tra ciò che può essere collocato molto vicino e ciò che deve stare più lontano. I carichi di lavoro AI mettono sotto pressione questo equilibrio molto più duramente di quanto abbiano mai fatto i sistemi convenzionali.

L’AI rende costosi anche i piccoli ritardi

Una delle cose più interessanti dell’infrastruttura AI è che mette in evidenza inefficienze che i carichi di lavoro più vecchi riuscivano per lo più a nascondere. In un sistema più tradizionale, un leggero ritardo nell’accesso ai dati potrebbe non significare molto. Il processore aspetta un po’, il compito finisce un po’ più tardi e l’utente non se ne accorge nemmeno. I sistemi AI sono molto meno indulgenti perché operano con tantissimo parallelismo e con così tanto denaro legato al livello di compute.

Se una GPU non riceve i dati nel momento in cui ne ha bisogno, non è solo un fastidio tecnico. È tempo morto costoso. Moltiplica questo problema per molti acceleratori che lavorano in parallelo e anche ritardi molto piccoli iniziano a tradursi in perdite reali di utilizzo.

Questo cambia l’obiettivo. L’obiettivo non è semplicemente avere memoria veloce. L’obiettivo è mantenere una consegna dei dati sufficientemente costante, su una scala abbastanza grande da tenere occupate tutto il tempo le parti più costose del sistema. È un requisito molto più duro, ed è proprio per questo che la sola DRAM comincia a sembrare insufficiente una volta che l’infrastruttura AI supera una certa soglia.

L’analogia del magazzino funziona ancora – semplicemente diventa più grande

Se continuiamo a usare la stessa analogia del magazzino dei precedenti articoli, la DRAM è ancora il punto di carico. È il luogo in cui avviene il lavoro attivo, dove gli articoli vengono aperti, smistati e portati all’uso immediato. Per anni, questo modello ha funzionato bene perché la quantità di attività al punto di carico era gestibile e il sistema non richiedeva che tutto fosse preparato lì nello stesso momento.

L’AI cambia la scala dell’operazione. Ora il punto di carico deve sostenere un flusso quasi continuo di materiale, con molta più attività in parallelo e molta meno tolleranza ai ritardi. A un certo punto, anche il miglior punto di carico non può continuare a espandersi semplicemente all’infinito. C’è solo un certo spazio disponibile, solo un certo numero di movimenti paralleli che possono avvenire in modo efficiente, e solo una certa quantità di inventario che puoi tenere direttamente nel punto d’uso prima che il layout stesso diventi parte del problema.

Quindi la risposta non è rendere il punto di carico infinitamente più grande. La risposta è riprogettare il flusso di lavoro attorno a esso.

È qui che il resto della gerarchia della memoria inizia a guadagnarsi il proprio posto. L’HBM mantiene i dati più sensibili al tempo proprio accanto al processore. La Storage Class Memory aiuta a rendere più fluida la transizione tra memoria attiva e storage più lento. E nel più recente articolo su perché i moderni sistemi di intelligenza artificiale consumano così tanta memoria, l’attenzione si è spostata su come anche il lato storage venga riprogettato per partecipare in modo più intelligente all’alimentazione del sistema.

Nessuno di questi livelli esiste perché la DRAM ha fallito. Esistono perché l’AI è andata oltre l’idea che un singolo livello veloce potesse sostenere da solo l’intero carico di lavoro.

Cosa significa davvero tutto questo per lo stack di memoria dell’AI

Il vero punto qui non è che la DRAM stia scomparendo, perché chiaramente non è così. La DRAM rimane una delle parti più importanti dell’intero stack. Quello che sta cambiando è il suo ruolo. Invece di essere il luogo in cui dovrebbe vivere tutto ciò che è attivo, la DRAM sta diventando il luogo in cui vivono i dati più urgenti e più sensibili al tempo, mentre altri livelli gestiscono il crescente peso di scala, costo e capacità.

È un cambiamento sottile, ma importante. Significa che l’infrastruttura AI si sta allontanando dalla vecchia idea di un semplice modello a due livelli – memoria da una parte, storage dall’altra – per andare verso qualcosa di molto più sfumato, in cui a tecnologie diverse viene chiesto di gestire la parte del carico di lavoro per cui sono più adatte.

In parole semplici, la DRAM è ancora essenziale, ma non basta più da sola. L’AI ha cambiato la dimensione del working set, la velocità del compute, il costo del ritardo e l’economia del mantenere tutto vicino. Quando tutto questo cambia nello stesso momento, anche la gerarchia della memoria deve cambiare con esso.

Dove porta tutto questo, nel prossimo passo

Una volta accettato che la DRAM non può estendersi abbastanza da contenere tutto ciò che l’AI vuole avere vicino al compute, la domanda successiva diventa piuttosto ovvia. Dove vivono davvero tutti quegli altri dati, soprattutto quando la quantità di informazioni coinvolte è troppo grande per giustificare il fatto di tenerla in memoria?

È qui che la conversazione cambia di nuovo, e una tecnologia che molti danno ormai per superata torna a contare in modo sorprendentemente importante. Perché, mentre la DRAM fatica con la scala e il flash continua a portarsi dietro i propri compromessi in termini di costo e latenza, i dischi rigidi continuano a offrire qualcosa che il resto dello stack non può sostituire facilmente: capacità pratica su volumi enormi.

Ed è esattamente per questo che la prossima parte di questa serie dovrà guardare al motivo per cui i dischi rigidi restano ancora fondamentali per l’infrastruttura AI.

L’infrastruttura AI ha un modo tutto suo di mettere in luce limiti che la maggior parte dei sistemi non incontra mai.

Negli articoli precedenti abbiamo visto come la high bandwidth memory per i carichi di lavoro AI mantenga i dati il più vicino possibile alla GPU, e come la storage class memory tra DRAM e NAND aiuti a rendere più fluido il divario tra la memoria attiva e il tradizionale storage flash. Entrambi questi livelli esistono perché il sistema non può permettersi di aspettare, nemmeno per brevi periodi di tempo, senza perdere efficienza.

Ma c’è un’altra direzione verso cui l’industria si sta muovendo, e non riguarda l’introduzione di un tipo di memoria completamente nuovo.

Si tratta invece di prendere qualcosa che già esiste, la NAND flash, e spingerla in un ruolo per cui in origine non era stata progettata.

Ed è proprio qui che l’idea della High Bandwidth Flash comincia a entrare nella conversazione.

Il problema che la NAND non è mai stata pensata per risolvere

La NAND flash è sempre stata costruita attorno a un’idea semplice: archiviare grandi quantità di dati in modo efficiente e recuperarli quando servono.

Per la maggior parte dei carichi di lavoro, questo modello funziona perfettamente. I dati restano nello storage, il sistema li richiede e l’SSD li consegna abbastanza velocemente da far sì che quasi nessuno si accorga del ritardo.

I carichi di lavoro AI cambiano questa dinamica.

Invece di letture e scritture occasionali, questi sistemi continuano a tirare dentro dati in parallelo, spesso attraverso migliaia di thread, con pochissima tolleranza verso qualunque incoerenza nella consegna. Non si tratta solo di velocità presa da sola, ma di mantenere un flusso costante di dati che tenga il lato computazionale sempre pienamente utilizzato.

È qui che il comportamento tradizionale della NAND comincia a mostrare i suoi limiti.

Anche le unità NVMe ad alte prestazioni, con code profonde e numeri di throughput molto forti, operano ancora all’interno di un modello di storage che presume raffiche di attività, non un flusso continuo di accesso simile alla memoria.

Quindi la domanda diventa: cosa succede se smetti di trattare la NAND come storage e inizi a trattarla più come parte del sistema di memoria?

Cosa significa davvero “High Bandwidth Flash”

High Bandwidth Flash non è uno standard formale né una singola categoria di prodotto.

È meglio intenderla come una direzione architetturale, ed è proprio qui che comincia a distinguersi da ciò che abbiamo trattato parlando di High Bandwidth Memory.

La High Bandwidth Memory è ancora memoria. È DRAM, costruita e posizionata per offrire un accesso estremamente rapido stando fisicamente vicino al processore. L’intero scopo dell’HBM è la prossimità e la riduzione della latenza, portare i dati il più vicino possibile al compute in modo che possano essere accessibili quasi istantaneamente.

La High Bandwidth Flash risolve un problema diverso. Accetta che la NAND si trovi più lontano nel sistema e porti con sé una latenza più elevata, e si concentra invece su come spostare quantità molto più grandi di dati in parallelo in modo che quella distanza pesi meno.

In termini semplici, l’HBM riguarda il rendere la memoria più veloce avvicinandola. La High Bandwidth Flash riguarda il far comportare lo storage in modo più veloce cambiando il modo in cui vi si accede.

Questa distinzione conta, perché l’obiettivo qui non è trasformare la NAND in DRAM. È rendere la NAND utile in situazioni in cui lo storage tradizionale altrimenti rallenterebbe il sistema.

Il cambiamento avviene a livello di sistema, non solo a livello del supporto.

Invece di un singolo SSD che gestisce le richieste nel modo tradizionale, si inizia a vedere molti canali NAND operare in parallelo, controller progettati per la concorrenza più che per la sola capacità, percorsi dati più ampi attraverso interfacce PCIe Gen5 e Gen6, e livelli software che anticipano e preparano i dati prima ancora che vengano richiesti.

Presi insieme, questi cambiamenti non eliminano la latenza intrinseca della NAND, ma riducono la frequenza con cui quella latenza diventa il fattore limitante del sistema.

Un modo diverso di pensare alla larghezza di banda

Quando si sente dire “alta larghezza di banda”, di solito si pensa subito alla velocità pura.

Ma in questo contesto, la larghezza di banda riguarda davvero quanta quantità di dati può essere spostata in una sola volta, e quanto costantemente quel movimento può essere mantenuto.

I carichi di lavoro AI non hanno bisogno solo di accesso rapido, ma di accesso prevedibile su larga scala.

Se un cluster di GPU tira fuori i dati in modo irregolare, anche piccole variazioni possono causare lo stallo di alcune parti del sistema. Moltiplica questo problema su centinaia o migliaia di nodi, e queste inefficienze iniziano a manifestarsi in modi difficili da ignorare.

La High Bandwidth Flash è un tentativo di rendere tutto questo più uniforme, non eliminando le caratteristiche della NAND, ma circondandola con abbastanza parallelismo e abbastanza intelligenza da far sì che quelle caratteristiche pesino meno sul sistema nel suo complesso.

Estendere l’analogia del magazzino

Se continuiamo a usare lo stesso modello del magazzino degli articoli precedenti, la NAND è sempre stata il piano principale di stoccaggio.

È il luogo dove si trova tutto, organizzato in file e scaffali, ottimizzato per densità ed efficienza più che per velocità di accesso.

La DRAM è la banchina di carico, dove avviene il lavoro attivo. La SCM è l’area di preparazione appena dietro.

La High Bandwidth Flash cambia il modo in cui il magazzino funziona.

Invece di un solo lavoratore che entra nei corridoi per prendere gli articoli uno alla volta, ora hai più banchine di carico aperte contemporaneamente, con diversi muletti che si muovono in parallelo, e articoli pre-posizionati in base a ciò che il sistema si aspetta di dover usare subito dopo.

Il magazzino non è cambiato in modo fondamentale, ma è cambiato il modo in cui vi si accede.

Non stai trasformando il magazzino nella banchina di carico, stai facendo in modo che il magazzino si comporti come se fosse molto più vicino a essa.

Come viene costruita nella pratica

La maggior parte di ciò che rende possibile la High Bandwidth Flash non arriva dalla NAND stessa, ma dai livelli che la circondano.

I controller oggi giocano un ruolo più importante nel modo in cui i dati vengono distribuiti, concentrandosi sulle operazioni parallele su più die e canali NAND invece di limitarsi a gestire capacità e usura. Allo stesso tempo, la larghezza di banda delle interfacce continua ad aumentare, dando a questi sistemi più spazio per muovere dati senza essere limitati dal bus.

Ciò che fa davvero la differenza più grande, però, è il modo in cui il software interagisce con l’hardware.

I dati non vengono più semplicemente recuperati quando vengono richiesti. Vengono previsti, preparati, messi in cache e organizzati in modi che si allineano al comportamento dei carichi di lavoro AI. Questo significa anticipare i modelli di accesso, mantenere i dati usati più spesso più vicini alla parte alta dello stack e ridurre al minimo la frequenza con cui il sistema deve ricadere su percorsi più lenti.

Niente di tutto questo trasforma la NAND in vera memoria, ma le permette di partecipare al sistema di memoria in modo più attivo rispetto a prima.

Quello che ancora non è

Con tutti questi progressi, è importante tenere le aspettative con i piedi per terra.

La High Bandwidth Flash non rende la NAND equivalente alla DRAM. Rimane basata su blocchi, continua ad avere una latenza più alta rispetto a qualsiasi forma di vera memoria e continua a dipendere fortemente da controller e software per funzionare bene in ambienti impegnativi.

Questi vincoli non scompaiono, vengono semplicemente gestiti in modo più efficace attraverso la progettazione del sistema.

Dove si inserisce nell’infrastruttura AI

Nelle implementazioni reali, la High Bandwidth Flash sta comparendo in sistemi che devono gestire dataset estremamente grandi senza spingere tutto dentro livelli di memoria molto costosi.

Quello che questo significa davvero, in pratica, è un sistema che si appoggia alla NAND in modo più attivo rispetto a prima, non solo come luogo in cui i dati vengono conservati, ma come parte del percorso dati operativo che alimenta le risorse di calcolo in modo più continuo.

Negli ambienti di inferenza su larga scala, per esempio, modelli e dati di contesto spesso superano ciò che può realisticamente entrare nella DRAM. Invece di forzare tutto dentro la memoria, il sistema si affida a un accesso alla NAND ad alto throughput, consentendo ai dati di fluire abbastanza velocemente da comportarsi più come un’estensione della memoria che come storage tradizionale.

Negli ambienti di training, dove i dataset vengono continuamente rivisitati e processati in parallelo, l’obiettivo si sposta verso il mantenimento di un flusso costante piuttosto che verso la gestione di raffiche isolate. La High Bandwidth Flash supporta questo approccio mantenendo attivi più percorsi dati allo stesso tempo, riducendo la probabilità che una singola richiesta diventi un collo di bottiglia.

Anche nei sistemi distribuiti basati su NVMe fabric, l’idea resta la stessa. I dati sono distribuiti su molti dispositivi e nodi, ma vengono accessi in modo coordinato, con un’enfasi su throughput e disponibilità più che sulla semplice capacità di archiviazione. La NAND continua a svolgere lo stesso lavoro fondamentale, ma il modo in cui il sistema interagisce con essa è molto più dinamico di quanto non fosse un tempo.

Il risultato finale è che la NAND smette di comportarsi come un livello distante in fondo allo stack e comincia a sembrare parte del sistema attivo, anche se non raggiunge mai del tutto le caratteristiche prestazionali della memoria.

Perché questa direzione conta

Se fai un passo indietro e guardi a quello che sta succedendo in tutti e tre questi articoli, inizia a emergere uno schema.

L’HBM avvicina la memoria al compute. La SCM riduce il divario tra memoria e storage. La High Bandwidth Flash spinge lo storage più vicino alla memoria.

Tutto sta convergendo verso lo stesso obiettivo: ridurre quanto lontano devono viaggiare i dati e quanto a lungo il sistema deve aspettarli.

Tornando al quadro più ampio

La NAND non sta scomparendo.

Semmai, sta diventando ancora più importante, perché la quantità totale di dati di cui questi sistemi hanno bisogno continua a crescere.

Quello che sta cambiando è il modo in cui la NAND viene usata.

Non è più soltanto un livello passivo in fondo allo stack. Viene tirata verso l’alto, integrata più strettamente e spinta a comportarsi in modi che assomigliano sempre di più alla memoria, anche se non lo diventerà mai del tutto.

Questo cambiamento è esattamente ciò che avevamo indicato nell’articolo originale: l’industria non ha sostituito la NAND, ci ha costruito attorno.

Cosa viene dopo

Da qui in avanti, lo stack continua a evolversi in entrambe le direzioni.

Sopra, la memoria diventa più veloce e più specializzata. Sotto, lo storage diventa più intelligente e più integrato. E da qualche parte nel mezzo, la linea che separa i due continua a diventare sempre più difficile da definire.

Nel prossimo articolo vedremo come i sistemi AI gestiscono i dati operativi in tempo reale e perché concetti come contesto e KV cache stanno iniziando a influenzare il modo in cui memoria e storage vengono progettati insieme.

Nota editoriale

La prospettiva, la direzione e l’impostazione tecnica di questo articolo sono state guidate dall’autore, sulla base dei temi specifici esplorati nel corso del pezzo e della discussione più ampia su come la NAND venga spinta più vicino al livello della memoria nell’infrastruttura AI.

L’AI è stata usata come assistente di stesura per aiutare con il ritmo, il flusso delle frasi e l’organizzazione strutturale, ma la direzione del tema, i confronti e l’intento editoriale finale sono stati determinati dall’autore.

Anche l’immagine di accompagnamento è stata creata con l’AI, non come una generica visuale stock, ma come un’illustrazione costruita appositamente per riflettere concetti specifici dell’articolo che sono difficili da comunicare con immagini convenzionali – in particolare l’idea della NAND flash che si comporta più come un livello attivo, adiacente alla memoria, all’interno di una moderna architettura dei dati.

Tutti i contenuti sono stati revisionati, rifiniti e approvati dall’autore prima della pubblicazione.