Quando inizi a osservare da vicino come vengono davvero costruiti i sistemi di AI, c’è una conclusione molto naturale a cui le persone tendono ad arrivare e, a dire il vero, all’inizio sembra perfettamente ragionevole.

Se il NAND è troppo lento per certe parti del carico di lavoro, e perfino le architetture flash più avanzate introducono comunque abbastanza ritardo da farsi sentire, allora la risposta ovvia sembrerebbe aggiungere più DRAM. Dopotutto, la DRAM è sempre stata il livello veloce. È lì che vivono i dati attivi, risponde rapidamente e, da decenni, è la parte del sistema su cui fai affidamento quando non vuoi che il processore resti fermo ad aspettare che qualcosa arrivi.

Quindi è facile fare questa supposizione: se il problema è la velocità, allora bisogna espandere la cosa più veloce che si ha.

Questa logica regge piuttosto bene finché non entra in scena l’AI e comincia a spingere la DRAM dentro un ruolo per cui, in realtà, non è mai stata davvero progettata. Il problema non è che la DRAM sia improvvisamente diventata lenta, o obsoleta, o in qualche modo meno utile di prima. Il problema è che i carichi di lavoro AI le stanno chiedendo di fare molto di più che agire semplicemente come un veloce livello operativo tra compute e storage.

Per il quadro più ampio dietro questo cambiamento, questo articolo si collega direttamente al pezzo pillar principale qui: Il NAND non sta scomparendo, ma i server AI oggi dipendono da più del semplice flash.

La DRAM è stata costruita per la velocità, non per sostenere l’intero sistema

La prima cosa da capire è che la DRAM è sempre stata ottimizzata per la velocità e la reattività, non per contenere enormi quantità di dati su larga scala. Nell’informatica tradizionale, questa distinzione raramente era un problema perché la maggior parte dei carichi di lavoro aveva una separazione piuttosto chiara tra dati attivi e dati archiviati. Il sistema teneva in memoria ciò di cui aveva bisogno nell’immediato, richiamava il resto dallo storage quando serviva e il passaggio tra i due livelli era di solito abbastanza buono da far sì che nessuno ci pensasse troppo.

L’AI cambia questo equilibrio in modo piuttosto drastico. Invece di lavorare su blocchi contenuti di dati attivi e poi passare oltre, i modelli AI tendono a rivisitare grandi dataset più volte, a spostare informazioni in parallelo e a mantenere una porzione molto più ampia del working set a portata del livello di compute per periodi di tempo molto più lunghi. Questo significa che alla DRAM non viene più chiesto semplicemente di contenere il compito corrente. Le viene chiesto di aiutare a trattenere un enorme corpo di dati, in costante movimento, che il sistema vuole avere vicino praticamente in ogni momento.

È un lavoro completamente diverso.

Ed è anche il motivo per cui le tecnologie sopra e attorno alla DRAM sono diventate più importanti. Nel precedente articolo su che cos’è la High Bandwidth Memory e perché l’AI dipende da essa, il focus era spostare una quantità più piccola di dati critici estremamente vicino al processore in modo che la GPU resti sempre alimentata. Quell’articolo sottolinea che la vicinanza conta, ma rivela anche in modo silenzioso il problema successivo, perché una volta che il working set cresce oltre quel livello immediato, il sistema deve comunque decidere dove debba vivere tutto il resto.

Il primo muro è il costo, e si presenta molto in fretta

Uno dei motivi per cui alle persone piace l’idea del “basta aggiungere più DRAM” è che suona pulita e diretta. Nella pratica, però, diventa molto costosa molto rapidamente. La DRAM semplicemente non ha lo stesso prezzo del NAND e, quando inizi a scalare sistemi nel territorio dell’AI, non stai più parlando di aggiungere un po’ di memoria extra a un server. Stai parlando di centinaia di gigabyte, a volte molti di più, distribuiti tra numerosi nodi, rack e cluster.

A quel punto, la DRAM smette di sembrare un upgrade prestazionale e comincia ad apparire come un peso infrastrutturale. La curva dei costi non sale in modo graduale. Sale abbastanza velocemente da far sì che l’idea di usare la DRAM per risolvere ogni problema di località dei dati inizi a sgretolarsi sotto il proprio stesso peso economico.

Questo è uno dei motivi per cui lo stack della memoria sta diventando più profondo invece che più semplice. Il settore non si sta allontanando dalla DRAM perché ha smesso di essere preziosa. Si sta allontanando dall’idea che la DRAM, da sola, possa essere la risposta a ogni problema sensibile alla latenza su scala AI.

Il secondo muro è l’energia, e questo problema non dorme mai

Anche se il costo fosse più facile da giustificare, la DRAM si scontra comunque con un altro problema che diventa impossibile da ignorare una volta che i sistemi crescono abbastanza, ed è l’energia. La DRAM deve essere costantemente alimentata per mantenere il proprio stato. Fa semplicemente parte della tecnologia. Quindi, più ne aggiungi, più energia il sistema consuma semplicemente per tenere quei dati lì, pronti all’uso.

In ambienti più piccoli, questo sovraccarico può sembrare accettabile. In sistemi AI densi che funzionano in modo continuo, comincia a diventare un serio problema operativo. Più DRAM significa più assorbimento di potenza, più calore, più raffreddamento e più pressione progettuale sull’intera piattaforma. Improvvisamente la decisione non riguarda più solo la capacità di memoria. Riguarda i limiti termici, l’efficienza del data center e il fatto che l’infrastruttura di supporto possa o meno assorbire il costo di mantenere viva, ventiquattro ore su ventiquattro, una tale quantità di memoria attiva.

È anche qui che il ruolo dei livelli intermedi inizia ad avere più senso. Nel precedente articolo su Storage Class Memory, il livello mancante tra DRAM e NAND, l’idea non era sostituire la DRAM, ma alleggerire parte della pressione su di essa introducendo un livello che mantenga più dati vicini al compute senza costringere tutto a finire nel tier più costoso e più affamato di energia.

Poi c’è la realtà fisica della vicinanza

C’è un altro motivo per cui la DRAM non scala all’infinito nei sistemi AI, e ha meno a che fare con il budget e più con la fisica. La DRAM offre valore anche perché si trova relativamente vicina al processore. Più la memoria è vicina al compute, più la latenza tende a essere bassa e più l’intero sistema appare reattivo. Ma la vicinanza non è qualcosa che puoi espandere per sempre senza conseguenze.

Esistono limiti fisici alla quantità di memoria che può essere collocata vicino a una CPU o a una GPU prima che complessità del layout, lunghezza delle tracce, integrità del segnale e vincoli di packaging inizino a giocare contro di te. È esattamente per questo che è comparso il packaging di memoria avanzato. L’HBM esiste perché il posizionamento tradizionale della DRAM può spingersi solo fino a un certo punto, e una volta che il lato compute diventa abbastanza veloce, quelle distanze e quei percorsi iniziano a contare molto di più di quanto contassero un tempo.

Ma l’HBM non è nemmeno una risposta completa sul fronte della capacità. Offre una larghezza di banda incredibile, ma non un volume illimitato. Così il sistema finisce per vivere in un costante equilibrio tra ciò che può essere collocato molto vicino e ciò che deve stare più lontano. I carichi di lavoro AI mettono sotto pressione questo equilibrio molto più duramente di quanto abbiano mai fatto i sistemi convenzionali.

L’AI rende costosi anche i piccoli ritardi

Una delle cose più interessanti dell’infrastruttura AI è che mette in evidenza inefficienze che i carichi di lavoro più vecchi riuscivano per lo più a nascondere. In un sistema più tradizionale, un leggero ritardo nell’accesso ai dati potrebbe non significare molto. Il processore aspetta un po’, il compito finisce un po’ più tardi e l’utente non se ne accorge nemmeno. I sistemi AI sono molto meno indulgenti perché operano con tantissimo parallelismo e con così tanto denaro legato al livello di compute.

Se una GPU non riceve i dati nel momento in cui ne ha bisogno, non è solo un fastidio tecnico. È tempo morto costoso. Moltiplica questo problema per molti acceleratori che lavorano in parallelo e anche ritardi molto piccoli iniziano a tradursi in perdite reali di utilizzo.

Questo cambia l’obiettivo. L’obiettivo non è semplicemente avere memoria veloce. L’obiettivo è mantenere una consegna dei dati sufficientemente costante, su una scala abbastanza grande da tenere occupate tutto il tempo le parti più costose del sistema. È un requisito molto più duro, ed è proprio per questo che la sola DRAM comincia a sembrare insufficiente una volta che l’infrastruttura AI supera una certa soglia.

L’analogia del magazzino funziona ancora – semplicemente diventa più grande

Se continuiamo a usare la stessa analogia del magazzino dei precedenti articoli, la DRAM è ancora il punto di carico. È il luogo in cui avviene il lavoro attivo, dove gli articoli vengono aperti, smistati e portati all’uso immediato. Per anni, questo modello ha funzionato bene perché la quantità di attività al punto di carico era gestibile e il sistema non richiedeva che tutto fosse preparato lì nello stesso momento.

L’AI cambia la scala dell’operazione. Ora il punto di carico deve sostenere un flusso quasi continuo di materiale, con molta più attività in parallelo e molta meno tolleranza ai ritardi. A un certo punto, anche il miglior punto di carico non può continuare a espandersi semplicemente all’infinito. C’è solo un certo spazio disponibile, solo un certo numero di movimenti paralleli che possono avvenire in modo efficiente, e solo una certa quantità di inventario che puoi tenere direttamente nel punto d’uso prima che il layout stesso diventi parte del problema.

Quindi la risposta non è rendere il punto di carico infinitamente più grande. La risposta è riprogettare il flusso di lavoro attorno a esso.

È qui che il resto della gerarchia della memoria inizia a guadagnarsi il proprio posto. L’HBM mantiene i dati più sensibili al tempo proprio accanto al processore. La Storage Class Memory aiuta a rendere più fluida la transizione tra memoria attiva e storage più lento. E nel più recente articolo su perché i moderni sistemi di intelligenza artificiale consumano così tanta memoria, l’attenzione si è spostata su come anche il lato storage venga riprogettato per partecipare in modo più intelligente all’alimentazione del sistema.

Nessuno di questi livelli esiste perché la DRAM ha fallito. Esistono perché l’AI è andata oltre l’idea che un singolo livello veloce potesse sostenere da solo l’intero carico di lavoro.

Cosa significa davvero tutto questo per lo stack di memoria dell’AI

Il vero punto qui non è che la DRAM stia scomparendo, perché chiaramente non è così. La DRAM rimane una delle parti più importanti dell’intero stack. Quello che sta cambiando è il suo ruolo. Invece di essere il luogo in cui dovrebbe vivere tutto ciò che è attivo, la DRAM sta diventando il luogo in cui vivono i dati più urgenti e più sensibili al tempo, mentre altri livelli gestiscono il crescente peso di scala, costo e capacità.

È un cambiamento sottile, ma importante. Significa che l’infrastruttura AI si sta allontanando dalla vecchia idea di un semplice modello a due livelli – memoria da una parte, storage dall’altra – per andare verso qualcosa di molto più sfumato, in cui a tecnologie diverse viene chiesto di gestire la parte del carico di lavoro per cui sono più adatte.

In parole semplici, la DRAM è ancora essenziale, ma non basta più da sola. L’AI ha cambiato la dimensione del working set, la velocità del compute, il costo del ritardo e l’economia del mantenere tutto vicino. Quando tutto questo cambia nello stesso momento, anche la gerarchia della memoria deve cambiare con esso.

Dove porta tutto questo, nel prossimo passo

Una volta accettato che la DRAM non può estendersi abbastanza da contenere tutto ciò che l’AI vuole avere vicino al compute, la domanda successiva diventa piuttosto ovvia. Dove vivono davvero tutti quegli altri dati, soprattutto quando la quantità di informazioni coinvolte è troppo grande per giustificare il fatto di tenerla in memoria?

È qui che la conversazione cambia di nuovo, e una tecnologia che molti danno ormai per superata torna a contare in modo sorprendentemente importante. Perché, mentre la DRAM fatica con la scala e il flash continua a portarsi dietro i propri compromessi in termini di costo e latenza, i dischi rigidi continuano a offrire qualcosa che il resto dello stack non può sostituire facilmente: capacità pratica su volumi enormi.

Ed è esattamente per questo che la prossima parte di questa serie dovrà guardare al motivo per cui i dischi rigidi restano ancora fondamentali per l’infrastruttura AI.

Celle minuscole, velocità enorme, e comunque precisione. Non è magia, è ingegneria.

A un certo punto ti capita di vedere una chiavetta USB dichiarata a 400MB al secondo e pensi subito… non può essere vero. O almeno, non può farlo in modo accurato.

Sembra troppo veloce. Troppo pulito. Troppo perfetto. Come se da qualche parte ci dovesse essere per forza un compromesso.

Quell’istinto non è sbagliato – è solo basato su come noi interpretiamo la velocità nel mondo reale. Quando le persone si muovono più in fretta, succedono errori. Quando i sistemi corrono, il lavoro diventa più disordinato. Quindi, quando senti “400MB al secondo”, il cervello lo traduce silenziosamente in “probabilmente stanno saltando qualcosa”.

Ma la memoria flash non funziona nel modo in cui immaginiamo.

La prima cosa da capire è questa: una chiavetta USB non sta scrivendo un unico flusso di dati a una velocità assurda. Sta scrivendo molti blocchi più piccoli di dati nello stesso momento, attraverso più aree di memoria, tutte al lavoro in parallelo.

Quindi, invece di avere un solo processo che si muove a velocità estrema, hai decine di processi più piccoli che avanzano tutti a un ritmo molto controllato e molto gestibile. Il risultato, visto da fuori, sembra velocissimo, ma all’interno è organizzato, distribuito e intenzionale.

Pensala come un magazzino.

Se una sola persona dovesse caricare 400 scatole su un camion ogni secondo, sarebbe il caos. Le scatole cadrebbero, verrebbero etichettate male o completamente dimenticate. È questa l’immagine mentale che la maggior parte delle persone ha quando sente “400MB al secondo”.

Ma non è affatto quello che sta succedendo.

Immagina invece 40 nastri trasportatori, ognuno con operatori che sistemano una scatola alla volta. Ogni scatola viene scansionata, verificata e posizionata correttamente prima di andare avanti. Nessuno corre. Nessuno è sopraffatto. Eppure l’output totale è enorme, perché tutto sta accadendo contemporaneamente.

È così che la memoria flash raggiunge alte velocità senza sacrificare la precisione.

All’interno della chiavetta USB, un controller agisce come un coordinatore del traffico. Divide i dati in arrivo in pezzi più piccoli e distribuisce quei pezzi su più chip di memoria flash NAND. Ogni chip scrive la propria porzione in modo indipendente, spesso in parallelo con gli altri. Il sistema è progettato per aumentare le prestazioni moltiplicando il lavoro, non spingendo un singolo percorso oltre i suoi limiti.

E qui la cosa diventa ancora più interessante.

La memoria flash non è perfetta – si corregge continuamente da sola

Quello che è facile non notare è quanto questo processo sia continuo. Ogni piccolo blocco di dati scritto nella flash viene immediatamente controllato e, se necessario, corretto prima che il sistema vada avanti. Non è una rete di sicurezza usata una sola volta – succede in continuazione, su tutte le aree di memoria, nello stesso momento in cui vengono ancora scritti nuovi dati. Il sistema scrive, verifica e corregge sempre in parallelo.

Questa è la parte che quasi nessuno realizza, ed è ciò che fa funzionare l’intero sistema.

La memoria flash NAND non è intrinsecamente perfetta. A livello fisico, memorizzare dati significa inserire carica elettrica in celle minuscole. Quelle cariche possono spostarsi leggermente. Le scritture possono finire un po’ fuori bersaglio. I piccoli errori non sono solo possibili – sono previsti.

Per questo il sistema è costruito attorno a questa realtà.

Ogni volta che i dati vengono scritti, il controller controlla il risultato. Se qualcosa non è del tutto corretto, regola e riscrive i dati. Insieme ai dati veri e propri, vengono memorizzate anche informazioni aggiuntive dedicate specificamente alla correzione degli errori. Quando i dati vengono riletti, il controller usa quelle informazioni extra per rilevare e correggere immediatamente qualsiasi incoerenza.

A livello fisico, scrivere su NAND non è una singola azione – è una sequenza rapida. Il controller applica una tensione precisa per memorizzare la carica in una cella, controlla subito se quella carica è finita esattamente dove doveva andare e, se non è così, regola e riprova. Questo accade in microsecondi, e succede più e più volte finché i dati non vengono scritti correttamente.

Tutto questo avviene così rapidamente che non lo vedi mai. Ma sta succedendo in continuazione.

In altre parole, l’accuratezza non nasce dalla perfezione. Nasce dalla verifica costante e dalla correzione continua alla velocità della macchina.

Ecco perché una chiavetta USB può spostare dati a centinaia di megabyte al secondo e mantenere comunque l’integrità. Non sta scrivendo alla cieca sperando che vada bene. Sta scrivendo, controllando, correggendo e confermando ogni singolo passaggio.

Quindi, la prossima volta che vedi una specifica come 400MB/sec, aiuta molto riformulare cosa significhi davvero quel numero.

Non è una sola cosa che si muove a una velocità impossibile. È un sistema coordinato di molte operazioni più piccole, tutte al lavoro insieme, tutte controllate e tutte progettate con l’aspettativa che gli errori accadranno – e verranno corretti immediatamente.

La flash non è veloce perché corre. È veloce perché moltiplica.

L’infrastruttura AI ha un modo tutto suo di mettere in luce limiti che la maggior parte dei sistemi non incontra mai.

Negli articoli precedenti abbiamo visto come la high bandwidth memory per i carichi di lavoro AI mantenga i dati il più vicino possibile alla GPU, e come la storage class memory tra DRAM e NAND aiuti a rendere più fluido il divario tra la memoria attiva e il tradizionale storage flash. Entrambi questi livelli esistono perché il sistema non può permettersi di aspettare, nemmeno per brevi periodi di tempo, senza perdere efficienza.

Ma c’è un’altra direzione verso cui l’industria si sta muovendo, e non riguarda l’introduzione di un tipo di memoria completamente nuovo.

Si tratta invece di prendere qualcosa che già esiste, la NAND flash, e spingerla in un ruolo per cui in origine non era stata progettata.

Ed è proprio qui che l’idea della High Bandwidth Flash comincia a entrare nella conversazione.

Il problema che la NAND non è mai stata pensata per risolvere

La NAND flash è sempre stata costruita attorno a un’idea semplice: archiviare grandi quantità di dati in modo efficiente e recuperarli quando servono.

Per la maggior parte dei carichi di lavoro, questo modello funziona perfettamente. I dati restano nello storage, il sistema li richiede e l’SSD li consegna abbastanza velocemente da far sì che quasi nessuno si accorga del ritardo.

I carichi di lavoro AI cambiano questa dinamica.

Invece di letture e scritture occasionali, questi sistemi continuano a tirare dentro dati in parallelo, spesso attraverso migliaia di thread, con pochissima tolleranza verso qualunque incoerenza nella consegna. Non si tratta solo di velocità presa da sola, ma di mantenere un flusso costante di dati che tenga il lato computazionale sempre pienamente utilizzato.

È qui che il comportamento tradizionale della NAND comincia a mostrare i suoi limiti.

Anche le unità NVMe ad alte prestazioni, con code profonde e numeri di throughput molto forti, operano ancora all’interno di un modello di storage che presume raffiche di attività, non un flusso continuo di accesso simile alla memoria.

Quindi la domanda diventa: cosa succede se smetti di trattare la NAND come storage e inizi a trattarla più come parte del sistema di memoria?

Cosa significa davvero “High Bandwidth Flash”

High Bandwidth Flash non è uno standard formale né una singola categoria di prodotto.

È meglio intenderla come una direzione architetturale, ed è proprio qui che comincia a distinguersi da ciò che abbiamo trattato parlando di High Bandwidth Memory.

La High Bandwidth Memory è ancora memoria. È DRAM, costruita e posizionata per offrire un accesso estremamente rapido stando fisicamente vicino al processore. L’intero scopo dell’HBM è la prossimità e la riduzione della latenza, portare i dati il più vicino possibile al compute in modo che possano essere accessibili quasi istantaneamente.

La High Bandwidth Flash risolve un problema diverso. Accetta che la NAND si trovi più lontano nel sistema e porti con sé una latenza più elevata, e si concentra invece su come spostare quantità molto più grandi di dati in parallelo in modo che quella distanza pesi meno.

In termini semplici, l’HBM riguarda il rendere la memoria più veloce avvicinandola. La High Bandwidth Flash riguarda il far comportare lo storage in modo più veloce cambiando il modo in cui vi si accede.

Questa distinzione conta, perché l’obiettivo qui non è trasformare la NAND in DRAM. È rendere la NAND utile in situazioni in cui lo storage tradizionale altrimenti rallenterebbe il sistema.

Il cambiamento avviene a livello di sistema, non solo a livello del supporto.

Invece di un singolo SSD che gestisce le richieste nel modo tradizionale, si inizia a vedere molti canali NAND operare in parallelo, controller progettati per la concorrenza più che per la sola capacità, percorsi dati più ampi attraverso interfacce PCIe Gen5 e Gen6, e livelli software che anticipano e preparano i dati prima ancora che vengano richiesti.

Presi insieme, questi cambiamenti non eliminano la latenza intrinseca della NAND, ma riducono la frequenza con cui quella latenza diventa il fattore limitante del sistema.

Un modo diverso di pensare alla larghezza di banda

Quando si sente dire “alta larghezza di banda”, di solito si pensa subito alla velocità pura.

Ma in questo contesto, la larghezza di banda riguarda davvero quanta quantità di dati può essere spostata in una sola volta, e quanto costantemente quel movimento può essere mantenuto.

I carichi di lavoro AI non hanno bisogno solo di accesso rapido, ma di accesso prevedibile su larga scala.

Se un cluster di GPU tira fuori i dati in modo irregolare, anche piccole variazioni possono causare lo stallo di alcune parti del sistema. Moltiplica questo problema su centinaia o migliaia di nodi, e queste inefficienze iniziano a manifestarsi in modi difficili da ignorare.

La High Bandwidth Flash è un tentativo di rendere tutto questo più uniforme, non eliminando le caratteristiche della NAND, ma circondandola con abbastanza parallelismo e abbastanza intelligenza da far sì che quelle caratteristiche pesino meno sul sistema nel suo complesso.

Estendere l’analogia del magazzino

Se continuiamo a usare lo stesso modello del magazzino degli articoli precedenti, la NAND è sempre stata il piano principale di stoccaggio.

È il luogo dove si trova tutto, organizzato in file e scaffali, ottimizzato per densità ed efficienza più che per velocità di accesso.

La DRAM è la banchina di carico, dove avviene il lavoro attivo. La SCM è l’area di preparazione appena dietro.

La High Bandwidth Flash cambia il modo in cui il magazzino funziona.

Invece di un solo lavoratore che entra nei corridoi per prendere gli articoli uno alla volta, ora hai più banchine di carico aperte contemporaneamente, con diversi muletti che si muovono in parallelo, e articoli pre-posizionati in base a ciò che il sistema si aspetta di dover usare subito dopo.

Il magazzino non è cambiato in modo fondamentale, ma è cambiato il modo in cui vi si accede.

Non stai trasformando il magazzino nella banchina di carico, stai facendo in modo che il magazzino si comporti come se fosse molto più vicino a essa.

Come viene costruita nella pratica

La maggior parte di ciò che rende possibile la High Bandwidth Flash non arriva dalla NAND stessa, ma dai livelli che la circondano.

I controller oggi giocano un ruolo più importante nel modo in cui i dati vengono distribuiti, concentrandosi sulle operazioni parallele su più die e canali NAND invece di limitarsi a gestire capacità e usura. Allo stesso tempo, la larghezza di banda delle interfacce continua ad aumentare, dando a questi sistemi più spazio per muovere dati senza essere limitati dal bus.

Ciò che fa davvero la differenza più grande, però, è il modo in cui il software interagisce con l’hardware.

I dati non vengono più semplicemente recuperati quando vengono richiesti. Vengono previsti, preparati, messi in cache e organizzati in modi che si allineano al comportamento dei carichi di lavoro AI. Questo significa anticipare i modelli di accesso, mantenere i dati usati più spesso più vicini alla parte alta dello stack e ridurre al minimo la frequenza con cui il sistema deve ricadere su percorsi più lenti.

Niente di tutto questo trasforma la NAND in vera memoria, ma le permette di partecipare al sistema di memoria in modo più attivo rispetto a prima.

Quello che ancora non è

Con tutti questi progressi, è importante tenere le aspettative con i piedi per terra.

La High Bandwidth Flash non rende la NAND equivalente alla DRAM. Rimane basata su blocchi, continua ad avere una latenza più alta rispetto a qualsiasi forma di vera memoria e continua a dipendere fortemente da controller e software per funzionare bene in ambienti impegnativi.

Questi vincoli non scompaiono, vengono semplicemente gestiti in modo più efficace attraverso la progettazione del sistema.

Dove si inserisce nell’infrastruttura AI

Nelle implementazioni reali, la High Bandwidth Flash sta comparendo in sistemi che devono gestire dataset estremamente grandi senza spingere tutto dentro livelli di memoria molto costosi.

Quello che questo significa davvero, in pratica, è un sistema che si appoggia alla NAND in modo più attivo rispetto a prima, non solo come luogo in cui i dati vengono conservati, ma come parte del percorso dati operativo che alimenta le risorse di calcolo in modo più continuo.

Negli ambienti di inferenza su larga scala, per esempio, modelli e dati di contesto spesso superano ciò che può realisticamente entrare nella DRAM. Invece di forzare tutto dentro la memoria, il sistema si affida a un accesso alla NAND ad alto throughput, consentendo ai dati di fluire abbastanza velocemente da comportarsi più come un’estensione della memoria che come storage tradizionale.

Negli ambienti di training, dove i dataset vengono continuamente rivisitati e processati in parallelo, l’obiettivo si sposta verso il mantenimento di un flusso costante piuttosto che verso la gestione di raffiche isolate. La High Bandwidth Flash supporta questo approccio mantenendo attivi più percorsi dati allo stesso tempo, riducendo la probabilità che una singola richiesta diventi un collo di bottiglia.

Anche nei sistemi distribuiti basati su NVMe fabric, l’idea resta la stessa. I dati sono distribuiti su molti dispositivi e nodi, ma vengono accessi in modo coordinato, con un’enfasi su throughput e disponibilità più che sulla semplice capacità di archiviazione. La NAND continua a svolgere lo stesso lavoro fondamentale, ma il modo in cui il sistema interagisce con essa è molto più dinamico di quanto non fosse un tempo.

Il risultato finale è che la NAND smette di comportarsi come un livello distante in fondo allo stack e comincia a sembrare parte del sistema attivo, anche se non raggiunge mai del tutto le caratteristiche prestazionali della memoria.

Perché questa direzione conta

Se fai un passo indietro e guardi a quello che sta succedendo in tutti e tre questi articoli, inizia a emergere uno schema.

L’HBM avvicina la memoria al compute. La SCM riduce il divario tra memoria e storage. La High Bandwidth Flash spinge lo storage più vicino alla memoria.

Tutto sta convergendo verso lo stesso obiettivo: ridurre quanto lontano devono viaggiare i dati e quanto a lungo il sistema deve aspettarli.

Tornando al quadro più ampio

La NAND non sta scomparendo.

Semmai, sta diventando ancora più importante, perché la quantità totale di dati di cui questi sistemi hanno bisogno continua a crescere.

Quello che sta cambiando è il modo in cui la NAND viene usata.

Non è più soltanto un livello passivo in fondo allo stack. Viene tirata verso l’alto, integrata più strettamente e spinta a comportarsi in modi che assomigliano sempre di più alla memoria, anche se non lo diventerà mai del tutto.

Questo cambiamento è esattamente ciò che avevamo indicato nell’articolo originale: l’industria non ha sostituito la NAND, ci ha costruito attorno.

Cosa viene dopo

Da qui in avanti, lo stack continua a evolversi in entrambe le direzioni.

Sopra, la memoria diventa più veloce e più specializzata. Sotto, lo storage diventa più intelligente e più integrato. E da qualche parte nel mezzo, la linea che separa i due continua a diventare sempre più difficile da definire.

Nel prossimo articolo vedremo come i sistemi AI gestiscono i dati operativi in tempo reale e perché concetti come contesto e KV cache stanno iniziando a influenzare il modo in cui memoria e storage vengono progettati insieme.

Nota editoriale

La prospettiva, la direzione e l’impostazione tecnica di questo articolo sono state guidate dall’autore, sulla base dei temi specifici esplorati nel corso del pezzo e della discussione più ampia su come la NAND venga spinta più vicino al livello della memoria nell’infrastruttura AI.

L’AI è stata usata come assistente di stesura per aiutare con il ritmo, il flusso delle frasi e l’organizzazione strutturale, ma la direzione del tema, i confronti e l’intento editoriale finale sono stati determinati dall’autore.

Anche l’immagine di accompagnamento è stata creata con l’AI, non come una generica visuale stock, ma come un’illustrazione costruita appositamente per riflettere concetti specifici dell’articolo che sono difficili da comunicare con immagini convenzionali – in particolare l’idea della NAND flash che si comporta più come un livello attivo, adiacente alla memoria, all’interno di una moderna architettura dei dati.

Tutti i contenuti sono stati revisionati, rifiniti e approvati dall’autore prima della pubblicazione.

Se sei arrivato qui cercando di deframmentare una chiavetta USB o di usare TRIM su una memoria flash USB, il motivo per cui ti sei bloccato è semplice: questi strumenti non si applicano alle chiavette USB nello stesso modo in cui si applicano agli hard disk e agli SSD.

Hai trovato questo articolo perché stai cercando di deframmentare una chiavetta USB o di usare TRIM su una memoria flash USB, e probabilmente ti sei accorto di una cosa frustrante – non esiste alcuna opzione per fare né l’una né l’altra. Nessuna impostazione, nessun tool, niente che funzioni come succede con un hard disk o con un SSD. Non è un errore, e non è qualcosa nascosto da qualche parte in un menu. Semplicemente non puoi deframmentare né usare TRIM in modo affidabile su una chiavetta USB, e una volta capito come funzionano questi dispositivi, il motivo diventa piuttosto chiaro.

Quando inizi a guardare davvero come i sistemi AI spostano i dati al loro interno, ti rendi conto abbastanza in fretta che il problema non è solo avere processori più veloci o più spazio di archiviazione, ma cosa succede tra questi livelli e quante volte il sistema è costretto ad aspettare.

Nell’articolo precedente su High Bandwidth Memory, il focus era sul mantenere i dati il più vicino possibile al processore, in modo che la GPU non resti inattiva. Quella è la parte più alta della pila ed è fondamentale, ma risolve solo una parte del problema perché non tutto può stare lì.

Non appena il set di dati cresce oltre quello che può essere contenuto in quel livello immediato, si torna a spostare dati tra DRAM e NAND, ed è proprio lì che le cose iniziano a sembrare sbilanciate. La DRAM è veloce e reattiva, ma è costosa e non si può scalare all’infinito. Il NAND è molto più pratico in termini di capacità, ma anche un buon flash introduce abbastanza latenza da diventare visibile quando il sistema lavora in modo continuo.

È esattamente in questo spazio intermedio che la Storage Class Memory trova il suo ruolo. Non come qualcosa di nuovo che sostituisce uno dei due lati, ma come un livello che rende più fluido il passaggio, evitando che il sistema continui a saltare tra molto veloce e sensibilmente più lento.

Se vuoi vedere il quadro più ampio di perché questi livelli stanno emergendo, tutto questo si collega direttamente all’analisi principale qui: il NAND non sta scomparendo, ma i server AI oggi dipendono da più del semplice flash.

I sistemi di intelligenza artificiale non rallentano generalmente a causa dei limiti di calcolo, ma piuttosto perché il sistema non riesce a spostare i dati abbastanza velocemente da mantenere il processore costantemente alimentato di informazioni.

In altre parole, il collo di bottiglia non è la capacità di elaborare i dati, ma la capacità di fornire quei dati alla velocità richiesta dai carichi di lavoro moderni dell’AI.

È qui che la High Bandwidth Memory (HBM) diventa una parte importante dell’architettura.

Per una visione più ampia su come la memoria stia evolvendo oltre il flash e perché i sistemi AI oggi dipendono da più livelli, consulta la nostra analisi principale: Il NAND non sta scomparendo, ma i server AI oggi dipendono da più del semplice flash.

Da oltre due decenni, GetUSB osserva come i dati si muovono realmente, non solo come vengono raccontati dal marketing. In questo periodo abbiamo visto lo storage evolversi attraverso diversi cicli, dal declino dei dischi meccanici alla crescita della memoria flash, fino ad arrivare più recentemente a sistemi in cui lo storage non è più solo un componente passivo, ma parte integrante dell’infrastruttura stessa.

Quello che sta accadendo ora con l’infrastruttura AI sembra un altro di quei momenti di transizione, ma guidato da un tipo di pressione diverso.

La memoria NAND non sta scomparendo, e su questo non c’è davvero discussione. Rimane la base dello storage moderno e svolge quel ruolo in modo estremamente efficace. Allo stesso tempo, la domanda di NAND è aumentata rapidamente, in gran parte a causa dei carichi di lavoro AI che richiedono dataset enormi e accesso continuo a tali dati. Questa domanda sta iniziando a scontrarsi con l’offerta in modi sempre più difficili da ignorare, che si tratti di pressione sui prezzi, allocazioni più restrittive o semplicemente tempi di consegna più lunghi per implementazioni su larga scala.

Quando questo tipo di squilibrio inizia a emergere, l’industria non resta ferma ad aspettare che la situazione si normalizzi. Inizia a cercare altri modi per risolvere il problema, ed è qui che le cose cominciano a cambiare.

Ogni anno, puntuale come un orologio, ricompaiono gli stessi articoli.

“Le migliori chiavette USB del 2026.” “Le 10 USB più veloci che puoi comprare.” “Quale USB dovresti acquistare adesso?”

Seguono sempre lo stesso schema. Qualche marchio famoso, un paio di grafici con benchmark, magari due parole sulla qualità costruttiva… e alla fine una classifica che sembra abbastanza autorevole da farti cliccare — e generare una commissione.

A prima vista sembra utile. Dopotutto, un tempo la velocità era davvero un fattore decisivo. Anche la capacità faceva la differenza. E la reputazione del brand contava molto di più.

Il problema è che queste liste cercano di risolvere qualcosa che oggi non è più il vero problema.

C’è quel momento che più o meno tutti hanno vissuto, anche se non ci fanno troppo caso. Colleghi una chiavetta USB, inizi a spostare qualche file, e qualcosa non ti torna. Non è rotta, non è morta, tecnicamente funziona, però è… strana. Magari la velocità cala senza motivo, magari si disconnette una volta e poi riparte, magari scalda più del normale. Poi il giorno dopo prendi un’altra chiavetta – stessa capacità, stesso aspetto più o meno, magari pure della stessa linea – e quella va liscia. Trasferimenti fluidi, zero problemi, nessun dramma. Fa semplicemente il suo lavoro.

La cosa interessante è che, sotto la scocca, queste due chiavette possono essere molto più simili di quanto pensi. Spesso montano esattamente la stessa famiglia di controller e lo stesso tipo di memoria NAND. Sulla carta sono praticamente identiche. Eppure, nella realtà, sembrano due prodotti completamente diversi.

La maggior parte delle persone compra una chiavetta USB come comprerebbe un pacco di penne — prende quella più economica, dà per scontato che siano tutte uguali e via.

E a dirla tutta, per trasferire file base, non è nemmeno del tutto sbagliato.

Ma se ti è mai capitato di avere problemi di integrità dei dati, prestazioni altalenanti o hai provato a fare qualcosa di più avanzato come protezione in scrittura o distribuzione controllata, allora probabilmente hai capito una cosa: le chiavette USB non si comportano tutte allo stesso modo.

La differenza non è nella plastica. E nemmeno nella NAND.

È nel controller — e più precisamente in come quel controller è integrato nel dispositivo.