GetUSB non sta diventando un sito dedicato all’intelligenza artificiale. Ce ne sono già parecchi, e nella maggior parte dei casi il mondo probabilmente non ha bisogno di un altro articolo che spieghi come l’AI cambierà tutto.
Quello che ha attirato la nostra attenzione è qualcosa di un po’ più pratico.
Più si approfondisce il modo in cui funziona realmente l’intelligenza artificiale, più la conversazione comincia a suonare familiare. La larghezza di banda della memoria conta. Lo storage conta. La memoria NAND flash conta. La DRAM conta. PCIe conta. Spostare enormi quantità di dati da un posto all’altro conta. Sono argomenti che seguiamo da anni, molto prima che ogni annuncio di prodotto dovesse necessariamente contenere le lettere “AI” da qualche parte nel primo paragrafo.
Negli ultimi mesi abbiamo scritto diversi articoli che osservano l’AI proprio da questa prospettiva hardware. Invece di inseguire ogni nuovo modello o annuncio software, ci siamo interessati soprattutto a quello che deve succedere sotto la superficie perché tutto il resto possa funzionare.
Guardando indietro, otto articoli in particolare si incastrano sorprendentemente bene tra loro.
Acceleratori AI portatili vs AI nel cloud: cosa dovrebbero scegliere davvero le piccole imprese?
Uno dei cambiamenti più interessanti nell’AI è che eseguire un carico di lavoro di intelligenza artificiale non significa automaticamente dover spedire tutto a un enorme data center. Gli acceleratori AI più piccoli stanno rendendo pratica l’inferenza locale per quelle applicazioni che non richiedono la potenza di calcolo di un gigantesco modello basato sul cloud.
Nel nostro articolo sugli acceleratori AI portatili rispetto all’AI nel cloud, abbiamo esaminato i compromessi tra i due approcci. L’AI nel cloud offre enormi risorse di calcolo, ma l’AI locale porta con sé alcuni vantaggi interessanti, tra cui privacy, costi operativi prevedibili, minore latenza e la possibilità di continuare a lavorare anche senza una connessione Internet.
Il punto importante non è stabilire quale approccio vinca. Il punto è che l’elaborazione AI sta iniziando a distribuirsi. Alcuni lavori appartengono al cloud. Altri hanno decisamente più senso su un computer locale o su un dispositivo edge.
Dentro un computer AI: perché i moderni sistemi di intelligenza artificiale consumano così tanta memoria
In un computer AI, la GPU si prende quasi tutta la gloria, ma un processore potente non è particolarmente utile se passa il suo tempo ad aspettare i dati.
Questo ci ha portato a guardare dentro un computer AI e a spiegare perché i moderni sistemi di intelligenza artificiale consumano così tanta memoria. I modelli AI contengono un numero enorme di parametri, e quei parametri devono essere archiviati, caricati e spostati attraverso il sistema mentre vengono eseguiti i calcoli.
Questo è uno dei temi che ricorre continuamente quando si parla di hardware AI. La potenza di calcolo è aumentata in modo impressionante, ma alimentare quella potenza di calcolo con i dati è diventato un problema a sé. Il processore può anche essere perfettamente in grado di svolgere il lavoro, ma solo se il resto del sistema riesce a stargli dietro.
La NAND non sta scomparendo, ma i server AI oggi dipendono da molto più del semplice flash
Considerando il nostro background, la memoria NAND flash era un punto abbastanza ovvio da cui iniziare a scavare.
L’AI non sta rendendo obsoleta la NAND. Anzi, è vero il contrario. Modelli, dati di training, database e informazioni generate hanno tutti bisogno di storage persistente, e la memoria flash rimane estremamente importante. Ma i server AI oggi dipendono da molto più della sola memoria NAND flash, perché la capacità di archiviazione è soltanto una parte del problema.
Un SSD può contenere una quantità enorme di informazioni, ma il processore non può eseguire calcoli a piena velocità direttamente su tutto ciò che si trova dentro un SSD. I dati devono attraversare diversi livelli della gerarchia di memoria, ciascuno con il proprio equilibrio tra capacità, velocità e costo.
L’AI ha reso questa gerarchia molto più evidente.
Che cos’è la High Bandwidth Memory e perché l’AI dipende da essa?
La High Bandwidth Memory, normalmente abbreviata in HBM, è passata dall’essere una tecnologia di memoria piuttosto specializzata a qualcosa che viene citato regolarmente nelle discussioni sull’hardware AI.
C’è una buona ragione.
Nella nostra spiegazione su che cos’è la High Bandwidth Memory e perché l’AI dipende da essa, abbiamo analizzato il problema che HBM è progettata per risolvere. Le GPU moderne possono eseguire un numero straordinario di calcoli, ma le architetture di memoria convenzionali possono diventare un collo di bottiglia quando questi processori hanno bisogno di ricevere continuamente enormi quantità di dati.
HBM colloca una memoria estremamente veloce molto vicino al processore e fornisce una larghezza di banda decisamente superiore rispetto alle configurazioni di memoria convenzionali. È costosa e complicata, ma quando si cerca di mantenere un acceleratore AI costantemente alimentato di dati, la larghezza di banda può essere importante quanto la potenza di calcolo pura.
Immaginatela come una fabbrica estremamente veloce. Rendere ancora più veloci le macchine all’interno della fabbrica serve a poco se la banchina di carico non riesce a consegnare le materie prime abbastanza rapidamente.
Perché la DRAM da sola non riesce più a stare al passo con l’AI
Nemmeno la DRAM sta scomparendo. Semplicemente, ci sono troppi dati.
Abbiamo approfondito questo punto nell’articolo su perché la DRAM da sola non riesce più a stare al passo con l’AI, perché la soluzione più ovvia a una carenza di memoria sembrerebbe essere quella di installarne semplicemente di più. Purtroppo, quando si arriva alle dimensioni dell’AI, questa soluzione diventa molto costosa molto rapidamente e continua a non risolvere tutti i problemi di larghezza di banda e capacità.
È qui che i diversi livelli dello storage AI cominciano ad avere più senso. HBM può offrire una larghezza di banda straordinaria vicino al processore. La DRAM offre pool più grandi di memoria di lavoro veloce. La NAND flash offre una capacità persistente molto maggiore. Ogni tecnologia fa qualcosa che le altre non possono fare in modo economicamente conveniente.
L’AI non sta sostituendo un tipo di memoria con un altro. Semmai, sta costringendo i computer a utilizzare contemporaneamente un numero maggiore di tipi di memoria.
Perché gli hard disk sono ancora fondamentali per l’infrastruttura AI
Questa potrebbe essere la mia contraddizione preferita di tutta la storia dell’hardware AI.
Passiamo tutto questo tempo a parlare di GPU incredibilmente sofisticate, HBM, storage NVMe e processi avanzati di produzione dei semiconduttori, e poi, un po’ più in basso nella catena, troviamo ancora una tecnologia basata su piatti magnetici che girano.
L’hard disk è decisamente ancora vivo.
In perché gli hard disk sono ancora fondamentali per l’infrastruttura AI, abbiamo analizzato l’enorme quantità di informazioni che le aziende di intelligenza artificiale devono conservare. Dataset di training, checkpoint dei modelli, backup, archivi e altri grandi volumi di dati non devono necessariamente risiedere tutti su costosa memoria flash ad alte prestazioni.
A un certo punto entra in gioco l’economia.
Quando si archiviano informazioni nell’ordine dei petabyte, il costo per terabyte diventa terribilmente importante. Gli hard disk rimangono uno dei modi più economici per offrire enormi quantità di storage online. L’AI può rappresentare una delle tecnologie informatiche più avanzate che abbiamo mai costruito, ma a quanto pare ha ancora bisogno di un armadio davvero grande dove mettere tutta la sua roba.
Perché l’AI sta spostando il calcolo più vicino allo storage
Per decenni, la normale architettura di un computer è stata piuttosto semplice: archiviare i dati da qualche parte, spostarli nella memoria, inviarli al processore e farci qualcosa.
Funziona magnificamente fino a quando la quantità di dati da spostare diventa enorme.
Il nostro articolo su perché l’AI sta spostando il calcolo più vicino allo storage esamina una risposta interessante a questo problema. Invece di spostare continuamente enormi dataset avanti e indietro all’interno di un sistema, alcune architetture stanno iniziando a spostare parte dell’elaborazione più vicino al punto in cui i dati si trovano già.
Dietro c’è una logica semplice. Spostare dati richiede tempo, larghezza di banda ed energia. Se si riesce a ridurre la distanza che i dati devono percorrere, a volte è possibile migliorare l’efficienza dell’intero sistema senza limitarsi a lanciare un processore più veloce contro il problema.
Questo è un altro caso in cui l’AI sta cambiando la definizione tradizionale delle prestazioni di un computer. Il componente più veloce non è necessariamente la risposta. A volte il miglioramento maggiore deriva semplicemente dallo spostare meno dati.
KV cache: il serbatoio di memoria AI che impedisce alle GPU di restare a secco
KV cache sembra uno di quegli argomenti che si possono tranquillamente ignorare, almeno fino a quando non ci si rende conto che aiuta a spiegare perché l’inferenza AI può consumare quantità di memoria così sorprendenti.
Quando un modello linguistico genera una risposta, non vuole ricalcolare tutto ciò che ha già elaborato ogni volta che produce il token successivo. La KV cache funziona come un serbatoio di memoria, conservando le informazioni dei calcoli precedenti in modo che il modello possa riutilizzarle.
È ottimo per le prestazioni. Ma non è gratis.
Man mano che le conversazioni diventano più lunghe e più utenti interagiscono con un modello, i requisiti della KV cache possono crescere enormemente. Ancora una volta arriviamo allo stesso problema dell’hardware AI, solo da una direzione diversa: dove mettiamo tutte queste informazioni e quanto velocemente possiamo riportarle al processore?
La KV cache è un buon esempio del motivo per cui guardare soltanto le specifiche della GPU non dice molto sulle prestazioni di un intero sistema AI.
A quanto pare torniamo sempre a memoria e storage
Quando abbiamo scritto questi articoli, non c’era alcun piano per creare una serie AI in otto parti. Gli argomenti continuavano semplicemente a incrociarsi con le tecnologie che già seguiamo.
E forse è proprio questa la parte interessante.
Togliete di mezzo chatbot, immagini generate e previsioni futuristiche, e l’intelligenza artificiale diventa un gigantesco problema di elaborazione dei dati. I dati devono essere archiviati. Devono essere spostati. Devono essere caricati in memoria. Devono raggiungere i processori abbastanza velocemente da tenere occupato hardware estremamente costoso.
Improvvisamente NAND, DRAM, HBM, hard disk, PCIe e architettura dello storage non sembrano più argomenti secondari. Fanno parte della macchina che rende possibile l’AI moderna.
E ultimamente abbiamo iniziato a guardare persino oltre l’hardware.
Il nostro articolo più recente, Il più grande collo di bottiglia dell’AI non è il software – sono gli elettricisti, porta la storia fuori dal server. Costruire un’infrastruttura AI richiede enormi quantità di energia elettrica, raffreddamento e costruzione fisica. A un certo punto puoi avere GPU, memoria e storage fermi su una banchina di carico e avere comunque un problema: qualcuno deve costruire l’infrastruttura necessaria per accendere tutto quanto.
Probabilmente è questa la direzione che continuerà a prendere la nostra copertura dell’AI. Non inseguire ogni nuovo annuncio sull’intelligenza artificiale, ma seguire i punti in cui l’AI si scontra con storage, hardware e le realtà fisiche dell’informatica.
Perché, in fondo, sono proprio queste le parti della storia che ci interessano comunque.
