GetUSB.info Logo

Posts Taggati ‘Infrastruttura AI’

Il NAND non sta scomparendo, ma i server AI oggi dipendono da più del semplice flash

Il NAND non sta scomparendo, ma i server AI ora dipendono da molto più della sola memoria flash

Da oltre due decenni, GetUSB osserva come i dati si muovono realmente, non solo come vengono raccontati dal marketing. In questo periodo abbiamo visto lo storage evolversi attraverso diversi cicli, dal declino dei dischi meccanici alla crescita della memoria flash, fino ad arrivare più recentemente a sistemi in cui lo storage non è più solo un componente passivo, ma parte integrante dell’infrastruttura stessa.

Quello che sta accadendo ora con l’infrastruttura AI sembra un altro di quei momenti di transizione, ma guidato da un tipo di pressione diverso.

La memoria NAND non sta scomparendo, e su questo non c’è davvero discussione. Rimane la base dello storage moderno e svolge quel ruolo in modo estremamente efficace. Allo stesso tempo, la domanda di NAND è aumentata rapidamente, in gran parte a causa dei carichi di lavoro AI che richiedono dataset enormi e accesso continuo a tali dati. Questa domanda sta iniziando a scontrarsi con l’offerta in modi sempre più difficili da ignorare, che si tratti di pressione sui prezzi, allocazioni più restrittive o semplicemente tempi di consegna più lunghi per implementazioni su larga scala.

Quando questo tipo di squilibrio inizia a emergere, l’industria non resta ferma ad aspettare che la situazione si normalizzi. Inizia a cercare altri modi per risolvere il problema, ed è qui che le cose cominciano a cambiare.

Leggi Tutto

Dentro un computer AI: perché i moderni sistemi di intelligenza artificiale consumano così tanta memoria

Scalabilità di un server AI da una singola macchina a rack completi e a un data center, che illustra perché i moderni sistemi di intelligenza artificiale richiedono così tanta memoria

Com’è davvero un server AI quando si apre il coperchio

In questo periodo c’è molto rumore sul fatto che l’AI utilizzi “troppa memoria”. I prezzi sono in aumento. Le forniture sono limitate. Tutti dicono che la domanda stia esplodendo. Probabilmente lo hai già letto.

Ma gran parte di ciò che viene scritto salta la parte più importante: com’è fatto fisicamente un computer AI e perché ha bisogno di così tanta memoria in primo luogo. Non attraverso grafici astratti o previsioni di mercato, ma in termini che si possano visualizzare. Una volta compreso quanto consuma davvero un singolo sistema AI, il resto della storia smette di sembrare drammatico e inizia a sembrare inevitabile.

Mi sono ritrovato a spiegarlo di recente in un luogo che non ha nulla a che fare con i data center. Ero alla scuola di mio figlio per una “giornata dei genitori”, in piedi in un’aula, e alcuni studenti hanno iniziato a fare domande sull’AI. Non domande sui chatbot. Domande vere. Com’è fatto il computer? Dove vanno i dati? Perché tutti continuano a parlare di “memoria” come se fosse l’elemento chiave?

Leggi Tutto