I sistemi di intelligenza artificiale non rallentano generalmente a causa dei limiti di calcolo, ma piuttosto perché il sistema non riesce a spostare i dati abbastanza velocemente da mantenere il processore costantemente alimentato di informazioni.

In altre parole, il collo di bottiglia non è la capacità di elaborare i dati, ma la capacità di fornire quei dati alla velocità richiesta dai carichi di lavoro moderni dell’AI.

È qui che la High Bandwidth Memory (HBM) diventa una parte importante dell’architettura.

Per una visione più ampia su come la memoria stia evolvendo oltre il flash e perché i sistemi AI oggi dipendono da più livelli, consulta la nostra analisi principale: Il NAND non sta scomparendo, ma i server AI oggi dipendono da più del semplice flash.