Raptor 3D-DRAM è la nuova memoria che sfida l’HBM con una banda di 100 TB/s

Oltre alle problematiche che sta innescando sui prezzi del mercato hardware consumer, dal punto di vista pratico non possiamo ignorare che la memoria è diventata uno dei principali colli di bottiglia per l’avanzamento dell’Intelligenza Artificiale. La crescita delle dimensioni dei modelli, insieme all’aumento dei contesti gestiti e delle richieste simultanee, sta infatti rendendo sempre più importante non soltanto la capacità disponibile, ma anche la velocità con cui i dati possono essere trasferiti verso i processori.

È proprio su questo fronte che d-Matrix ha presentato a Hot Chips 2026 una soluzione particolarmente interessante. Si chiama Raptor e utilizza una tecnologia denominata 3D-DRAM, con l’obiettivo di raggiungere livelli di banda molto superiori a quelli delle attuali memorie HBM, sacrificando però parte della capacità.

La proposta è piuttosto radicale, invece di affiancare grandi stack di memoria al die logico, come avviene nelle soluzioni HBM, d-Matrix posiziona direttamente il die di calcolo sopra la DRAM attraverso un collegamento verticale; il risultato dichiarato è una memoria da 32 GB capace di superare i 100 TB/s di banda, valore a dir poco notevole se siete pratici di CPU e prestazioni.

Non si tratta di una nuova memoria destinata alle schede video gaming, ma di una tecnologia pensata principalmente per acceleratori dedicati all’inferenza dei modelli generativi; ed è proprio il comportamento dei moderni LLM a rendere interessante questo approccio, vediamo come.

Segui TuttoTech.net su Google Discover

Raptor 3D-DRAM punta tutto sulla larghezza di banda

Il principio alla base di Raptor è abbastanza semplice. d-Matrix utilizza un die logico realizzato da TSMC con processo N4, posizionato direttamente sopra un die 3D-DRAM attraverso un’interconnessione face-to-face con passo di 36 micrometri.

La vicinanza fisica tra memoria e logica permette di ridurre drasticamente la lunghezza del collegamento necessario per trasferire i dati. Secondo i dati presentati dall’azienda, l’interfaccia verticale arriva a circa 0,37 pJ per bit, un valore che d-Matrix mette a confronto con i circa 2-3 pJ/bit delle configurazioni HBM4.

Il risultato è una soluzione con 32 GB di capacità e oltre 100 TB/s di banda; il confronto con HBM evidenzia immediatamente la filosofia di Raptor: una configurazione HBM4 da 192 GB viene indicata da d-Matrix con una banda nell’ordine dei 18 TB/s. La differenza in termini di capacità è quindi enorme a favore di HBM, mentre Raptor punta a moltiplicare la velocità di accesso ai dati.

Analizzando bene il contesto, sembra evidente che questa scelta nasca proprio dalle caratteristiche dell’inferenza dei modelli linguistici. Durante la fase di prefill, molti token vengono elaborati contemporaneamente e il carico tende a essere maggiormente legato alla capacità di calcolo; nella procedura di decode, invece, il sistema genera un token alla volta e deve accedere continuamente ai pesi del modello e alla KV cache.

È proprio in questa fase che la larghezza di banda della memoria può diventare determinante; la KV cache cresce inoltre rapidamente con l’aumento della lunghezza del contesto e del numero di utenti gestiti contemporaneamente. d-Matrix porta come esempio una configurazione con 64 utenti e un contesto da 1 milione di token, scenario nel quale la sola KV cache può arrivare a circa 935 GB; il problema, quindi, non riguarda più soltanto la capacità della memoria, ma anche la velocità con cui le informazioni vengono spostate.

La tecnologia di d-Matrix si colloca sostanzialmente tra due estremi. La SRAM offre latenze e bande estremamente elevate, ma ha un costo in termini di superficie e consumi che rende difficile utilizzarla per conservare grandi quantità di dati. L’azienda cita, per esempio, circa 300 TB/s per una coppia di acceleratori SRAM Corsair, ma con appena 4 GB complessivi.

La memoria HBM permette invece di raggiungere capacità molto più elevate, ma la sua architettura limita la quantità di banda ottenibile e richiede una considerevole quantità di energia per spostare i dati. La 3D-DRAM cerca quindi un compromesso differente, ovvero più capacità della SRAM e molta più banda rispetto all’HBM, sacrificando però la capacità complessiva rispetto agli acceleratori tradizionali.

I 100 TB/s di Raptor hanno però un prezzo: consumi e calore

Numeri come 100 TB/s rendono immediatamente evidente anche il principale problema della soluzione; muovere una quantità di dati così elevata richiede infatti una quantità considerevole di energia. Secondo i dati forniti da d-Matrix, Raptor arriva a circa 296 W soltanto per l’I/O della memoria quando opera a 100 TB/s; il valore mostra quanto sia complesso spingere così tanto la banda, anche quando l’interconnessione verticale è molto più efficiente rispetto ai collegamenti utilizzati dall’HBM.

A questo si aggiunge la gestione termica. Posizionare la logica direttamente sopra la DRAM significa infatti mettere in contatto una componente che può dissipare centinaia di watt con una memoria particolarmente sensibile alle temperature. A tal proposito, d-Matrix indica una temperatura di giunzione nell’ordine dei 105 °C nello scenario preso in considerazione e ha dovuto intervenire anche sul sistema di refresh della memoria. A 85 °C la retention indicata è di circa 32 ms, mentre a 105 °C scende a soli 4 ms, rendendo necessario un refresh molto più frequente.

Per evitare che questo comporti una perdita significativa di banda, l’azienda ha integrato una combinazione di ECC, Reed-Solomon, scrub e tecniche di gestione dei banchi di memoria. Anche l’affidabilità rappresenta un elemento delicato; Raptor dispone di 840 banchi fisici, dei quali 768 risultano disponibili dopo l’impiego di 72 banchi di riserva. La tecnologia di bank chaining permette di escludere eventuali banchi difettosi mantenendo più uniforme possibile la distribuzione dei canali.

Un’altra tecnica utilizzata è lo stream flipping, pensato per ridurre le commutazioni sull’interfaccia e quindi il consumo energetico. Secondo d-Matrix, questa soluzione permette di recuperare circa il 20% dell’energia dell’I/O senza modificare fisicamente il PHY, con un overhead indicato nell’ordine dello 0,8%.

Raptor punta a 1.000 token al secondo per l’inferenza AI

L’obiettivo finale di questa architettura è naturalmente quello di migliorare le prestazioni nell’inferenza dei modelli di grandi dimensioni. d-Matrix sostiene che Raptor possa arrivare a circa 1.000 token al secondo per utente e gestire modelli nell’ordine dei 3 trilioni di parametri con contesto da 1 milione di token. Precisiamo che si tratta però di numeri dichiarati dall’azienda e legati alla propria architettura e ai propri scenari di test, non di risultati indipendenti.

La configurazione da 32 GB per acceleratore può inoltre essere combinata in sistemi più grandi. d-Matrix parla di configurazioni da 72 schede per rack, sufficienti secondo le proprie stime per ospitare modelli di frontiera con contesti molto estesi, mentre sistemi disaggregati e configurazioni multi-rack permetterebbero di andare oltre questi limiti.

Anche in questo caso, però, l’approccio è diverso da quello seguito dagli acceleratori HBM tradizionali. Raptor non cerca di mettere tutta la memoria necessaria al modello su una singola scheda, ma di costruire un sistema nel quale banda, capacità, interconnessione e distribuzione del carico vengono progettati insieme.

La stessa d-Matrix definisce infatti questo processo come un vero lavoro di co-design tra sottosistema di memoria, fabric di comunicazione e modalità di distribuzione dei workload. L’azienda ha inoltre confrontato Raptor con una configurazione NVIDIA Rubin R200 basata su HBM4. Secondo le proprie misurazioni, la soluzione raggiungerebbe circa 32,6 GB/s per mm², contro circa 1,5 GB/s/mm² per la configurazione HBM considerata, con un vantaggio di circa 20 volte nella densità di banda.

Sul fronte dell’efficienza, d-Matrix indica circa 2,96 mW per GB/s, contro circa 40 mW per GB/s della soluzione HBM utilizzata nel confronto, per un miglioramento dichiarato di 13,5 volte. Anche qui, sono dati prodotti direttamente da d-Matrix e vanno quindi interpretati come una dimostrazione della filosofia progettuale di Raptor, più che come una conferma indipendente delle prestazioni.

Raptor 3D-DRAM non è ancora un prodotto finito

Nonostante la presentazione a Hot Chips 2026, va precisato che Raptor non è ancora un acceleratore commerciale disponibile sul mercato. La tecnologia 3D-DRAM è stata già portata sul silicio attraverso Pavehawk, un chip sperimentale utilizzato da d-Matrix per validare l’approccio, mentre Raptor rappresenta il passo successivo verso un prodotto destinato all’inferenza generativa.

Il progetto è quindi particolarmente interessante perché mette in discussione uno dei punti sui quali si è sviluppato il mercato degli acceleratori AI, ovvero che per aumentare le prestazioni sia necessario continuare a incrementare soprattutto la capacità della memoria. d-Matrix propone invece di concentrarsi sulla banda disponibile per ogni GB di memoria, partendo dal presupposto che alcuni dei carichi di lavoro più importanti per l’AI generativa siano ormai fortemente limitati dalla velocità con cui i dati vengono letti.

Raptor non è quindi semplicemente un’alternativa più veloce all’HBM; è un’architettura differente, che prova a sfruttare la memoria 3D per avvicinare il comportamento della DRAM a quello di tecnologie molto più costose e limitate come la SRAM.

Restano naturalmente diversi interrogativi, soprattutto legati a consumi, gestione termica, affidabilità, capacità per acceleratore e scalabilità dei sistemi. Sarà inoltre necessario attendere hardware commerciale e test indipendenti per capire quanto le prestazioni dichiarate possano tradursi in un vantaggio concreto nell’inferenza dei modelli AI.