Intel sfida NVIDIA con l'acceleratore per l'Intelligenza Artificiale Gaudi 3

In occasione dell’evento Intel Vision 2024, Intel ha presentato uno dei sui progetti più ambiziosi in ambito AI per questo 2024. Si tratta dell’acceleratore per l’Intelligenza Artificiale Gaudi 3, una soluzione ad altissime prestazioni pensata per supportare al meglio i carichi legati all’AI generativa (ma non solo) e destinata alle aziende che puntano ad ampliare e implementare tale tecnologia nell’imminente futuro.

Come vedremo ora nel dettaglio, Intel Gaudi 3 migliora sensibilmente le prestazioni offerte dal suo predecessore, il già ottimo Gaudi 2, lanciando se vogliamo un guanto di sfida a NVIDIA che, inutile quasi ribadirlo, detiene attualmente la leadership di settore con i più recenti prodotti della gamma Hopper e Blackwell.

Intel Gaudi 3: tanta potenza per gli applicativi AI

L’annuncio di Intel si è concentrato soprattutto sui numeri crudi e sulle prestazioni di Gaudi 3 rispetto alla precedente generazione, nonché alle soluzioni della concorrenza come appunto quelle di NVIDIA. Secondo i dati forniti dall’azienda, il nuovo acceleratore AI offre prestazioni di calcolo BF16 4 volte superiori rispetto a Gaudi 2, incrementando nettamente sia la larghezza di banda della rete (sino a due volte) che quella della memoria di sistema (+50%).

Paragonato alla concorrenza, Intel Gaudi 3 risulta il 50% più veloce rispetto a NVIDA H100, in particolare nel tempo di addestramento di modelli Llama2 con 7 e 13 miliardi di parametri, ma anche sull’ormai famigerato modello GPT-3 con 175 miliardi di parametri. Sempre stando ai dati forniti Intel, Gaudi 3 batte anche NVIDIA H200 nel campo dell’inferenza su modelli Llama 7B e 70B in una percentuale del 30%.

Le migliori Offerte!

Seguici su Telegram 🛒

Cosa c’è sotto la scocca dell’acceleratore Intel Gaudi 3?

Iniziamo dicendo che Guadi 3 utilizza un nodo produttivo a 5 nanometri e integra un Compute Engine dotato di 64 Tensor Processor Core (TPC) e 8 Matrix Multiplication Engine (MME); ogni MME è capace di gestire 64.000 operazioni in parallelo e supporta calcoli FP8 ed FP16. Il reparto memoria non è da meno. Intel infatti ha previsto 96 MB di memoria SRAM riservato al chip e ben 128 GB di memoria HBM2 che garantiscono una larghezza di banda di 3,7 TB/s; per avere un termine di paragone, Gaudi 2 si fermava a 96 GB di memoria HBM2.

Anche il sottosistema di rete è all’altezza della situazione; sono presenti infatti ben 24 porte Ethernet 200 Gbps e diverse possibilità in ottica scalabilità con opzioni di mettere in piedi singoli cluster con 8.192 acceleratori. Intel Gaudi 3 sarà disponibile sia nel formato OAM (Open Accelerator Module) che nel classico formato PCI-E; le prestazioni di picco sono dichiarate in 1.835 TFLOPS, mentre riguardo ai consumi si parla rispettivamente di 900 watt (OAM) e 600 watt (formato scheda PCI-E).

Oltre all’acceleratore Intel Gaudi 3, Intel ha fornito aggiornamenti sui suoi prodotti e servizi di nuova generazione in tutti i segmenti dell’Enterprise AI; tra questi segnaliamo i nuovi processori Intel Xeon 6 Sierra Forest e Granite Rapids, tutti ottimizzati per supportare al meglio l’accelerazione per i carichi legati all’AI.

Il lancio è stato accompagnato dall’intervento del CEO Intel, Pat Gelsiger, che ha dichiarato:

Grazie al silicio, l’innovazione avanza a un ritmo senza precedenti e ogni azienda sta rapidamente adottando intelligenza artificiale. Intel sta portando l’intelligenza artificiale in ogni parte dell’azienda, dal PC al data center fino all’edge. Le nostre ultime piattaforme Gaudi, Xeon e Core Ultra offrono un insieme coerente di soluzioni flessibili su misura per soddisfare le mutevoli esigenze dei nostri clienti e partner e sfruttare le immense opportunità che si presentano per il futuro.