In questi giorni Meta (lo ricordo, si tratta della società un tempo nota come Facebook) ha presentato l’AI Research SuperCluster (RSC), uno dei supercomputer AI più potenti al mondo, che quando sarà ultimato – verso la metà del 2022 – sarà in assoluto il più potente. L’azienda ha affermato che l’enorme potenza computazionale sarà utilizzata per addestrare molteplici sistemi di intelligenza artificiale, dagli algoritmi di moderazione dei contenuti alle simulazioni nel metaverso.
Meta afferma inoltre che il nuovo supercomputer gli consentirà di addestrare grandi modelli di linguaggio (LLM o foundation models), che richiedono molta potenza di calcolo, tre volte più velocemente di prima. Una volta completato, il computer sarà in grado di addestrare un grande modello di linguaggio con decine di miliardi di parametri in sole tre settimane, mentre prima ci sarebbero volute nove settimane. L’azienda punta ad addestrare modelli anche con bilioni di parametri.
Ma quanto sarà potente il supercomputer di Meta? L’architettura di RSC si basa su 760 sistemi NVIDIA DGX A100, per un totale di 6.080 GPU NVIDIA A100 collegate su una rete NVIDIA Quantum 200Gb/s InfiniBand, per fornire 1.895 petaflop di prestazioni TF32. Lo storage arriva a 175 petabyte di Pure Storage FlashArray e 46 petabyte di storage cache.
Nel corso di quest’anno, poi, RSC arriverà ad avere fino a 16.000 GPU, che Meta ritiene potranno fornire fino a 5 exaflop di prestazioni AI a precisione mista. Lo storage si espanderà fino a un exabyte (un milione di terabyte) di dati a 16 terabyte al secondo.
Meta spera di usare RSC per creare nuove, gigantesche reti neurali che possono effettuare, ad esempio, traduzioni vocali in tempo reale a grandi gruppi di persone, ciascuna delle quali parla una lingua diversa. Come scrivono i ricercatori nel loro blog: “il lavoro fatto con RSC aprirà la strada verso la costruzione di tecnologie per la prossima grande piattaforma di calcolo, il metaverso, dove le applicazioni e i prodotti guidati dall’AI avranno un ruolo importante“.
Ed è proprio il metaverso uno dei termini che appare più frequentemente negli annunci di questo nuovo supercomputer. Meta è evidentemente convinta che l’intelligenza artificiale sarà alla base di molte innovazioni collegate al metaverso, e a quanto pare non vuole essere seconda a nessuno.
