I Supercomputer, per i quali si parla di High Performance Computing (HPC), sono fondamentali per spiegare la rivoluzione delle AI, non solo generative, a cui stiamo assistendo negli ultimi 10 anni.
Spesso trascurati, se non proprio dimenticati, nel dibattito quotidiano che si sta facendo sulle AI, noi di Smart Marketing abbiamo voluto, con questo numero dedicato, ridare dignità e pregnanza a questi supercalcolatori intervistando un vero esperto del Calcolo ad Elevate Prestazioni nonché docente di HPC all’Università di Torino, il prof. Marco Aldinucci: ecco cosa ci ha detto.
Domanda
Questo numero di Smart Marketing, prof. Marco Aldinucci, è dedicato ai “Supercomputer” che permettono, grazie alla loro capacità di calcolo ad alte prestazioni, di far girare tutti quegli algoritmi, non soltanto quelli delle AI Generative, che fanno funzionare il nostro mondo.
Il tutto sembrerebbe partito dalla presentazione, i primi di luglio, da parte di Fastweb del NeXXt AI Factory, promosso dalla stessa compagnia come “primo supercomputer dedicato espressamente all’AI Generativa” e dal modello LLM MIIA, addestrato con dati solo in lingua Italiana.
Può dirci il suo parere in merito a quest’ultimo Supercomputer e anche cosa pensa del fatto che una grossa azienda privata stia investendo nel campo del calcolo ad alte prestazioni dedicato alle AI Generative?
Risposta
Il cluster di Fastweb ha 248 GPU H100 della serie Hopper di NVidia. Lo stesso tipo di sistema può essere configurato fino a 16383 GPU H100. Per farsi un’idea delle dimensioni tipiche, il supercomputer Leonardo@CINECA, in opera dal 2022 e oggi il settimo più potente al mondo, ha 13824 GPU A100, della serie Ampere, precedente a Hopper. Per le applicazioni GenAI di frontiera, come l’allenamento di Llama-3 70B di Facebook, 248 GPU non sono sufficienti; ci vorrebbero anni. Va benissimo invece per applicazioni di interesse industriale, come l’allenamento di LLM di taglia media, il fine-tuning e l’inferenza di grandi LLM.
Credo che Fastweb abbia fatto un buon investimento. Queste risorse di calcolo noleggiate in cloud costano parecchio, migliaia di euro all’ora; in cinque-sei mesi si recupera l’investimento. Inoltre, avere la macchina in casa permette di fare sperimentazioni più complesse e soprattutto aiuta a mantenere le competenze su tutto lo stack tecnologico, che sono di grande valore per l’innovazione. All’Università di Torino abbiamo fatto un analogo investimento sul sistema HPC4AI per scopi di ricerca e didattica, che in 5 anni ha generato valore per decine di volte l’investimento.
D. Oggi tutti parlano, anche a sproposito, delle AI Generative; 6, 7 anni fa tutti parlavano, anche in quel caso con poca cognizione di causa, dei Big Data; personalmente mi è sempre sembrato che da questa equazione a due fra Algoritmi dell’AI da una parte e Big Data dall’altra mancasse un terzo ma fondamentale elemento, ossia i Supercomputer.
Perché, prof. Aldinucci, la gente, ma anche qualche addetto ai lavori, si dimentica di menzionare questi super calcolatori che, con le loro prestazioni, sempre in crescita, permettono di eseguire tutti quei miliardi di calcoli che da una parte fanno funzionare gli Algoritmi e dall’altra consentono di processare i Big Data?
R. Quando abbiamo iniziato con HPC4AI nel 2017 la tecnologia alla base della GenAI non esisteva ancora, ma il carattere abilitante di HPC per AI era già chiaro, come lo era già stato per BigData. La quantità di dati necessari per mettere a punto modelli guidati dai dati cresce con la complessità dei compiti: riassunti, generazione di testo e codice, traduzione, ragionamento, etc. Google riporta un fattore di oltre 20:1 fra parametri e dati/token; Facebook 215:1. In passato ho scritto che le reti neurali hanno iniziato a funzionare davvero all’età di 60 anni grazie al calcolo parallelo perché per estrarre modelli accurati e robusti devono essere digeriti tanti dati e per farlo serve tanta potenza di calcolo, non è sorprendente.
In Italia gli investimenti industriali in ricerca e sviluppo sullo stack tecnologico cloud-HPC sono quasi inesistenti. Tutte le grandi aziende hanno ritenuto che fosse più conveniente esternalizzare e acquistare le tecnologie in cloud già sviluppate dagli hyperscaler. Senza competenze interne hanno rapidamente anche perso la capacità di comprendere la catena del valore delle nuove tecnologie; oggi consumiamo tecnologie avanzate ICT, non le produciamo. Peccato, sarebbe bastato collaborare di più con le università per intercettare alcuni fenomeni in tempo utile.
D. Ma entriamo più nel tecnico dei Supercomputer, per i quali si parla di High Performance Computing (HPC), in italiano Calcolo ad Elevate Prestazioni, che sono le tecnologie utilizzate da queste macchine per creare dei sistemi di elaborazione in grado di fornire delle prestazioni molto elevate, nell’ordine dei PetaFLOPS. Può spiegare ai nostri lettori ed in parole semplici cosa significano i termini High Performance Computing e PetaFLOPS?
R. Un sistema HPC oggi è tipicamente un cluster di server (ognuno con più CPU e GPU) collegati da una rete veloce e uno stack software progettato per scalare con il numero di server e processori. HPC è utile per 1) risolvere un problema di dimensione fissata più velocemente, come nelle previsioni del tempo, oppure 2) risolvere un problema più grande in un tempo costante, come negli LLM aumentando il numero di parametri. Il FLOPS (FLoating-point Operations per Second) è un’unità di misura della potenza di calcolo di un sistema. Si distingue quella di picco (Rpeak) e quella raggiunta da una specifica applicazione (Rmax). L’efficienza Rmax/Rpeak dipende dal sistema e dalla applicazione, si va dal oltre il 65% del benchmark HPL (usato per TOP500) al non oltre il 3% del più moderno HPCG. Inoltre, sistemi diversi possono essere ottimizzati per fare conti a precisione diversa: 64 bit per le applicazioni scientifiche, 32-16-8 bit per gli LLM. Ad esempio, Leonardo ha Rpeak 306PFLOPS FP64 e 4.5EFLOPS TF32; il cluster Fastweb potrebbe essere a Rpeak 8.5PFLOPS FP64 e 245PFLOPS TF32. Per brevità si usa la prima lettera del prefisso, per il resto aiutano gli studi classici: Te(t)ra 1000^4, Pe(n)ta 1000^5, (h)Exa 1000^6, Zetta(hepta) 1000^7, …
D. Possiamo dire che l’Italia, una volta tanto, non è la Cenerentola delle nuove tecnologie? Oltre all’ultimo arrivato in casa Fastweb, ci sono nel nostro paese diversi e performanti Supercomputer, ci vuole menzionare i 3 o 4 più importanti, spiegandoci sia la loro potenza che il loro principale utilizzo?
R. Nel 2020 l’Italia è stato il quarto paese al mondo (dopo USA, Cina e Giappone) come potenza di calcolo, ma la cosa importante è che sviluppiamo applicazioni di grande valore. Eni è stata per 15 anni prima al mondo nella TOP500 per il segmento industria. Nel 2015 con HPC-3 (8.4 PFLOPS FP64) ha trovato Zohr, il giacimento più grande del mediterraneo. oggi con HPC-5 (51.72 PFLOPS FP64) è seconda solo a Microsoft, ora sta installando HPC-6. Leonardo Company è entrata nella TOP-100 con davinci-1 nel 2020 (Rpeak 6.41PFLOPS FP64), fra gli utilizzi sia simulazioni scientifiche che AI. CINECA è da molti anni nella TOP-10 mondiale. Leonardo@CINECA, acquistato nel 2021 con il contributo del 50% EU, serve tutta la comunità scientifica EU ed è anche saturo. Il premio Nobel Parisi lo ha utilizzato per i sistemi complessi; Mistral-AI per il loro LLM. A UNITO ci abbiamo sviluppato lo PRAISE, il primo score basato su AI accettato dalla “European Society of Cardiology”, predice la probabilità di morte a un anno dopo l’infarto e ci azzecca 9 volte su 10.
Per il sistema paese il punto non è comprare le macchine, comunque prodotte all’estero, ma sviluppare lo stack software e le applicazioni. Per il calcolo scientifico ci siamo riusciti, speriamo succeda anche per AI, mi pare che Fastweb con MMIA stia andando in questa direzione.
D. Un’ultima domanda, prof. Aldinucci, cosa c’è ancora da fare nel nostro paese perché diventi un attore importante a livello internazionale in questa nuova rivoluzione, o forse sarebbe meglio chiamarla onda, tecnologica?
Mi viene in mente un suo intervento in una puntata dell’interessante podcast “Alla scoperta dell’Intelligenza Artificiale”, ideato e promosso dall’Associazione Italiana per l’Intelligenza Artificiale e Radio IT (che invito i lettori a recuperare anche nella nostra rubrica dedicata), nel quale lei affermò che: “Noi italiani costruiamo nuovi quartieri e intere città prima di aver pianificato le strade, le fognature e le infrastrutture, per poi renderci conto che dobbiamo recuperare il danno spendendo molto di più di quanto avremmo speso con una corretta pianificazione”. Cosa intendeva precisamente quando parlava di assenza di pianificazione ed infrastrutture?
R. Mi permetta di citare Gramsci: “occorre persuadere molta gente che anche lo studio è un mestiere (…)”. Costruiamo macchine sempre più intelligenti, capaci di eseguire velocemente, precisamente e a basso costo tutti i lavori routinari basati sul copia-e-incolla; il codice di microservizi e Pytorch non fanno eccezione. La rivoluzione AI insieme alla trasformazione digitale sarà socialmente complessa, i lavori di “manovalanza digitale” spariranno come neve al sole insieme alle aziende che non hanno capacità di evolversi. Per questo servono addetti che hanno imparato a studiare continuamente — nessuna tecnologia è per sempre. È necessario che le aziende si dotino di ricercatori e che stabiliscano collaborazioni con le università per reclutarli e per la loro formazione continua. La conoscenza dello stack tecnologico cloud-HPC non fa eccezione, è precondizione per l’innovazione, se si esternalizza si perde.
Spero che, come succede nella Silicon Valley, nell’area di Boston, ma anche nell’area Paris-Saclay, le aziende italiane vogliano considerare l’idea che i grandi distretti tecnologici proliferano solo insieme alle grandi università. Questo intendevo con pianificazione. Le competenze per fare innovazione sono molto più difficili da acquisire delle macchine, bisogna pensarci molto prima.
Marco Aldinucci è professore ordinario e P.I. del gruppo di ricerca Calcolo Parallelo dell’Università di Torino. Ha conseguito il dottorato di ricerca presso l’Università di Pisa (2003), ed è stato ricercatore presso il Consiglio Nazionale delle Ricerche (CNR). È autore di oltre 120 articoli scientifici. Ha ricevuto l’HPC Advisory Council University Award 2011, l’NVidia Research Award 2013, l’IBM Faculty Award 2015, l’Autodesk Award 2021. È ricercatore presso la Links Foundation. Ha partecipato a oltre 15 progetti di ricerca finanziati dall’UE sul calcolo parallelo, cloud e ad alte prestazioni, attirando oltre 10 milioni di euro di fondi di ricerca all’Università di Torino. È stato delegato italiano nel consiglio di amministrazione dell’impresa comune EuroHPC (2018-2021). Ha guidato la progettazione del laboratorio HPC4AI. È il direttore fondatore del laboratorio nazionale CINI HPC Key Technologies and Tools, che riunisce ricercatori di 38 università italiane.