L’incombente ubiquità dell’intelligenza artificiale: orientarsi verso l’efficienza del cloud e l’impatto ambientale con CAST AI

Laurent Gil, CAST AI

Oggi assistiamo al prezzo del progresso. Mentre l’intelligenza artificiale generativa si evolve rapidamente in un panorama in forte espansione di adozione, le meraviglie dell’intelligenza artificiale devono affrontare costi e sfide sorprendenti. Il fascino della comunità VC e dei giganti della tecnologia, che hanno investito miliardi di dollari in startup specializzate in tecnologie di intelligenza artificiale generativa, non hanno considerato la realtà di fondo di questi costi elevati che minacciano l’attuale boom.

A giugno 2023, ChatGPT ha ricevuto 60 milioni di visite al giorno, con 10 milioni di query al giorno. Ad aprile 2023, si stimava che l'esecuzione di ChatGPT costerebbe $ 70.000 al giorno con un costo medio di $ 0,36 per domanda. A giugno, tuttavia, "Tom Goldstein, professore di AI ML presso l'Università del Maryland, ha stimato che il costo giornaliero di gestione di ChatGPT fosse di circa $ 100.000 e il costo mensile di $ 3 milioni di dollari."

Questo recente articolo ha delineato il profilo di una startup, Latitude, che si è trovata alle prese con fatture esorbitanti mentre i suoi giochi basati sull'intelligenza artificiale, come AI Dungeon, guadagnavano popolarità. Il gioco di ruolo basato su testo di Latitude utilizzava la tecnologia del linguaggio GPT di OpenAI, con conseguenti costi in aumento proporzionali all'utilizzo del gioco. L'utilizzo inaspettato di AI Dungeon da parte dei professionisti del content marketing per generare testi promozionali ha ulteriormente esacerbato la tensione finanziaria della startup.

Uno dei motivi principali dell’elevato costo dell’intelligenza artificiale generativa è la notevole potenza di calcolo richiesta per “addestramento e inferenza”. L'addestramento di modelli linguistici di grandi dimensioni (LLM) richiede miliardi di calcoli e hardware specializzato, come i processori grafici (GPU). Nvidia, uno dei principali produttori di GPU, offre chip per data center che possono costare fino a $ 10.000 ciascuno. Le stime suggeriscono che modelli di formazione come GPT-3 di OpenAI potrebbero superare i 4 milioni di dollari, mentre i modelli più avanzati potrebbero raggiungere milioni a una cifra in costi di formazione.

"Ad esempio, l'ultimo modello LLaMA di Meta ha richiesto l'incredibile cifra di 2.048 GPU Nvidia A100 e oltre 1 milione di ore GPU, comportando costi superiori a 2,4 milioni di dollari." Ciò potrebbe comportare un ulteriore tributo per gli operatori del settore come Microsoft, che attualmente sfruttano la tecnologia, rendendo necessari costi infrastrutturali che raggiungono miliardi di dollari per soddisfare la domanda degli utenti.

Ho incontrato Laurent Gil, ex capo dell'Internet Intelligence Group di Oracle e attuale cofondatore di CAST AI, una piattaforma di ottimizzazione cloud basata su ML che analizza milioni di punti dati, alla ricerca dell'equilibrio ottimale tra prestazioni elevate al costo più basso. CAST AI determina quanto puoi risparmiare, quindi rialloca le risorse cloud in tempo reale per raggiungere l'obiettivo senza alcun impatto sulle prestazioni.

Abbiamo discusso del costo reale derivante dall’adozione di modelli di intelligenza artificiale più avanzati.

Gil ha rivelato che i servizi cloud come AWS, Azure e Google hanno una parte considerevole delle loro bollette destinata alla potenza di calcolo. Ciò include CPU e memoria, che rappresentano circa il 90% dei costi, mentre l’altra metà copre vari servizi come archiviazione e database. Riconosce che la sua risposta sarebbe stata diversa 3 mesi fa.

"Per un'azienda di intelligenza artificiale, si stanno concentrando maggiormente sull'elaborazione e meno sul resto, perché la maggior parte dei costi di gestione di questo modello sono legati alle GPU di elaborazione... Abbiamo molti clienti sul cloud, attualmente ne stiamo gestendo e ottimizzando milioni di CPU ogni giorno."

Osservazioni recenti rivelano un aumento delle aziende che investono ingenti somme nella formazione di modelli IA specializzati. Questi processi di training comportano un immenso utilizzo del calcolo, che a volte va da un utilizzo minimo della CPU a decine di migliaia di CPU e GPU in funzione per ore per addestrare i modelli in modo efficace. Questa distinzione è fondamentale in quanto sottolinea che questi elevati costi di elaborazione sono specificamente correlati all’addestramento dei modelli di intelligenza artificiale e non alla loro inferenza o utilizzo pratico.

Gil spiega che esistono due tipi di motori di intelligenza artificiale: modelli generici e specializzati. I modelli generici richiedono ampie risorse di calcolo e vengono utilizzati da grandi aziende che gestiscono grandi quantità di dati. A causa dei costi elevati potrebbero esserci meno giocatori in questa categoria. Tuttavia, esprime entusiasmo per il secondo tipo: i modelli specializzati. Questi modelli si concentrano sulla risoluzione di problemi specifici eccezionalmente bene e non richiedono periodi prolungati di utilizzo del calcolo come i modelli generici. Vede questa specializzazione come il futuro del settore, in cui le aziende offriranno soluzioni uniche e potenti basate sui loro dati specializzati, portando a una nuova economia nel campo dell'intelligenza artificiale.