Era da un po’ che non scrivevo un bel Saturday’s Talks, così ho pensato: cosa c’è di meglio il sabato che parlare di un futuro cupo e infausto?

Eccolo qui l’articolo che vi rovinerà la giornata, e forse il week-end!

Sapete tutti cos’è CUDA? È l’acronimo di Compute Unified Device Architecture ed è la piattaforma sviluppata da Nvidia che permette di sfruttare le schede grafiche non solo per i videogiochi o la grafica 3D, ma anche per i calcoli complessi e il cosiddetto “general purpose computing”, cioè usare la potenza delle GPU come se fossero processori paralleli a disposizione dei programmatori.

Insomma, ci siamo capiti, l’intelligenza artificiale.

CUDA mette a disposizione librerie e strumenti che semplificano l’utilizzo delle GPU Nvidia per le applicazioni AI, il machine learning, ma anche big data e simulazioni scientifiche.

Molti lo ignorano, ma ormai quasi tutto ciò che riguarda l’AI, dal training dei modelli all’inferenza, passa attraverso CUDA, perché l’ecosistema di software e framework più usati (TensorFlow, PyTorch, ecc.) sono ottimizzati per questa tecnologia.

Non stupisce quindi di leggere ogni giorno news diverse che raccontano però la stessa storia: per tenere il passo, le distribuzioni Linux includono CUDA. Non è più solo appannaggio di Red Hat AI, che avevamo presentato oltre un anno fa, ma ogni produttore, ogni settimana, butta fuori un annuncio.

Alcuni esempi? Eccoli:

• Il 15 settembre ecco Canonical announces it will support and distribute NVIDIA CUDA in Ubuntu.
• Il 16 settembre ecco invece CIQ’s Partnership with NVIDIA: Transforming Enterprise GPU Infrastructure.
• Il 18 settembre, nella documentazione SUSE è arrivato Deploying and Installing SUSE AI, che spiega appunto come effettuare il setup della distribuzione integrando, per l’appunto, anche le librerie CUDA.

Insomma, non è più pensabile avere una distribuzione Linux che non integri CUDA in modo semplice e diretto: senza, resterebbe tagliata fuori dal mondo AI e perderebbe qualsiasi attrattiva in ambito enterprise e di ricerca.

Fin qui la cronaca nuda e cruda, a cui va aggiunta una piccola postilla: la parte fondamentale del CUDA Toolkit (il compilatore nvcc, le librerie di base come cuBLAS, cuDNN, NCCL e via dicendo) è proprietaria e closed source, distribuita direttamente da Nvidia.

Certo, Nvidia rilascia anche un certo numero di componenti open source — vedi SDK, esempi di codice, integrazioni con framework come i già citati TensorFlow o PyTorch — ma il cuore di CUDA resta legato alle licenze Nvidia e gira solo su hardware Nvidia.

CUDA esiste dal 2006, quindi Nvidia ha avuto quasi vent’anni per costruire un ecosistema di librerie, framework e tool ottimizzati che oggi sono lo standard de facto. Questo significa che chi sviluppa AI seriamente non può permettersi di ignorare CUDA, perché tutto è nato e cresciuto lì: TensorFlow, PyTorch, Hugging Face, modelli LLM, tutto gira meglio e in modo più stabile su GPU Nvidia grazie a CUDA.

Come si riassume tutto questo? Semplice, con il concetto di vendor lock-in totale.

Se usi CUDA, sei legato all’hardware Nvidia, perché non gira da nessun’altra parte. E dato che l’AI senza GPU è impensabile, Nvidia si ritrova in una posizione di monopolio. AMD ci prova con ROCm, Intel ci prova con OneAPI, ma l’adozione resta minima rispetto alla massa critica di CUDA.

Per questo ogni volta che una distribuzione Linux annuncia “integrazione con CUDA” in realtà non sta facendo altro che consolidare ulteriormente il dominio Nvidia.

Sembra quindi di essere nel film “Don’t look up“, in cui il disastro è imminente, chiaro a tutti… E completamente ignorato.

Il paradosso poi riguarda proprio il mondo Linux, il nostro mondo, dove di solito si predica apertura e libertà.

L’intelligenza artificiale è diventata un feudo proprietario dove puoi avere tutto open-source, ma solo fino a un certo punto, perché quando si tratta di calcolo accelerato sei costretto a passare per Nvidia la quale, come logico, ben si guarda da modificare il proprio modello di business, visto che naviga letteralmente in un mare di soldi (con un incremento anno su anno del 71,55% nel 2024 e del 55,6% nel 2025).

A chiudere il cerchio su questa veloce analisi ed a proposito di concorrenza ci pensano le ultime notizie. Ieri analizzavamo il (disastroso) nuovo corso di Intel nei confronti dell’open-source e contestualmente è apparsa la notizia della rilevazione da parte di Nvidia del 4% delle quote di Intel, per un totale di “soli” 5 miliardi di dollari.

A dimostrazione del fatto che la parola usata in precedenza, ossia monopolio, è ben più di una speculazione, quanto piuttosto un grosso campanello d’allarme, per giunta closed-source.

Vuoi vedere che, nonostante abbia apprezzato l’incremento della qualità nei contributi open-source al Kernel Linux, alla fine aveva ragione Lui, come sempre?