Era qualche tempo che mancava un articolo nell’ormai famosa rubrica dedicata agli utilizzi malsani dell’AI, la nostra AI, Ahi!, ma dopo aver letto il blog post di Konstantin Ryabitsev, che di mestiere dirige l’infrstruttura IT della Linux Foundation, intitolato Creepy crawlies, eccoci ad una nuova frizzante puntata!

La sintesi dell’articolo è molto semplice:

we spend more CPU cycles rendering commits for scrapers than we spend on all other kinds of legitimate access, including git clones. At any one time, across 5 geo-distributed nodes, there are 14 CPU cores doing nothing but rendering git commits as html.

Spendiamo più cicli di CPU nel rendering dei commit per i crawler di quanti ne spendiamo per tutti gli altri tipi di accesso legittimo, inclusi i git clone. In qualsiasi momento, su 5 nodi geograficamente distribuiti, ci sono 14 core della CPU che non fanno altro che eseguire il rendering dei commit git in HTML.

Capito? Quel “rendering dei commit” non è altro che la risposta ad una chiamata di un crawler, ossia un robot che si occupa di fare scraping , ossia immagazzinamento di informazioni le quali, dovendo essere presentate in una modalità fruibile (normalmente da utenti umani) richiedono una certa elaborazione.

Bene, come dimostra il messaggio, questa elaborazione tocca picchi interessanti che impattano la capacità di erogazione nientemeno della Linux Foundation.

Il motivo? I crawler dei provider di AI stanno facendo incetta di dati per l’addestramento dei loro modelli e, evidentemente, il Kernel Linux è un boccone particolarmente appetitoso.

Il problema non è tanto il download del codice: per quello esiste Git, che non a caso è stato inventato proprio per distribuire repository e relativo storico in maniera efficiente. Il problema è che questi crawler sembrano preferire un approccio decisamente più creativo: invece di clonare il repository, chiedono al server di generare l’HTML dei singoli commit, uno dopo l’altro.

E non sono pochi: secondo Ryabitsev, git.kernel.org riceve circa 6 milioni di richieste al giorno per visualizzare commit casuali. Una quantità tale che, sui cinque nodi distribuiti geograficamente, 14-16 core su 90 sono costantemente occupati a fare rendering per gli scraper.

Tradotto: circa un quinto della capacità CPU disponibile è impegnata a preparare pagine web che, con ogni probabilità, nessun essere umano leggerà mai.

E qui arriva il paradosso che ci piace tanto nella rubrica AI, Ahi!: abbiamo costruito macchine che dovrebbero essere intelligenti, capaci di scrivere codice e spiegare il funzionamento del Kernel Linux, ma che per imparare come funziona Linux stanno facendo lavorare inutilmente i server che quel codice lo distribuiscono.

Il problema è diventato inoltre difficile da arginare: bloccare gli User-Agent (ossia il modo in cui si presenta una chiamata) non basta, perché i crawler possono camuffarsi da normali browser; bloccare gli IP è altrettanto complicato, perché il traffico può arrivare da reti residenziali e mobili.

La Linux Foundation sta quindi cercando di difendersi con sistemi come Anubis, che sottopongono i client sospetti a una piccola prova computazionale prima di concedere loro l’accesso.

Naturalmente, anche i bot hanno imparato a superarla 😀 .

Insomma, la situazione è abbastanza surreale: l’AI ha bisogno di dati, i dati sono pubblici, i crawler li vogliono e per prenderli stanno consumando una quantità significativa delle risorse necessarie a fornire quei dati.

La soluzione, peraltro, sarebbe di una semplicità disarmante: fare un git clone.

Ma forse è proprio qui che si nasconde la morale: l’intelligenza sarà pure artificiale, ma a quanto pare deve ancora imparare le basi.

AI Ahi!

Raoul Scarazzini

Da sempre appassionato del mondo open-source e di Linux nel 2009 ho fondato il portale Mia Mamma Usa Linux! per condividere articoli, notizie ed in generale tutto quello che riguarda il mondo del pinguino, con particolare attenzione alle tematiche di interoperabilità, HA e cloud.
E, sì, mia mamma usa Linux dal 2009.