Mozilla Italia promuove il modello di riconoscimento vocale in Italiano per DeepSpeech

La Comunità Mozilla Italia è una delle più veterane nel mondo delle comunità Mozilla a livello globale e si occupa di diverse attività tra cui la traduzione e il supporto in lingua Italiana per i prodotti rilasciati da Mozilla. Negli anni ha organizzato diversi eventi in tutto il Paese e online, fornito materiale promozionale, preso parte ai Linux Day e sviluppato il Vademecum di Firefox, promosso progetti in cui contribuire come sviluppatori.

Uno dei progetti di punta che sta coinvolgendo recentemente sempre più persone e che la comunità sta promuovendo per reclutare più sviluppatori è quello dedicato a un modello di riconoscimento vocale per la lingua italiana open-source.

Common Voice

Nel 2018 la comunità di Mozilla Italia si è attivata non solo per la traduzione del portale, ma anche per sbloccare la lingua italiana su voice.mozilla.org.

Il progetto ha lo scopo di creare dataset liberi da 2000 ore per ogni lingua, che siano di pubblico dominio e quindi utilizzabili per qualunque scopo. Per partecipare basta collegarsi al sito web, registrare un account per tracciare  le proprie attività e leggere le frasi, oppure revisionare quelle registrate dagli altri utenti.

Per poter sbloccare la lingua italiana è stato necessario raccogliere diverse migliaia di frasi coperte da licenza CC0, recuperandole da fonti diverse in seguito revisionate. In un secondo momento Common Voice (da ora CV per comodità) ha permesso lo sblocco di altre lingue e ha realizzato due strumenti di raccolta frasi che hanno reso più rapide le operazioni. Il più utilizzato dalla nostra comunità è stato il Cv-sentence-extractor, il quale permette di estrarre frasi casuali seguendo specifiche regole e attingendo da un dump di Wikipedia. In futuro sarà certamente possibile aggiungere altre fonti e per questo motivo si cercano sviluppatori Rust.

Così facendo è stata raggiunta una quota che ha superato il milione di frasi da registrare per la lingua Italiana.

DeepSpeech

Il secondo tassello si chiama DeepSpeech, è il motore open-source sviluppato da Mozilla. Il progetto supporta diversi dataset (tra cui CV) e genera un modello che può essere utilizzato per il Speech-To-Text oppure per il Text-To-Speech.

DeepSpeech-Italian-Model

I due progetti messi insieme hanno dato origine a DeepSpeech-Italian-Model, un insieme di script per la generazione di un modello di lingua italiana liberamente scaricabile. 

La seconda versione rilasciata di recente include il nuovo dataset CV e alcune migliorie. Nel frattempo si lavora ulteriormente per migliorare la parte predittiva creando un nuovo corpus testuale specifico con diversi importatori per un tipo di italiano personalizzato che sia discorsivo, non giornalistico o enciclopedico.

La comunità ha bisogno di aiuto

La Comunità necessita dell’aiuto di tutti perché i compiti da portare a termine sono numerosi, costantemente aggiornati e raccolti in un documento.

Lo scopo è quello di fornire uno strumento libero da licenze e, limitazioni, che possa essere utilizzato anche su Raspberry (rilasciamo il modello anche in versione tflite, NdA). È stato inoltre creata una presentazione che chiunque può utilizzare per promuovere tutti i progetti descritti in questo articolo e sei autorizzato a rimuovere le slide che ritieni non ti servano.

Di cosa c’è bisogno?

  • Di persone che parlano italiano (anche non madrelingua) che investano un po’ del loro tempo per partecipare a voice.mozilla.org.
  • Di sviluppatori Python che ci aiutino a sviluppare gli script per il modello, per generare il nuovo corpus testuale e per sperimentare nuove soluzioni.
  • Di promuovere le attività della nostra Comunità.

Per rimanere aggiornati è stata creata una discussione (su base quindicinale o mensile) sul Discourse di Mozilla che parla di CV (qui per la versione 2019).

Inoltre è possibile unirsi alla community utilizzando Telegram e contattando il bot @MozItaBot oppure mediante l’istanza Matrix di Mozilla Italia.

La Comunità Mozilla Italia organizzia riunioni mensili aperte a tutti. Gli incontri sono in videoconferenza, il tutto viene registrato e caricato successivamente su YouTube (vedi https://www.youtube.com/watch?v=DMqL31fY3Qc).

Per maggiori dettagli ecco il link alla discussione sul forum ufficiale della Comunità: https://forum.mozillaitalia.org/index.php?topic=73902.0.

Mozilla Italia vi aspetta!

Chiamato Open Source Multiversal guy, dovrebbe lavorare nella sua web agency, Codeat a Roma, e passare il resto del giorno a collaborare in diversi progetti open source.

Durante gli orari di ufficio è un Core Contributor di WordPress, sviluppatore di plugin, creatore di GlotDict e WordPress Plugin Boilerplate Powered e uno dei maintainer di VVV.
Nel frattempo è un volontario veterano di Mozilla, Mozilla TechSpeakers e anche Mozilla Rep che si occupa della partecipazione e di altre attività dentro la comunità Mozilla Italia.

Tags: , , ,