Come funziona la dettatura vocale: la guida completa

Premete un tasto, parlate, e qualche secondo dopo compare sullo schermo una frase pulita. Nel mezzo accade molto più di quanto si immagini: un'onda sonora diventa una sequenza di numeri, quei numeri diventano un'immagine, quell'immagine diventa testo, e quel testo diventa infine una frase scritta correttamente. Questa guida ripercorre ciascuna di queste fasi, senza gergo inutile ma senza semplificare troppo. Alla fine capirete perché la dettatura del vostro telefono vi obbliga a dire «virgola» mentre altri strumenti se ne occupano da soli, perché lo stesso modello capisce perfettamente il vostro vicino e inciampa sul nome del vostro cliente, e dove passa davvero la vostra voce durante l'operazione.

Le quattro fasi in breve

Ogni dettatura vocale moderna poggia sulla stessa catena. Ciò che distingue uno strumento dall'altro non è quasi mai la prima fase: è il fatto di eseguire o meno la terza.

Le dettature integrate nei sistemi operativi e nelle suite per ufficio si fermano alla fase 2. È il caso della digitazione vocale di Windows, della dettatura di macOS, di quella di iOS, della digitazione vocale di Gboard su Android e della digitazione vocale di Google Docs. Gli strumenti detti «IA» aggiungono la fase 3, ed è tutta qui la differenza tra una trascrizione e un testo che potete inviare così com'è. Abbiamo analizzato il comportamento di ciascuno nelle nostre guide dedicate a iPhone, ad Android, a Word e agli strumenti vocali di Google.

Fase 1: la vostra voce diventa numeri

Il campionamento

Quando parlate, le corde vocali fanno vibrare l'aria. Questa vibrazione è una variazione continua di pressione. La membrana del microfono segue tali variazioni e le converte in tensione elettrica, poi la scheda audio misura quella tensione a intervalli regolari. Ogni misurazione si chiama campione.

Per il parlato, la frequenza di campionamento standard è di 16.000 campioni al secondo, ovvero 16 kHz. Un minuto di dettatura corrisponde quindi a circa 960.000 numeri. Il valore di 16 kHz non è arbitrario: il teorema del campionamento di Nyquist-Shannon impone di misurare almeno al doppio della velocità rispetto alla frequenza più alta che si vuole conservare. Poiché la maggior parte dell'informazione che distingue una «s» da una «f» si colloca sotto gli 8 kHz, 16 kHz bastano. È anche il motivo per cui la dettatura non ha alcun bisogno della qualità CD a 44,1 kHz: i dati in più non aggiungerebbero nulla al riconoscimento e appesantirebbero soltanto il calcolo e il trasferimento. Non si tratta di una convenzione ufficiosa: l'articolo di ricerca su Whisper precisa che tutto l'audio viene riportato a 16.000 Hz prima dell'elaborazione.

Lo spettrogramma: l'immagine che il modello «vede» davvero

Una sequenza grezza di 960.000 numeri è molto difficile da sfruttare direttamente. La si trasforma quindi in qualcosa di assai più leggibile per una rete neurale.

Il principio: la registrazione viene suddivisa in piccole finestre sovrapposte di 25 millisecondi, avanzate di 10 millisecondi ogni volta. Per ciascuna finestra, una trasformata di Fourier calcola quali frequenze sono presenti e con quale intensità. Affiancando tutti questi risultati si ottiene un'immagine: lo spettrogramma. L'asse orizzontale rappresenta il tempo, quello verticale le frequenze, e l'intensità luminosa l'energia presente a quella frequenza in quell'istante. I valori di 25 e 10 millisecondi sono esattamente quelli impiegati da Whisper.

Un'ultima sottigliezza: la scala delle frequenze non è lineare, è compressa verso gli acuti. Si parla di scala mel, modellata sulla percezione umana, che distingue molto più finemente lo scarto tra 200 e 300 Hz rispetto a quello tra 8.000 e 8.100 Hz. In concreto l'immagine finale contiene solo qualche decina di bande di frequenza: Whisper ne usa 80, e 128 nella sua versione large-v3. È una riduzione massiccia dell'informazione, ma conserva proprio ciò che permette di distinguere i suoni del parlato.

Fase 2: la trascrizione, dall'immagine al testo

Whisper, lo standard di fatto

Fino al 2020 circa, il riconoscimento vocale si basava su sistemi che assemblavano più componenti separati: un modello acustico, un dizionario di pronuncia, un modello linguistico. Funzionavano, ma richiedevano una messa a punto minuziosa lingua per lingua e si degradavano rapidamente non appena l'audio usciva dalle condizioni previste.

La svolta è arrivata dai modelli end-to-end, di cui il più noto è Whisper, pubblicato in open source da OpenAI alla fine del 2022. Il suo interesse sta meno nell'architettura che nell'addestramento. La versione originale è stata addestrata su 680.000 ore di audio raccolto dal web insieme alle trascrizioni corrispondenti, di cui 117.000 ore coprono 96 lingue diverse dall'inglese, come illustra l'articolo di ricerca associato. La generazione successiva ha cambiato ancora scala: la versione large-v3 si appoggia a un milione di ore di audio debolmente annotato, integrate da quattro milioni di ore trascritte automaticamente dal modello precedente.

A questa scala, il modello ha visto talmente tante voci, accenti, microfoni mediocri e rumori di fondo da restare robusto sull'audio di tutti i giorni, e non soltanto su registrazioni da studio. Oggi copre un centinaio di lingue in un unico modello. È questo che ne ha fatto lo standard su cui si appoggia buona parte degli strumenti di dettatura recenti.

Encoder, decoder e token

Il modello si compone di due metà che lavorano una dopo l'altra.

• L'encoder legge lo spettrogramma a fette di 30 secondi e lo condensa in una rappresentazione interna. Potete vederla come un riassunto numerico denso che trattiene, per ogni istante, ciò che conta dal punto di vista del parlato e scarta il resto.
• Il decoder produce il testo pezzo per pezzo. A ogni passo guarda sia quel riassunto audio sia tutto ciò che ha già scritto, poi prevede il frammento di testo successivo più probabile.

Questi frammenti si chiamano token. Un token non è una parola: è piuttosto un pezzo di parola, spesso di tre o quattro caratteri. Le parole molto frequenti formano un solo token, mentre un termine raro come «precipitevolissimevolmente» ne occupa parecchi. Questa suddivisione consente al modello di trattare qualsiasi lingua e qualsiasi parola mai vista con un vocabolario di dimensioni ragionevoli.

Perché il contesto elimina gli omofoni

È qui che si gioca l'essenziale del progresso degli ultimi dieci anni. Poiché il decoder tiene conto di ciò che ha già scritto, non sceglie le parole solo in base al suono. Prendete «hanno» e «l'anno», «ho» e «o», «ai» e «hai»: queste forme sono acusticamente identiche in italiano. Nessuna elaborazione del segnale le distinguerà mai. Un modello che ha letto milioni di frasi, invece, sa che «l'anno scorso» è molto più probabile di «hanno scorso».

Lo stesso meccanismo spiega gli errori. Il modello non cerca la verità, cerca la continuazione più probabile. Di fronte a un nome proprio raro o a un termine di settore poco rappresentato nei suoi dati, proporrà con assoluta sicurezza una parola comune che suona allo stesso modo. Ecco perché il vocabolario personalizzato è un tema reale, trattato però nella fase successiva anziché in questa.

Come si misura la qualità: il WER

L'indicatore di riferimento è il WER, ossia Word Error Rate, tasso di errore sulle parole. Si confronta la trascrizione prodotta con una trascrizione di riferimento redatta da un essere umano, si contano tre tipi di errore, poi si rapporta il totale al numero di parole del riferimento.

• Sostituzioni: una parola è stata sostituita da un'altra.
• Inserimenti: è stata aggiunta una parola mai pronunciata.
• Cancellazioni: una parola pronunciata è stata omessa.

Un WER del 5 % significa che una parola su venti è sbagliata. Una cautela è però d'obbligo: il WER non ha alcun senso in astratto, dipende interamente dal corpus di test. Lo stesso modello può segnare il 3 % su letture di audiolibri registrate in cuffia e il 20 % su una riunione a più voci in una stanza riverberante. Due valori di WER sono confrontabili solo se riferiti allo stesso insieme di valutazione, cosa che le comunicazioni commerciali precisano di rado.

Fase 3: la pulizia con l'IA, ciò che separa una trascrizione da un testo

Supponiamo che la fase 2 sia perfetta: ogni parola pronunciata correttamente riconosciuta. Non avreste comunque un testo utilizzabile, per una ragione molto semplice: non parlate come scrivete. Una trascrizione fedele restituisce le vostre esitazioni, le riprese, gli intercalari e le frasi che cambiano direzione a metà strada. È fedele, ed è proprio questo il problema.

Questa trasformazione è il lavoro di un grande modello linguistico collocato a valle della trascrizione. In concreto si occupa di:

• La punteggiatura e la suddivisione in frasi, che non avete pronunciato e che vanno quindi dedotte dalla struttura del discorso.
• L'eliminazione delle esitazioni e delle false partenze, senza alterare il senso di ciò che volevate dire.
• La grammatica e gli accordi, spesso approssimativi all'orale.
• La formattazione attesa: un'e-mail non ha lo stesso aspetto di una nota interna o di un messaggio breve. Gli strumenti più maturi permettono di definire regole di formattazione proprie, applicate a ogni dettatura.
• Il vocabolario tecnico e i nomi propri, a partire da un elenco fornito dall'utente. È il rimedio al problema degli omofoni descritto sopra, e funziona meglio di quanto si creda: il nome del vostro cliente non deve essere noto al modello di trascrizione, basta che sia noto alla fase di correzione, che ripristinerà l'ortografia esatta partendo da un'approssimazione fonetica.

Fase 4: l'inserimento nell'applicazione

La fase meno spettacolare, e tuttavia quella che determina se lo strumento sia utilizzabile ogni giorno. Il testo finale deve arrivare là dove scrivete, senza passare per gli appunti o per una finestra intermedia.

Qui si fronteggiano due famiglie di strumenti. Le dettature legate a una data applicazione, come quella di Word o la digitazione vocale di Google Docs, funzionano solo dentro quell'applicazione, a volte perfino solo in un browser preciso. Gli strumenti di sistema, invece, si installano come uno strato al di sopra di tutto il resto: restano in ascolto di una scorciatoia da tastiera globale, poi scrivono il risultato nella posizione del cursore, qualunque sia la finestra attiva. Un campo di ricerca, un'e-mail, un ticket, un terminale: tutto ciò che accetta testo accetta la dettatura.

Tecnicamente, questo inserimento avviene o simulando la pressione dei tasti, o tramite le interfacce di accessibilità del sistema operativo. Questa differenza, invisibile all'uso, spiega perché uno strumento funzioni perfettamente in un elaboratore di testi e fallisca in un'applicazione dal rendering grafico particolare, come certi giochi o ambienti remoti.

Quanto tempo richiede tutto questo?

Contrariamente a un'intuizione diffusa, il tempo di elaborazione non coincide con l'attesa percepita, perché le fasi non si svolgono tutte dopo che avete finito di parlare. L'acquisizione e la preparazione dello spettrogramma procedono via via, mentre parlate. Restano la trascrizione e la pulizia, che si eseguono al rilascio della scorciatoia.

Tre fattori dominano il risultato. Anzitutto la potenza di calcolo disponibile: le schede grafiche da data center elaborano una registrazione di più minuti in una frazione del tempo che impiegherebbe un portatile. Poi il numero di andate e ritorni di rete, che una catena ben progettata riduce al minimo fondendo trascrizione e pulizia anziché concatenarle come due chiamate separate. Infine la suddivisione dell'audio: poiché il modello ragiona a fette di 30 secondi, una registrazione lunga può essere elaborata a blocchi in parallelo anziché in modo rigorosamente sequenziale.

Ne deriva un punto controintuitivo: il tempo di attesa non cresce proporzionalmente alla durata della dettatura. Su una catena ben progettata, raddoppiare la lunghezza della dettatura non raddoppia l'attesa, il che rende le dettature lunghe nettamente più convenienti delle frasi isolate.

Dove girano questi modelli: sul vostro computer o su un server?

La catena descritta qui è la stessa ovunque. Ciò che cambia da uno strumento all'altro è il luogo in cui si esegue ciascuna fase, e questa scelta ha conseguenze dirette su ciò che ottenete.

• Tutto in locale. L'audio non lascia mai la vostra macchina, il che rappresenta il massimo in fatto di riservatezza e funziona offline. In pratica ottenete le fasi 1, 2 e 4, raramente la 3, per mancanza della potenza necessaria a un grande modello di pulizia.
• Trascrizione e pulizia su server. Il vostro audio parte verso un'infrastruttura pensata per questi calcoli, il che rende possibile la catena completa su qualsiasi computer, anche un portatile leggero senza scheda grafica dedicata. In cambio serve una connessione e dipendete dagli impegni del fornitore su conservazione e localizzazione dei dati.

Questo compromesso merita una trattazione a sé: lo abbiamo approfondito in dettatura vocale locale vs cloud.

Il vocabolario, senza confusione

Quattro termini vengono regolarmente usati l'uno per l'altro pur designando cose diverse.

Che cosa determina davvero la qualità

A parità di modello, il risultato può andare dall'eccellente al mediocre. I fattori che pesano di più, in ordine:

• Il rapporto tra la vostra voce e il rumore ambientale. Non conta il volume del rumore, ma il suo scarto rispetto alla vostra voce. Un microfono a cuffia, o i microfoni di un portatile recente a distanza ragionevole, bastano ampiamente; un microfono all'altro capo di una stanza grande è il principale fattore di degrado.
• Il riverbero. Una stanza spoglia dal soffitto alto rimanda la vostra voce con uno sfasamento, il che confonde i motivi dello spettrogramma molto più di un rumore costante di ventilazione.
• Il ritmo e l'articolazione. Parlare veloce non è di per sé un problema, mangiarsi le desinenze lo è.
• I nomi propri e il gergo. Il punto debole strutturale spiegato sopra, e la ragion d'essere degli elenchi di vocabolario personalizzato.
• La lingua e la mescolanza di lingue. I modelli sono nettamente migliori in inglese che altrove, semplicemente perché i dati di addestramento sono più abbondanti. Alternare due lingue nella stessa frase resta il caso più difficile.
• La lunghezza dei passaggi. Un contesto più ampio aiuta il modello a sciogliere le ambiguità: una dettatura di più frasi dà spesso un risultato migliore di tre parole isolate.

Che fine fa la vostra voce nel frattempo

Una volta compresa la catena, la questione dei dati diventa molto più concreta. Non si tratta di sapere se uno strumento sia «sicuro» in astratto, ma di sapere che cosa accade a tre oggetti ben identificati: la registrazione audio, la trascrizione grezza e il testo finale.

Tre domande bastano a inquadrare il tema, e valgono per qualsiasi strumento:

• Questi elementi vengono conservati dopo l'elaborazione, e in tal caso per quanto tempo?
• Vengono riutilizzati per addestrare modelli? È una questione distinta dalla conservazione, e si risolve nelle condizioni d'uso.
• Sotto quale giurisdizione avviene il trattamento? Un server fisicamente situato in Europa ma gestito da un soggetto sottoposto al diritto statunitense non risponde alla stessa domanda di un trattamento effettuato in Europa da un soggetto europeo.

Una registrazione vocale è un dato personale ai sensi del GDPR, e il suo contenuto può esserlo assai di più a seconda di ciò che dettate. Questi tre punti sono approfonditi nella nostra guida dettatura vocale e GDPR.

Che cosa ricordare

La dettatura vocale non è una scatola nera. È una catena di quattro operazioni ben identificate, e quasi tutte le domande che ci si pone al riguardo si riconducono a una fase precisa di questa catena.

• Un risultato deludente in ambiente rumoroso si gioca alla fase 1, e si corregge con un microfono migliore anziché con un software migliore.
• Un errore su un nome proprio o su un termine tecnico si gioca alla fase 2, e si corregge con un elenco di vocabolario.
• L'assenza di punteggiatura, le esitazioni lasciate così come sono e il testo da rilavorare si giocano alla fase 3, che è semplicemente assente dalla maggior parte degli strumenti integrati.
• L'impossibilità di dettare in una data applicazione si gioca alla fase 4, e dipende dall'architettura dello strumento, non dalla qualità del suo riconoscimento.

Resta la domanda che attraversa l'intera catena: l'arbitraggio tra la potenza necessaria alle fasi 2 e 3 e la riservatezza di ciò che dettate. È il vero tema di fondo, e si decide al momento di scegliere uno strumento, non dopo.

Domande frequenti