Hoe werkt spraakherkenning? Spraakdicteren stap voor stap uitgelegd

U drukt op een toets, u spreekt, en enkele seconden later verschijnt een nette zin op het scherm. Daartussen gebeurt veel meer dan de meeste mensen denken: een geluidsgolf wordt een reeks getallen, die getallen worden een beeld, dat beeld wordt tekst, en die tekst wordt ten slotte een correct geschreven zin. Deze gids doorloopt elk van die stappen, zonder onnodig jargon maar ook zonder te versimpelen. Aan het einde begrijpt u waarom uw telefoon u "komma" laat zeggen terwijl andere hulpmiddelen dat zelf regelen, waarom hetzelfde model uw buurman perfect begrijpt en struikelt over de naam van uw cliënt, en waar uw stem onderweg werkelijk naartoe reist.

De vier stappen in vogelvlucht

Elk modern hulpmiddel voor spraakdicteren rust op dezelfde keten. Wat het ene hulpmiddel van het andere onderscheidt, is bijna nooit de eerste stap: het is of zij de derde stap uitvoeren of niet.

Dicteren dat in besturingssystemen en kantoorpakketten is ingebouwd, stopt bij stap 2. Dat geldt voor Windows Spraakinvoer, macOS Dicteren, iOS Dicteren, Gboard-spraaktypen op Android en spraaktypen in Google Docs. Hulpmiddelen die zich "AI" noemen, voegen stap 3 toe, en dat is het hele verschil tussen een transcript en tekst die u zo kunt versturen. We behandelden elk hiervan in onze gidsen over iPhone, Android, Word en Google Docs.

Stap 1: uw stem wordt getallen

Bemonstering

Wanneer u spreekt, brengen uw stembanden de lucht in trilling. Die trilling is een continue variatie in druk. Het membraan van uw microfoon volgt die variaties en zet ze om in een elektrische spanning, waarna de geluidskaart die spanning op regelmatige tussenpozen meet. Elke meting heet een sample.

Voor spraak is de standaard bemonsteringsfrequentie 16.000 samples per seconde, of 16 kHz. Eén minuut dicteren komt dus neer op ongeveer 960.000 getallen. Die 16 kHz is geen willekeurige keuze: het bemonsteringstheorema van Nyquist-Shannon vereist dat u ten minste twee keer zo snel meet als de hoogste frequentie die u wilt behouden. Omdat het grootste deel van de informatie die een "s" van een "f" onderscheidt zich onder 8 kHz bevindt, volstaat 16 kHz. Het is ook waarom dicteren geen cd-kwaliteit van 44,1 kHz nodig heeft: de extra gegevens zouden niets toevoegen aan de herkenning en zouden alleen de rekenkracht en de overdracht opblazen. Dit is ook geen informele conventie: het onderzoeksartikel van Whisper stelt dat alle audio wordt herbemonsterd naar 16.000 Hz voordat het wordt verwerkt.

Het spectrogram: het beeld dat het model werkelijk "ziet"

Een ruwe reeks van 960.000 getallen is erg lastig om rechtstreeks mee te werken. Daarom wordt deze omgezet in iets dat veel leesbaarder is voor een neuraal netwerk.

Het principe: de opname wordt opgedeeld in kleine, overlappende vensters van 25 milliseconden, telkens 10 milliseconden opgeschoven. Voor elk venster berekent een Fourier-transformatie welke frequenties aanwezig zijn en met welke intensiteit. Al die resultaten naast elkaar zetten levert een beeld op: het spectrogram. De horizontale as is tijd, de verticale as is frequentie, en helderheid is de energie die op dat moment bij die frequentie aanwezig is. Die waarden van 25 en 10 milliseconden zijn precies degene die Whisper gebruikt.

Nog één subtiliteit: de frequentie-as is niet lineair, zij is samengedrukt richting het hoge einde. Dit is de mel-schaal, gemodelleerd naar menselijke waarneming, die het verschil tussen 200 en 300 Hz veel fijner onderscheidt dan dat tussen 8.000 en 8.100 Hz. In de praktijk bevat het uiteindelijke beeld slechts enkele tientallen frequentiebanden: Whisper gebruikt er 80, en 128 in zijn versie large-v3. Dat is een enorme reductie van informatie, maar het behoudt precies wat nodig is om spraakklanken van elkaar te onderscheiden.

Stap 2: transcriptie, van beeld naar tekst

Whisper, de facto standaard

Tot ongeveer 2020 steunde spraakherkenning op systemen die uit verschillende afzonderlijke onderdelen waren opgebouwd: een akoestisch model, een uitspraakwoordenboek, een taalmodel. Die werkten, maar vereisten nauwgezette afstelling per taal en verslechterden snel zodra de audio buiten de verwachte omstandigheden viel.

De omslag kwam van end-to-end-modellen, waarvan het bekendste Whisper is, dat OpenAI eind 2022 als opensource heeft uitgebracht. Het belang ervan zit minder in de architectuur dan in de training. De oorspronkelijke versie is getraind op 680.000 uur audio verzameld van het web, samen met de bijbehorende transcripties, waarvan 117.000 uur 96 talen anders dan het Engels beslaat, zoals beschreven in het bijbehorende onderzoeksartikel. De volgende generatie veranderde opnieuw van schaal: de versie large-v3 put uit een miljoen uur zwak gelabelde audio, aangevuld met vier miljoen uur die automatisch zijn getranscribeerd door het vorige model.

Op die schaal heeft het model zoveel stemmen, accenten, matige microfoons en achtergrondgeluiden gezien dat het robuust blijft op alledaagse audio, niet alleen studio-opnamen. Het dekt nu ongeveer honderd talen binnen één model. Dat maakte het de standaard waarop een groot deel van de recente dicteerhulpmiddelen voortbouwt.

Encoder, decoder en tokens

Het model bestaat uit twee helften die na elkaar werken.

• De encoder leest het spectrogram in schijfjes van 30 seconden en condenseert het tot een interne representatie. Zie het als een dichte numerieke samenvatting die, voor elk moment, bewaart wat vanuit spraakoogpunt relevant is en de rest weglaat.
• De decoder produceert de tekst stukje bij beetje. Bij elke stap kijkt hij naar zowel die audiosamenvatting als naar alles wat hij al heeft geschreven, en voorspelt vervolgens het meest waarschijnlijke volgende tekstfragment.

Die fragmenten heten tokens. Een token is geen woord: het lijkt meer op een deel van een woord, vaak drie of vier tekens. Zeer frequente woorden vormen één token, terwijl een zeldzame term er meerdere in beslag neemt. Die opdeling laat het model elke taal en elk nooit eerder geziene woord aan met een woordenschat van redelijke omvang.

Waarom context homofonen elimineert

Hier zit het grootste deel van de vooruitgang van het afgelopen decennium. Omdat de decoder rekening houdt met wat hij al heeft geschreven, kiest hij zijn woorden niet alleen op basis van klank. Neem "word" en "wordt", of "hard" en "hart": deze vormen zijn akoestisch nauwelijks te onderscheiden. Geen enkele signaalverwerking zal ze ooit uit elkaar halen. Een model dat miljoenen zinnen heeft gelezen, weet daarentegen dat "tweehonderd euro" veel waarschijnlijker is dan een onzinnig alternatief dat er hetzelfde uitspreekt.

Hetzelfde mechanisme verklaart de fouten. Het model zoekt niet naar de waarheid, het zoekt naar het meest waarschijnlijke vervolg. Geconfronteerd met een zeldzame eigennaam of een vakterm die dun vertegenwoordigd is in zijn gegevens, zal het vol overtuiging een gangbaar woord voorstellen dat er hetzelfde klinkt. Daarom is een eigen woordenlijst een echt onderwerp, dat wordt behandeld in de volgende stap, niet in deze.

Hoe kwaliteit wordt gemeten: WER

De referentiemaatstaf is WER, of word error rate. Het geproduceerde transcript wordt vergeleken met een referentietranscript geschreven door een mens, drie soorten fouten worden geteld, en het totaal wordt gedeeld door het aantal woorden in de referentie.

• Substituties: een woord is vervangen door een ander.
• Invoegingen: een woord is toegevoegd dat nooit is uitgesproken.
• Weglatingen: een uitgesproken woord is weggelaten.

Een WER van 5% betekent dat één op de twintig woorden fout is. Eén waarschuwing is essentieel: WER betekent niets in het abstracte, het hangt volledig af van het testcorpus. Hetzelfde model kan 3% scoren op audioboekopnamen met een headset en 20% op een vergadering met meerdere sprekers in een galmende ruimte. Twee WER-cijfers zijn alleen vergelijkbaar als ze uit dezelfde evaluatieset komen, iets wat marketingmateriaal zelden vermeldt.

Stap 3: AI-opschoning, wat een transcript van tekst onderscheidt

Stel dat stap 2 perfect was: elk uitgesproken woord correct herkend. Dan hebt u nog altijd geen bruikbare tekst, om een heel eenvoudige reden: u spreekt niet zoals u schrijft. Een getrouw transcript geeft uw aarzelingen, uw herstarts, uw stopwoorden en uw zinnen die halverwege van richting veranderen letterlijk weer. Het is getrouw, en dat is precies het probleem.

Die omzetting is het werk van een groot taalmodel dat achter de transcriptie zit. Concreet regelt het:

• Interpunctie en zinssegmentatie, die u nooit hebt uitgesproken en die dus moet worden afgeleid uit de structuur van wat u zei.
• Verwijdering van aarzelingen en valse starts, zonder de betekenis van wat u bedoelde te veranderen.
• Grammatica en congruentie, vaak los in spraak.
• De verwachte opmaak: een e-mail ziet er niet uit als een interne nota of een kort bericht. De meest capabele hulpmiddelen laten u eigen opmaakregels vastleggen, toegepast op elk dictaat.
• Vaktermen en eigennamen, uit een lijst die de gebruiker aanlevert. Dit is het tegengif voor het hierboven beschreven homofoonprobleem, en het werkt beter dan u zou verwachten: de naam van uw cliënt hoeft niet bekend te zijn bij het transcriptiemodel, hij hoeft alleen bekend te zijn bij de correctiestap, die de exacte spelling herstelt uit een fonetische benadering.

Stap 4: invoeging in uw toepassing

De minst spectaculaire stap, en toch degene die bepaalt of het hulpmiddel dagelijks bruikbaar is. De uiteindelijke tekst moet terechtkomen waar u schrijft, zonder omweg via een klembord of een tussenvenster.

Twee families van hulpmiddelen strijden hier om voorrang. Dicteren gebonden aan één bepaalde toepassing, zoals dat van Word of spraaktypen in Google Docs, werkt alleen binnen die toepassing, soms alleen binnen één specifieke browser. Hulpmiddelen op systeemniveau installeren zich als een laag boven alles: zij luisteren naar een universele sneltoets en schrijven het resultaat vervolgens op de cursorpositie, ongeacht welk venster actief is. Een zoekveld, een e-mail, een ticket, een terminal: alles wat tekst accepteert, accepteert dicteren.

Technisch gebeurt die invoeging ofwel door toetsaanslagen te simuleren, ofwel via de toegankelijkheidsinterfaces van het besturingssysteem. Dit verschil, onzichtbaar in gebruik, verklaart waarom een hulpmiddel perfect kan werken in een tekstverwerker en faalt in een toepassing met ongebruikelijke grafische weergave, zoals bepaalde games of remote-desktopomgevingen.

Hoe lang duurt dit allemaal?

In tegenstelling tot een wijdverbreide intuïtie komt de verwerkingstijd niet overeen met de ervaren wachttijd, omdat niet alle stappen plaatsvinden nadat u stopt met spreken. Opname en voorbereiding van het spectrogram lopen continu door terwijl u praat. Wat rest, zijn transcriptie en opschoning, die worden uitgevoerd wanneer u de sneltoets loslaat.

Drie factoren bepalen het resultaat. Ten eerste de beschikbare rekenkracht: grafische kaarten in datacenters verwerken een opname van meerdere minuten in een fractie van de tijd die een laptop nodig zou hebben. Ten tweede het aantal netwerkretouren, dat een goed ontworpen keten tot een minimum beperkt door transcriptie en opschoning samen te voegen in plaats van ze als twee aparte oproepen te ketenen. Ten derde hoe de audio wordt opgesplitst: omdat het model in schijfjes van 30 seconden redeneert, kan een lange opname parallel in stukken worden verwerkt in plaats van strikt sequentieel.

Daaruit volgt een contra-intuïtief gevolg: de wachttijd groeit niet evenredig met de lengte van het dictaat. Bij een goed ontworpen keten verdubbelt het verdubbelen van de lengte van uw dictaat de wachttijd niet, waardoor lange dictaten aanzienlijk meer de moeite waard zijn dan geïsoleerde zinnen.

Waar draaien deze modellen: uw computer of een server?

De hier beschreven keten is overal dezelfde. Wat van het ene hulpmiddel naar het andere verandert, is waar elke stap wordt uitgevoerd, en die keuze heeft directe gevolgen voor wat u krijgt.

• Alles lokaal. De audio verlaat uw machine nooit, wat het maximum aan privacy is en offline werkt. In de praktijk krijgt u de stappen 1, 2 en 4, zelden 3, bij gebrek aan de rekenkracht die een groot opschoningsmodel vereist.
• Transcriptie en opschoning op een server. Uw audio reist naar infrastructuur die voor deze berekeningen is gebouwd, waardoor de volledige keten mogelijk wordt op elke computer, zelfs een lichte laptop zonder eigen grafische kaart. In ruil daarvoor is een verbinding vereist en bent u afhankelijk van de toezeggingen van de leverancier over bewaring en locatie van gegevens.

Die afweging verdient een eigen behandeling: we gaan er dieper op in bij lokaal versus cloud-spraakdicteren.

De begrippen op een rij

Vier termen worden regelmatig door elkaar gebruikt, ook al verwijzen ze naar verschillende dingen.

Wat kwaliteit werkelijk bepaalt

Met hetzelfde model kunnen resultaten variëren van uitstekend tot slecht. De factoren die het zwaarst wegen, op volgorde:

• De verhouding tussen uw stem en omgevingsgeluid. Niet het volume van het geluid telt, maar het verschil met uw stem. Een headsetmicrofoon, of de ingebouwde microfoons van een recente laptop op een redelijke afstand, volstaan ruimschoots; een microfoon aan de andere kant van een grote ruimte is de grootste enkele bron van kwaliteitsverlies.
• Galm. Een kale ruimte met een hoog plafond kaatst uw stem met vertraging terug, wat de patronen van het spectrogram veel meer vertroebelt dan een constant ventilatorgeluid.
• Tempo en articulatie. Snel spreken is op zich geen probleem, woorduitgangen inslikken wel.
• Eigennamen en vakjargon. Het structurele zwakke punt dat hierboven is uitgelegd, en de reden waarom eigen woordenlijsten bestaan.
• Taal en taalwisseling. Modellen presteren merkbaar beter in het Engels dan elders, simpelweg omdat trainingsgegevens overvloediger zijn. Twee talen binnen één zin afwisselen blijft het lastigste geval.
• Lengte van het fragment. Meer context helpt het model dubbelzinnigheid op te lossen: een dictaat van meerdere zinnen levert vaak betere resultaten op dan drie geïsoleerde woorden.

Wat er onderweg met uw stem gebeurt

Zodra de keten is begrepen, wordt de gegevensvraag veel concreter. Het gaat er niet om of een hulpmiddel abstract "veilig" is, maar om wat er gebeurt met drie duidelijk omschreven objecten: de audio-opname, het ruwe transcript en de uiteindelijke tekst.

Drie vragen volstaan om het onderwerp af te bakenen, en zij gelden voor elk hulpmiddel:

• Worden deze zaken bewaard na verwerking, en zo ja, hoe lang?
• Worden zij hergebruikt om modellen te trainen? Dat is een aparte vraag ten opzichte van bewaring, en die wordt geregeld in de gebruiksvoorwaarden.
• Onder welk rechtsgebied vindt de verwerking plaats? Een server die fysiek in Europa staat maar wordt beheerd door een entiteit die onder Amerikaans recht valt, beantwoordt niet dezelfde vraag als verwerking die in Europa door een Europese entiteit wordt uitgevoerd.

Een stemopname is een persoonsgegeven onder de AVG, en de inhoud ervan kan nog veel gevoeliger zijn, afhankelijk van wat u dicteert. Deze drie punten worden uitgewerkt in onze gids over spraakdicteren en de AVG. Beroepen met een geheimhoudingsplicht vinden specifieke richtlijnen in de gidsen gewijd aan juristen en accountants.

Kernpunten

Spraakdicteren is geen black box. Het is een keten van vier duidelijk omschreven bewerkingen, en bijna elke vraag die mensen erover stellen is terug te voeren op één specifieke stap van die keten.

• Een teleurstellend resultaat in een lawaaierige omgeving gebeurt bij stap 1, en wordt verholpen met een betere microfoon, niet met betere software.
• Een fout op een eigennaam of een vakterm gebeurt bij stap 2, en wordt verholpen met een woordenlijst.
• Ontbrekende interpunctie, aarzelingen die blijven staan en tekst die u moet herwerken, gebeuren bij stap 3, die simpelweg afwezig is in de meeste ingebouwde hulpmiddelen.
• Niet kunnen dicteren in een bepaalde toepassing gebeurt bij stap 4, en hangt af van de architectuur van het hulpmiddel, niet van de kwaliteit van de herkenning.

Dan blijft de vraag over die door de hele keten loopt: de afweging tussen de rekenkracht die stappen 2 en 3 vereisen en de vertrouwelijkheid van wat u dicteert. Dat is het echte onderliggende onderwerp, en het wordt beslist op het moment dat u een hulpmiddel kiest, niet achteraf.

Veelgestelde vragen