Wie Spracherkennung funktioniert: der komplette Leitfaden

Sie drücken eine Taste, Sie sprechen, und wenige Sekunden später erscheint ein sauberer Satz auf dem Bildschirm. Dazwischen passiert deutlich mehr, als die meisten vermuten: Eine Schallwelle wird zu einer Zahlenfolge, diese Zahlen werden zu einem Bild, dieses Bild wird zu Text, und dieser Text wird schließlich zu einem korrekt geschriebenen Satz. Dieser Leitfaden geht jede dieser Stufen durch, ohne unnötigen Fachjargon, aber auch ohne unzulässige Vereinfachung. Am Ende verstehen Sie, warum die Diktierfunktion Ihres Telefons Sie „Komma“ sagen lässt, während andere Werkzeuge das selbst erledigen, warum dasselbe Modell Ihren Nachbarn einwandfrei versteht und am Namen Ihres Mandanten scheitert, und wohin Ihre Stimme dabei tatsächlich unterwegs ist.

Die vier Stufen im Überblick

Jedes moderne Sprachdiktat beruht auf derselben Kette. Was die Werkzeuge voneinander unterscheidet, ist fast nie die erste Stufe, sondern die Frage, ob sie die dritte ausführen oder nicht.

Die in Betriebssysteme und Büropakete integrierten Diktierfunktionen hören bei Stufe 2 auf. Das gilt für die Spracheingabe von Windows, das Diktat von macOS, das von iOS, die Spracheingabe von Gboard unter Android und die Spracheingabe von Google Docs. Als „KI“ bezeichnete Werkzeuge ergänzen Stufe 3, und darin liegt der ganze Unterschied zwischen einer Transkription und einem Text, den Sie unverändert versenden können. Das Verhalten der einzelnen Lösungen haben wir in unseren Leitfäden zu iPhone, Android, Word und Google Docs im Einzelnen beschrieben.

Stufe 1: Ihre Stimme wird zu Zahlen

Die Abtastung

Wenn Sie sprechen, versetzen Ihre Stimmbänder die Luft in Schwingung. Diese Schwingung ist eine kontinuierliche Druckschwankung. Die Membran Ihres Mikrofons folgt diesen Schwankungen und wandelt sie in eine elektrische Spannung um, und die Soundkarte misst diese Spannung anschließend in regelmäßigen Abständen. Jede Messung heißt Abtastwert.

Für Sprache liegt die Standard-Abtastrate bei 16.000 Abtastwerten pro Sekunde, also 16 kHz. Eine Minute Diktat entspricht damit etwa 960.000 Zahlen. Dieser Wert von 16 kHz ist nicht willkürlich: Das Nyquist-Shannon-Abtasttheorem verlangt, mindestens doppelt so schnell zu messen wie die höchste Frequenz, die man erhalten will. Da der Großteil der Information, die ein „s“ von einem „f“ unterscheidet, unterhalb von 8 kHz liegt, genügen 16 kHz. Deshalb braucht Diktieren auch keine CD-Qualität mit 44,1 kHz: Die zusätzlichen Daten würden der Erkennung nichts bringen und lediglich Rechenaufwand und Übertragung aufblähen. Das ist keine informelle Konvention, das Whisper-Forschungspapier hält ausdrücklich fest, dass sämtliches Audiomaterial vor der Verarbeitung auf 16.000 Hz umgerechnet wird.

Das Spektrogramm: das Bild, das das Modell tatsächlich „sieht“

Eine rohe Folge von 960.000 Zahlen lässt sich nur schwer direkt verwerten. Sie wird deshalb in etwas umgewandelt, das für ein neuronales Netz sehr viel besser lesbar ist.

Das Prinzip: Die Aufnahme wird in kleine, sich überlappende Fenster von 25 Millisekunden zerlegt, die jeweils um 10 Millisekunden weiterrücken. Für jedes Fenster ermittelt eine Fourier-Transformation, welche Frequenzen mit welcher Intensität vorhanden sind. Reiht man all diese Ergebnisse nebeneinander, entsteht ein Bild: das Spektrogramm. Die waagerechte Achse steht für die Zeit, die senkrechte für die Frequenzen, und die Helligkeit für die Energie, die zu diesem Zeitpunkt bei dieser Frequenz vorliegt. Diese Werte von 25 und 10 Millisekunden sind exakt jene, die Whisper verwendet.

Eine letzte Feinheit: Die Frequenzachse ist nicht linear, sondern zu den Höhen hin gestaucht. Man spricht von der Mel-Skala, die der menschlichen Wahrnehmung nachempfunden ist und den Abstand zwischen 200 und 300 Hz weit feiner auflöst als den zwischen 8.000 und 8.100 Hz. Konkret enthält das fertige Bild nur einige Dutzend Frequenzbänder: Whisper nutzt 80, in der Version large-v3 128. Das ist eine massive Reduktion der Information, die aber genau das bewahrt, was die Laute der Sprache unterscheidbar macht.

Stufe 2: die Transkription, vom Bild zum Text

Whisper, der De-facto-Standard

Bis etwa 2020 beruhte Spracherkennung auf Systemen, die aus mehreren getrennten Bausteinen zusammengesetzt waren: einem akustischen Modell, einem Aussprachewörterbuch und einem Sprachmodell. Sie funktionierten, verlangten aber eine mühsame Feinabstimmung je Sprache und brachen schnell ein, sobald das Audiomaterial von den erwarteten Bedingungen abwich.

Die Wende brachten Ende-zu-Ende-Modelle, von denen Whisper das bekannteste ist, Ende 2022 von OpenAI als Open Source veröffentlicht. Seine Bedeutung liegt weniger in der Architektur als im Training. Die ursprüngliche Version wurde mit 680.000 Stunden Audiomaterial trainiert, das samt zugehöriger Transkripte aus dem Web stammt, davon 117.000 Stunden in 96 anderen Sprachen als Englisch, wie das zugehörige Forschungspapier ausführt. Die nächste Generation hat die Größenordnung erneut verändert: Die Version large-v3 stützt sich auf eine Million Stunden schwach annotiertes Audiomaterial, ergänzt um vier Millionen Stunden, die das Vorgängermodell automatisch transkribiert hat.

In dieser Größenordnung hat das Modell so viele Stimmen, Akzente, mittelmäßige Mikrofone und Hintergrundgeräusche gesehen, dass es bei alltäglichem Ton robust bleibt und nicht nur bei Studioaufnahmen. Es deckt heute rund hundert Sprachen in einem einzigen Modell ab. Genau das hat es zu dem Standard gemacht, auf dem ein guter Teil der neueren Diktierwerkzeuge aufsetzt.

Encoder, Decoder und Tokens

Das Modell besteht aus zwei Hälften, die nacheinander arbeiten.

• Der Encoder liest das Spektrogramm in Abschnitten von 30 Sekunden und verdichtet es zu einer internen Repräsentation. Sie können sich das als dichte numerische Zusammenfassung vorstellen, die für jeden Zeitpunkt behält, was aus Sicht der Sprache zählt, und den Rest verwirft.
• Der Decoder erzeugt den Text Stück für Stück. Bei jedem Schritt betrachtet er sowohl diese Audio-Zusammenfassung als auch alles, was er bereits geschrieben hat, und sagt dann das wahrscheinlichste nächste Textfragment voraus.

Diese Fragmente heißen Tokens. Ein Token ist kein Wort, sondern eher ein Wortstück, oft drei oder vier Zeichen lang. Sehr häufige Wörter bilden ein einziges Token, während ein seltener Begriff wie „Verwaltungsvereinfachung“ mehrere belegt. Diese Zerlegung erlaubt es dem Modell, jede Sprache und jedes unbekannte Wort mit einem Vokabular vertretbarer Größe zu verarbeiten.

Warum der Kontext Homophone ausschaltet

Hier liegt der wesentliche Fortschritt der letzten zehn Jahre. Weil der Decoder berücksichtigt, was er bereits geschrieben hat, wählt er seine Wörter nicht allein nach dem Klang. Nehmen Sie „Meer“ und „mehr“, „Seite“ und „Saite“, „wieder“ und „wider“: Diese Formen sind akustisch identisch. Keine Signalverarbeitung wird sie je auseinanderhalten. Ein Modell dagegen, das Millionen Sätze gelesen hat, weiß, dass „mehr Zeit“ sehr viel wahrscheinlicher ist als „Meer Zeit“.

Derselbe Mechanismus erklärt die Fehler. Das Modell sucht nicht die Wahrheit, es sucht die wahrscheinlichste Fortsetzung. Bei einem seltenen Eigennamen oder einem in seinen Daten kaum vertretenen Fachbegriff schlägt es mit voller Überzeugung ein häufiges Wort vor, das gleich klingt. Deshalb ist eigenes Fachvokabular ein echtes Thema, das allerdings in der nächsten Stufe behandelt wird und nicht in dieser.

Wie Qualität gemessen wird: die WER

Die maßgebliche Kennzahl ist die WER, englisch Word Error Rate, also die Wortfehlerrate. Man vergleicht die erzeugte Transkription mit einer von einem Menschen erstellten Referenz, zählt drei Fehlerarten und setzt die Summe ins Verhältnis zur Wortzahl der Referenz.

• Ersetzungen: Ein Wort wurde durch ein anderes ersetzt.
• Einfügungen: Ein Wort wurde ergänzt, das nie gesprochen wurde.
• Auslassungen: Ein gesprochenes Wort fehlt.

Eine WER von 5 % bedeutet, dass eines von zwanzig Wörtern falsch ist. Eine Vorsicht ist allerdings geboten: Die WER ist für sich genommen aussagelos, sie hängt vollständig vom Testkorpus ab. Dasselbe Modell kann bei Hörbuchlesungen, die mit Headset aufgenommen wurden, 3 % erreichen und bei einer Besprechung mit mehreren Stimmen in einem halligen Raum 20 %. Zwei WER-Werte sind nur vergleichbar, wenn sie sich auf denselben Prüfdatensatz beziehen, was Werbematerial selten angibt.

Stufe 3: die KI-Bereinigung, was Transkription von Text trennt

Nehmen wir an, Stufe 2 wäre perfekt: Jedes gesprochene Wort korrekt erkannt. Sie hätten trotzdem keinen verwendbaren Text, und zwar aus einem sehr einfachen Grund: Sie sprechen nicht so, wie Sie schreiben. Eine getreue Transkription gibt Ihr Zögern wieder, Ihre Neuansätze, Ihre Füllwörter und Ihre Sätze, die auf halber Strecke die Richtung wechseln. Sie ist getreu, und genau das ist das Problem.

Diese Umwandlung ist die Arbeit eines großen Sprachmodells, das hinter der Transkription sitzt. Konkret übernimmt es:

• Zeichensetzung und Satzgliederung, die Sie nicht mitgesprochen haben und die daher aus dem Aufbau des Gesagten erschlossen werden müssen.
• Das Entfernen von Zögern und Fehlstarts, ohne den Sinn dessen zu verändern, was Sie sagen wollten.
• Grammatik und Deklination, mündlich häufig ungenau, gerade bei Kasus und Wortstellung.
• Die erwartete Formatierung: Eine E-Mail sieht anders aus als eine interne Notiz oder eine kurze Nachricht. Die ausgereiftesten Werkzeuge lassen eigene Formatierungsregeln festlegen, die bei jedem Diktat angewendet werden.
• Fachvokabular und Eigennamen, auf Basis einer vom Nutzer hinterlegten Liste. Das ist das Gegenmittel zum oben beschriebenen Homophon-Problem, und es wirkt besser, als man meint: Der Name Ihres Mandanten muss dem Transkriptionsmodell gar nicht bekannt sein, er muss nur der Korrekturstufe bekannt sein, die aus einer lautlichen Annäherung die exakte Schreibweise wiederherstellt.

Stufe 4: das Einfügen in Ihre Anwendung

Die unspektakulärste Stufe, und doch diejenige, die entscheidet, ob das Werkzeug im Alltag brauchbar ist. Der fertige Text muss dort ankommen, wo Sie schreiben, ohne Umweg über eine Zwischenablage oder ein Zwischenfenster.

Hier stehen sich zwei Familien gegenüber. An eine bestimmte Anwendung gebundene Diktierfunktionen, etwa die von Word oder die Spracheingabe von Google Docs, funktionieren nur innerhalb dieser Anwendung, teils sogar nur in einem bestimmten Browser. Systemweite Werkzeuge legen sich dagegen als Schicht über alles Übrige: Sie horchen auf ein globales Tastenkürzel und schreiben das Ergebnis an die Cursorposition, unabhängig davon, welches Fenster gerade aktiv ist. Ein Suchfeld, eine E-Mail, ein Ticket, ein Terminal: Alles, was Text annimmt, nimmt auch Diktat an.

Technisch erfolgt dieses Einfügen entweder über simulierte Tastenanschläge oder über die Bedienungshilfen-Schnittstellen des Betriebssystems. Dieser im Gebrauch unsichtbare Unterschied erklärt, warum ein Werkzeug in einer Textverarbeitung einwandfrei arbeitet und in einer Anwendung mit besonderer Grafikausgabe scheitert, etwa in manchen Spielen oder Remote-Umgebungen.

Wie lange dauert das alles?

Entgegen einer verbreiteten Annahme entspricht die Verarbeitungszeit nicht der empfundenen Wartezeit, denn nicht alle Stufen laufen erst ab, nachdem Sie zu Ende gesprochen haben. Aufnahme und Aufbereitung des Spektrogramms laufen fortlaufend mit, während Sie sprechen. Übrig bleiben Transkription und Bereinigung, die beim Loslassen des Tastenkürzels ausgeführt werden.

Drei Faktoren bestimmen das Ergebnis. Erstens die verfügbare Rechenleistung: Grafikkarten im Rechenzentrum verarbeiten eine mehrminütige Aufnahme in einem Bruchteil der Zeit, die ein Notebook dafür benötigt. Zweitens die Zahl der Netzwerk-Umläufe, die eine gut entworfene Kette auf ein Minimum senkt, indem sie Transkription und Bereinigung zusammenführt, statt sie als zwei getrennte Aufrufe hintereinanderzuschalten. Drittens die Aufteilung des Audiomaterials: Da das Modell in Abschnitten von 30 Sekunden arbeitet, lässt sich eine lange Aufnahme in parallelen Teilstücken verarbeiten statt streng nacheinander.

Daraus folgt ein gegenintuitiver Punkt: Die Wartezeit wächst nicht proportional zur Länge des Diktats. In einer gut entworfenen Kette verdoppelt eine doppelt so lange Diktatstrecke die Wartezeit nicht, was lange Diktate deutlich lohnender macht als einzelne Sätze.

Wo laufen diese Modelle: auf Ihrem Rechner oder auf einem Server?

Die hier beschriebene Kette ist überall dieselbe. Was sich von Werkzeug zu Werkzeug unterscheidet, ist der Ort, an dem jede Stufe ausgeführt wird, und diese Wahl wirkt sich unmittelbar auf das Ergebnis aus.

• Alles lokal. Das Audiomaterial verlässt Ihren Rechner nie, was datenschutzrechtlich das Maximum darstellt und offline funktioniert. In der Praxis erhalten Sie die Stufen 1, 2 und 4, selten die 3, weil die Rechenleistung für ein großes Bereinigungsmodell fehlt.
• Transkription und Bereinigung auf einem Server. Ihr Audiomaterial wandert auf eine für diese Berechnungen ausgelegte Infrastruktur, wodurch die vollständige Kette auf jedem Rechner möglich wird, auch auf einem leichten Notebook ohne eigene Grafikkarte. Im Gegenzug ist eine Verbindung erforderlich, und Sie hängen von den Zusagen des Anbieters zu Speicherung und Datenstandort ab.

Diese Abwägung verdient eine eigene Betrachtung: Wir haben sie unter lokales vs. Cloud-Sprachdiktat ausgeführt.

Die Begriffe, sauber getrennt

Vier Begriffe werden regelmäßig füreinander verwendet, obwohl sie Verschiedenes bezeichnen.

Was die Qualität wirklich bestimmt

Bei gleichem Modell kann das Ergebnis von ausgezeichnet bis mittelmäßig reichen. Die Faktoren mit dem größten Gewicht, der Reihe nach:

• Das Verhältnis zwischen Ihrer Stimme und dem Umgebungsgeräusch. Entscheidend ist nicht die Lautstärke des Geräuschs, sondern sein Abstand zu Ihrer Stimme. Ein Headset-Mikrofon oder die Mikrofone eines neueren Notebooks in vernünftigem Abstand genügen völlig; ein Mikrofon am anderen Ende eines großen Raums ist der wichtigste Verschlechterungsfaktor.
• Der Nachhall. Ein kahler Raum mit hoher Decke wirft Ihre Stimme zeitversetzt zurück, was die Muster des Spektrogramms weit stärker verwischt als ein gleichmäßiges Lüftergeräusch.
• Sprechtempo und Artikulation. Schnelles Sprechen ist an sich kein Problem, verschluckte Wortenden schon.
• Eigennamen und Fachjargon. Die strukturelle Schwachstelle, die oben erläutert wurde, und der Grund für eigene Vokabellisten.
• Sprache und Sprachmischung. Die Modelle sind im Englischen deutlich besser als anderswo, schlicht weil dort mehr Trainingsdaten vorliegen. Zwei Sprachen innerhalb eines Satzes zu wechseln bleibt der schwierigste Fall.
• Die Länge der Passagen. Mehr Kontext hilft dem Modell, Mehrdeutigkeiten aufzulösen: Ein Diktat über mehrere Sätze liefert oft ein besseres Ergebnis als drei einzelne Wörter.

Was dabei mit Ihrer Stimme geschieht

Sobald man die Kette verstanden hat, wird die Datenfrage sehr viel konkreter. Es geht nicht darum, ob ein Werkzeug abstrakt „sicher“ ist, sondern darum, was mit drei klar benannten Objekten geschieht: der Audioaufnahme, der rohen Transkription und dem fertigen Text.

Drei Fragen genügen, um das Thema einzugrenzen, und sie gelten für jedes Werkzeug:

• Werden diese Elemente nach der Verarbeitung gespeichert, und wenn ja, wie lange?
• Werden sie zum Training von Modellen weiterverwendet? Das ist eine von der Speicherung getrennte Frage und wird in den Nutzungsbedingungen geregelt.
• Unter welcher Rechtsordnung findet die Verarbeitung statt? Ein physisch in Europa stehender Server, der von einer dem US-Recht unterliegenden Einheit betrieben wird, beantwortet nicht dieselbe Frage wie eine Verarbeitung, die in Europa von einer europäischen Einheit durchgeführt wird.

Eine Sprachaufnahme ist ein personenbezogenes Datum im Sinne der DSGVO, und ihr Inhalt kann je nach Diktiertem noch weit sensibler sein. Diese drei Punkte führt unser Leitfaden zu Sprachdiktat und DSGVO im Einzelnen aus. Berufe mit Verschwiegenheitspflicht finden konkrete Anhaltspunkte in den Leitfäden für Anwälte und Juristen sowie für Steuerberater.

Was Sie sich merken sollten

Sprachdiktat ist keine Blackbox. Es ist eine Kette aus vier klar benannten Vorgängen, und fast jede Frage, die man sich dazu stellt, lässt sich auf eine bestimmte Stufe dieser Kette zurückführen.

• Ein enttäuschendes Ergebnis in lauter Umgebung entsteht auf Stufe 1 und wird mit einem besseren Mikrofon behoben, nicht mit besserer Software.
• Ein Fehler bei einem Eigennamen oder einem Fachbegriff entsteht auf Stufe 2 und wird mit einer Vokabelliste behoben.
• Fehlende Zeichensetzung, stehengebliebenes Zögern und nachzuarbeitender Text entstehen auf Stufe 3, die bei den meisten integrierten Werkzeugen schlicht fehlt.
• Dass sich in einer bestimmten Anwendung nicht diktieren lässt, entsteht auf Stufe 4 und hängt von der Architektur des Werkzeugs ab, nicht von der Qualität seiner Erkennung.

Bleibt die Frage, die sich durch die gesamte Kette zieht: die Abwägung zwischen der Rechenleistung, die die Stufen 2 und 3 verlangen, und der Vertraulichkeit dessen, was Sie diktieren. Das ist das eigentliche Grundthema, und es entscheidet sich bei der Wahl des Werkzeugs, nicht danach.

Häufige Fragen