Jak działa rozpoznawanie mowy? Dyktowanie głosowe wyjaśnione krok po kroku

Naciskasz klawisz, mówisz, a kilka sekund później na ekranie pojawia się gotowe, poprawne zdanie. Między tymi dwoma momentami dzieje się dużo więcej, niż większości osób się wydaje: fala dźwiękowa zamienia się w ciąg liczb, te liczby stają się obrazem, ten obraz staje się tekstem, a ten tekst wreszcie staje się poprawnie zapisanym zdaniem. Ten przewodnik przechodzi przez każdy z tych etapów, bez zbędnego żargonu, ale też bez nadmiernego uproszczenia. Na końcu zrozumiesz, dlaczego telefon każe Ci mówić „przecinek”, podczas gdy inne narzędzia robią to same, dlaczego ten sam model doskonale rozumie Twojego sąsiada, a gubi się przy nazwisku Twojego klienta, i dokąd Twój głos naprawdę wędruje po drodze.

Cztery etapy w skrócie

Każde nowoczesne narzędzie do dyktowania głosowego opiera się na tym samym łańcuchu. To, co odróżnia jedno narzędzie od drugiego, niemal nigdy nie dotyczy pierwszego etapu: chodzi o to, czy wykonują one etap trzeci.

Dyktowanie wbudowane w systemy operacyjne i pakiety biurowe zatrzymuje się na etapie 2. Dotyczy to pisania głosowego Windows, Dyktowania w macOS, Dyktowania w iOS, pisania głosowego Gboard na Androidzie oraz pisania głosowego w Dokumentach Google. Narzędzia opisywane jako „AI” dodają etap 3, i to właśnie cała różnica między surową transkrypcją a tekstem, który można wysłać bez zmian. Omówiliśmy każde z nich w naszych przewodnikach o iPhonie, Androidzie, Wordzie i Dokumentach Google.

Etap 1: Twój głos staje się liczbami

Próbkowanie

Kiedy mówisz, Twoje struny głosowe wprawiają powietrze w drgania. To drganie jest ciągłą zmianą ciśnienia. Membrana mikrofonu podąża za tymi zmianami i zamienia je na napięcie elektryczne, a karta dźwiękowa mierzy to napięcie w regularnych odstępach. Każdy pomiar nazywa się próbką.

Dla mowy standardowa częstotliwość próbkowania wynosi 16 000 próbek na sekundę, czyli 16 kHz. Jedna minuta dyktowania to więc mniej więcej 960 000 liczb. Ta wartość 16 kHz nie jest przypadkowa: twierdzenie o próbkowaniu Nyquista-Shannona wymaga mierzenia z częstotliwością co najmniej dwa razy większą niż najwyższa częstotliwość, którą chcemy zachować. Ponieważ większość informacji odróżniających „s” od „f” mieści się poniżej 8 kHz, 16 kHz w zupełności wystarcza. To także powód, dla którego dyktowanie nie potrzebuje jakości płyty CD, czyli 44,1 kHz: dodatkowe dane niczego nie wnoszą do rozpoznawania, a jedynie zwiększają obciążenie obliczeniowe i transfer. To też nie jest nieformalna konwencja: praca badawcza Whisper wprost podaje, że każde nagranie audio jest przed przetwarzaniem przepróbkowywane do 16 000 Hz.

Spektrogram: obraz, który model naprawdę „widzi”

Surowy ciąg 960 000 liczb jest bardzo trudny do bezpośredniego przetwarzania. Dlatego zamienia się go w coś dużo bardziej czytelnego dla sieci neuronowej.

Zasada jest taka: nagranie dzieli się na małe, nakładające się na siebie okna po 25 milisekund, przesuwane co 10 milisekund. Dla każdego okna transformata Fouriera wylicza, jakie częstotliwości są obecne i z jaką intensywnością. Ułożenie wszystkich tych wyników obok siebie tworzy obraz: spektrogram. Oś pozioma to czas, oś pionowa to częstotliwość, a jasność oznacza energię obecną przy danej częstotliwości w danym momencie. Te wartości 25 i 10 milisekund to dokładnie te, których używa Whisper.

Ostatnia subtelność: oś częstotliwości nie jest liniowa, jest skompresowana w kierunku wysokich wartości. To skala mel, wzorowana na ludzkiej percepcji, która rozróżnia różnicę między 200 a 300 Hz o wiele dokładniej niż różnicę między 8000 a 8100 Hz. W praktyce finalny obraz zawiera tylko kilkadziesiąt pasm częstotliwości: Whisper używa 80, a w wersji large-v3 aż 128. To ogromna redukcja informacji, ale zachowuje dokładnie to, co pozwala odróżniać od siebie dźwięki mowy.

Etap 2: transkrypcja, od obrazu do tekstu

Whisper, faktyczny standard

Mniej więcej do 2020 roku rozpoznawanie mowy opierało się na systemach złożonych z kilku oddzielnych komponentów: modelu akustycznego, słownika wymowy, modelu językowego. Działały, ale wymagały żmudnego dostrajania dla każdego języka z osobna i szybko traciły na jakości, gdy tylko nagranie wykraczało poza oczekiwane warunki.

Przełom przyniosły modele end-to-end, z których najbardziej znanym jest Whisper, udostępniony na licencji open source przez OpenAI pod koniec 2022 roku. Jego znaczenie tkwi mniej w architekturze, a bardziej w sposobie trenowania. Pierwotna wersja została wytrenowana na 680 000 godzin audio zebranego z sieci wraz z odpowiadającymi im transkrypcjami, z czego 117 000 godzin obejmuje 96 języków innych niż angielski, jak opisano w towarzyszącej pracy badawczej. Kolejna generacja znów zmieniła skalę: wersja large-v3 korzysta z miliona godzin słabo etykietowanego audio, uzupełnionego o cztery miliony godzin transkrybowanych automatycznie przez poprzedni model.

Przy takiej skali model „widział” tak wiele głosów, akcentów, przeciętnych mikrofonów i szumów tła, że pozostaje solidny na codziennych nagraniach, nie tylko studyjnych. Obejmuje teraz w jednym modelu około stu języków. To właśnie sprawiło, że stał się standardem, na którym opiera się spora część najnowszych narzędzi do dyktowania.

Enkoder, dekoder i tokeny

Model składa się z dwóch połówek, które działają jedna po drugiej.

• Enkoder odczytuje spektrogram w 30-sekundowych fragmentach i kondensuje go do wewnętrznej reprezentacji. Można to sobie wyobrazić jako gęste, liczbowe streszczenie, które dla każdej chwili zachowuje to, co istotne z punktu widzenia mowy, a resztę odrzuca.
• Dekoder tworzy tekst fragment po fragmencie. Na każdym kroku patrzy zarówno na to streszczenie audio, jak i na wszystko, co już napisał, a następnie przewiduje najbardziej prawdopodobny kolejny fragment tekstu.

Te fragmenty nazywa się tokenami. Token to nie słowo: to raczej fragment słowa, często o długości trzech lub czterech znaków. Bardzo częste słowa tworzą pojedynczy token, podczas gdy rzadki termin zajmuje ich kilka. Ten podział pozwala modelowi obsłużyć dowolny język i dowolne, wcześniej niewidziane słowo, przy słowniku rozsądnych rozmiarów.

Dlaczego kontekst eliminuje homofony

Tu właśnie kryje się większość postępu z ostatniej dekady. Ponieważ dekoder bierze pod uwagę to, co już napisał, nie wybiera słów wyłącznie na podstawie brzmienia. Weźmy angielskie „their”, „there” i „they're”, albo „to”, „too” i „two”: te formy brzmią akustycznie identycznie. Żadne przetwarzanie sygnału nigdy ich nie rozróżni. Model, który przeczytał miliony zdań, wie natomiast, że „two hundred euros” jest dużo bardziej prawdopodobne niż „too hundred euros”.

Ten sam mechanizm tłumaczy błędy. Model nie szuka prawdy, szuka najbardziej prawdopodobnej kontynuacji. W obliczu rzadkiej nazwy własnej albo terminu branżowego słabo reprezentowanego w danych, pewnie zaproponuje pospolite słowo, które brzmi tak samo. Dlatego własne słownictwo to prawdziwy temat, obsługiwany na kolejnym etapie, a nie na tym.

Jak mierzy się jakość: WER

Metryką referencyjną jest WER, czyli wskaźnik błędów słów (word error rate). Wygenerowaną transkrypcję porównuje się z transkrypcją referencyjną napisaną przez człowieka, liczy się trzy rodzaje błędów, a sumę dzieli przez liczbę słów w tekście referencyjnym.

• Podstawienia: jedno słowo zostało zastąpione innym.
• Wstawienia: dodano słowo, które nigdy nie zostało wypowiedziane.
• Usunięcia: pominięto wypowiedziane słowo.

WER na poziomie 5% oznacza, że błędne jest jedno słowo na dwadzieścia. Jedno zastrzeżenie jest jednak niezbędne: WER nic nie znaczy w oderwaniu od kontekstu, zależy całkowicie od zbioru testowego. Ten sam model może uzyskać 3% na nagraniach audiobooków zarejestrowanych na słuchawkach z mikrofonem i 20% na wielogłosowym spotkaniu w pogłosowym pomieszczeniu. Dwie wartości WER są porównywalne tylko wtedy, gdy pochodzą z tego samego zbioru ewaluacyjnego, a materiały marketingowe rzadko to precyzują.

Etap 3: czyszczenie przez AI, co odróżnia transkrypcję od tekstu

Załóżmy, że etap 2 byłby doskonały: każde wypowiedziane słowo poprawnie rozpoznane. Mimo to nie miałbyś użytecznego tekstu, z bardzo prostego powodu: nie mówisz tak, jak piszesz. Wierna transkrypcja odtwarza Twoje wahania, poprawki w trakcie mówienia, słowa wypełniające i zdania, które w połowie zmieniają kierunek. Jest wierna, i to jest dokładnie ten problem.

Ta przemiana to praca dużego modelu językowego działającego za transkrypcją. Konkretnie zajmuje się on:

• Interpunkcją i podziałem na zdania, których nigdy nie wypowiedziałeś na głos i które trzeba wywnioskować ze struktury tego, co powiedziałeś.
• Usuwaniem wahań i przerwanych, niedokończonych fragmentów, bez zmiany sensu tego, co miałeś na myśli.
• Gramatyką i zgodnością form, często luźną w mowie.
• Oczekiwanym formatowaniem: e-mail nie wygląda tak samo jak notatka wewnętrzna czy krótka wiadomość. Najbardziej zaawansowane narzędzia pozwalają zdefiniować własne zasady formatowania, stosowane do każdego dyktowania.
• Słownictwem branżowym i nazwami własnymi z listy dostarczonej przez użytkownika. To lekarstwo na opisany wyżej problem homofonów, i działa lepiej, niż mogłoby się wydawać: model transkrypcji nie musi znać nazwiska Twojego klienta, musi je znać jedynie etap korekty, który odtwarza dokładną pisownię na podstawie fonetycznego przybliżenia.

Etap 4: wstawianie do aplikacji

Najmniej efektowny etap, a jednak to on decyduje, czy narzędzie nadaje się do codziennego użytku. Gotowy tekst musi trafić dokładnie tam, gdzie piszesz, bez objazdu przez schowek czy pośrednie okno.

Rywalizują tu dwie rodziny narzędzi. Dyktowanie przypisane do konkretnej aplikacji, jak pisanie głosowe w Wordzie czy w Dokumentach Google, działa tylko wewnątrz tej aplikacji, czasem tylko w jednej konkretnej przeglądarce. Narzędzia systemowe instalują się jako warstwa ponad wszystkim innym: nasłuchują globalnego skrótu klawiszowego, a następnie zapisują wynik w miejscu kursora, niezależnie od tego, które okno jest aktywne. Pole wyszukiwania, e-mail, zgłoszenie, terminal: wszystko, co przyjmuje tekst, przyjmuje też dyktowanie.

Technicznie to wstawianie odbywa się albo poprzez symulowanie naciśnięć klawiszy, albo przez interfejsy dostępności systemu operacyjnego. Ta różnica, niewidoczna podczas korzystania, wyjaśnia, dlaczego narzędzie może działać bezbłędnie w edytorze tekstu, a zawodzić w aplikacji o nietypowym renderowaniu grafiki, takiej jak niektóre gry czy środowiska pulpitu zdalnego.

Ile to wszystko trwa?

Wbrew powszechnej intuicji czas przetwarzania nie przekłada się wprost na odczuwane oczekiwanie, ponieważ nie wszystkie etapy zachodzą dopiero po tym, jak przestajesz mówić. Przechwytywanie i przygotowanie spektrogramu działają na bieżąco, w trakcie mówienia. Pozostają transkrypcja i czyszczenie, które wykonują się, gdy puszczasz skrót klawiszowy.

Wynik zależy głównie od trzech czynników. Po pierwsze, dostępna moc obliczeniowa: karty graficzne w centrach danych przetwarzają kilkuminutowe nagranie w ułamku czasu, jaki zająłby laptopowi. Po drugie, liczba przejść sieciowych, którą dobrze zaprojektowany łańcuch ogranicza do minimum, łącząc transkrypcję i czyszczenie zamiast wywoływać je jako dwa oddzielne zapytania. Po trzecie, sposób podziału audio: ponieważ model rozumuje we fragmentach 30-sekundowych, długie nagranie można przetwarzać równolegle w częściach, zamiast ściśle sekwencyjnie.

Wynika z tego jeden nieoczywisty wniosek: czas oczekiwania nie rośnie proporcjonalnie do długości dyktowania. W dobrze zaprojektowanym łańcuchu podwojenie długości dyktowania nie podwaja czasu oczekiwania, co sprawia, że długie dyktowanie opłaca się znacznie bardziej niż pojedyncze, wyizolowane frazy.

Gdzie działają te modele: na Twoim komputerze czy na serwerze?

Opisany tu łańcuch jest wszędzie taki sam. To, co zmienia się od narzędzia do narzędzia, to miejsce wykonania każdego etapu, a ten wybór ma bezpośrednie konsekwencje dla tego, co otrzymujesz.

• Wszystko lokalnie. Audio nigdy nie opuszcza Twojego urządzenia, co jest maksimum pod względem prywatności i działa offline. W praktyce otrzymujesz etapy 1, 2 i 4, rzadko etap 3, z braku mocy obliczeniowej, jakiej wymaga duży model czyszczący.
• Transkrypcja i czyszczenie na serwerze. Twoje audio trafia do infrastruktury zbudowanej do tych obliczeń, co umożliwia pełny łańcuch na dowolnym komputerze, nawet lekkim laptopie bez dedykowanej karty graficznej. W zamian wymagane jest połączenie, a Ty zależysz od zobowiązań dostawcy dotyczących przechowywania danych i ich lokalizacji.

Ten kompromis zasługuje na osobne omówienie: opisaliśmy go szczegółowo w artykule dyktowanie głosowe lokalnie a w chmurze.

Słownictwo, uporządkowane

Cztery pojęcia są regularnie używane zamiennie, choć oznaczają różne rzeczy.

Co naprawdę decyduje o jakości

Przy tym samym modelu wyniki mogą wahać się od doskonałych do słabych. Czynniki, które mają największe znaczenie, w kolejności:

• Stosunek Twojego głosu do szumu otoczenia. Liczy się nie głośność szumu, lecz różnica między nim a Twoim głosem. Mikrofon w słuchawkach albo wbudowane mikrofony nowszego laptopa w rozsądnej odległości w zupełności wystarczą; mikrofon po drugiej stronie dużego pomieszczenia to pojedyncze największe źródło pogorszenia jakości.
• Pogłos. Puste pomieszczenie z wysokim sufitem odbija Twój głos z opóźnieniem, co znacznie bardziej zaciera wzory na spektrogramie niż stały szum wentylatora.
• Tempo i artykulacja. Szybkie mówienie samo w sobie nie jest problemem, problemem jest połykanie końcówek słów.
• Nazwy własne i żargon. Strukturalny słaby punkt opisany powyżej, i powód, dla którego istnieją własne listy słownictwa.
• Język i mieszanie języków. Modele są wyraźnie lepsze w języku angielskim niż w innych, po prostu dlatego, że dane treningowe są obfitsze. Przełączanie się między dwoma językami w obrębie jednego zdania wciąż pozostaje najtrudniejszym przypadkiem.
• Długość fragmentu. Więcej kontekstu pomaga modelowi rozstrzygać niejednoznaczności: dyktowanie kilku zdań często daje lepsze wyniki niż trzy wyizolowane słowa.

Co dzieje się z Twoim głosem po drodze

Gdy rozumiesz już ten łańcuch, kwestia danych staje się dużo bardziej konkretna. Nie chodzi o to, czy narzędzie jest „bezpieczne” w oderwaniu od kontekstu, ale o to, co dzieje się z trzema jasno określonymi elementami: nagraniem audio, surową transkrypcją i ostatecznym tekstem.

Trzy pytania wystarczą, by ująć ten temat, i dotyczą one każdego narzędzia:

• Czy te elementy są przechowywane po przetworzeniu, a jeśli tak, to jak długo?
• Czy są ponownie wykorzystywane do trenowania modeli? To osobne pytanie od kwestii przechowywania, rozstrzygane w regulaminie usługi.
• Jakiej jurysdykcji podlega przetwarzanie? Serwer fizycznie zlokalizowany w Europie, ale obsługiwany przez podmiot podlegający prawu USA, nie odpowiada na to samo pytanie co przetwarzanie prowadzone w Europie przez europejski podmiot.

Nagranie głosowe jest daną osobową w rozumieniu RODO, a jego treść może być znacznie bardziej wrażliwa, zależnie od tego, co dyktujesz. Te trzy kwestie omawiamy szczegółowo w naszym przewodniku dyktowanie głosowe a RODO. Zawody związane obowiązkiem zachowania poufności znajdą konkretne wskazówki w przewodnikach dla prawników i księgowych.

Najważniejsze wnioski

Dyktowanie głosowe nie jest czarną skrzynką. To łańcuch czterech jasno określonych operacji, a niemal każde pytanie, jakie ludzie o nie zadają, sprowadza się do jednego konkretnego etapu tego łańcucha.

• Rozczarowujący wynik w hałaśliwym otoczeniu to sprawa etapu 1, i naprawia go lepszy mikrofon, a nie lepsze oprogramowanie.
• Błąd w nazwie własnej lub terminie branżowym to sprawa etapu 2, i naprawia go lista słownictwa.
• Brak interpunkcji, pozostawione wahania i tekst, który trzeba przerobić, to sprawa etapu 3, który w większości wbudowanych narzędzi po prostu nie istnieje.
• Niemożność dyktowania w danej aplikacji to sprawa etapu 4, i zależy od architektury narzędzia, a nie od jakości jego rozpoznawania.

Pozostaje pytanie, które przewija się przez cały łańcuch: kompromis między mocą obliczeniową, jakiej wymagają etapy 2 i 3, a poufnością tego, co dyktujesz. To prawdziwy temat leżący u podstaw wszystkiego, i rozstrzyga się go w momencie wyboru narzędzia, nie później.

Najczęściej zadawane pytania