Näin puheentunnistus ja sanelu toimivat: täydellinen opas (2026)

Painat näppäintä, puhut, ja muutaman sekunnin kuluttua puhdas lause ilmestyy ruudulle. Näiden kahden hetken välillä tapahtuu paljon enemmän kuin luulisi: ääniaallosta tulee lukusarja, näistä luvuista tulee kuva, siitä kuvasta tulee tekstiä, ja lopulta siitä tekstistä tulee oikein kirjoitettu lause. Tämä opas käy läpi jokaisen näistä vaiheista, ilman turhaa jargonia mutta liikaa yksinkertaistamatta. Lopussa ymmärrät, miksi puhelimesi sanelu pakottaa sinut sanomaan "pilkku", kun taas muut työkalut hoitavat sen itse, miksi sama malli ymmärtää naapurisi täydellisesti mutta kompastuu asiakkaasi nimeen, ja minne äänesi oikeasti päätyy prosessin aikana.

Neljä vaihetta lyhyesti

Kaikki nykyaikainen puhesanelu perustuu samaan ketjuun. Se mikä erottaa työkalut toisistaan, ei ole juuri koskaan ensimmäinen vaihe: se on se, ajetaanko kolmas vaihe vai ei.

Käyttöjärjestelmiin ja toimisto-ohjelmiin sisäänrakennetut sanelutyökalut pysähtyvät vaiheeseen 2. Näin toimivat Windowsin äänisyöttö, macOS:n sanelu, iOS:n vastaava, Gboardin äänisyöttö Androidilla ja Google Docsin äänikirjoitus. "Tekoälyksi" kutsutut työkalut lisäävät vaiheen 3, ja juuri siinä on koko ero litteroinnin ja suoraan lähetettävän tekstin välillä. Olemme käyneet läpi jokaisen työkalun käyttäytymisen oppaissamme iPhonesta, Androidista, Wordista ja Googlen äänityökaluista.

Vaihe 1: äänesi muuttuu luvuiksi

Näytteenotto

Kun puhut, äänihuulesi saavat ilman värähtelemään. Tuo värähtely on jatkuvaa paineenvaihtelua. Mikrofonisi kalvo seuraa näitä vaihteluita ja muuttaa ne sähköjännitteeksi, ja sitten äänikortti mittaa tuon jännitteen säännöllisin väliajoin. Jokaista mittausta kutsutaan näytteeksi.

Puheelle vakiona käytetty näytteenottotaajuus on 16 000 näytettä sekunnissa, eli 16 kHz. Minuutin sanelu vastaa siis noin 960 000 lukua. Luku 16 kHz ei ole mielivaltainen: Nyquist-Shannonin näytteenottoteoreema vaatii mittaamaan vähintään kaksi kertaa nopeammin kuin korkein taajuus, joka halutaan säilyttää. Koska suurin osa tiedosta, joka erottaa "s"-äänteen "f"-äänteestä, on alle 8 kHz:n, 16 kHz riittää mainiosti. Siksi sanelu ei myöskään tarvitse lainkaan CD-laatua 44,1 kHz:llä: ylimääräinen data ei toisi mitään lisäarvoa tunnistukselle ja vain kuormittaisi laskentaa ja siirtoa turhaan. Tämä ei ole epävirallinen käytäntö: Whisperin tutkimusartikkelin mukaan kaikki ääni muunnetaan 16 000 Hz:iin ennen käsittelyä.

Spektrogrammi: kuva jonka malli oikeasti "näkee"

Raakaa 960 000 luvun sarjaa on erittäin vaikea käyttää suoraan. Siksi se muunnetaan johonkin, joka on paljon luettavampaa neuroverkolle.

Periaate: äänitys jaetaan pieniin, päällekkäisiin 25 millisekunnin ikkunoihin, joita siirretään 10 millisekuntia kerrallaan eteenpäin. Jokaiselle ikkunalle Fourier-muunnos laskee, mitä taajuuksia siinä on ja kuinka voimakkaina. Pinoamalla kaikki nämä tulokset vierekkäin saadaan kuva: spektrogrammi. Vaaka-akseli näyttää ajan, pystyakseli taajuudet, ja kirkkaus energian kyseisellä taajuudella sillä hetkellä. Juuri nämä arvot, 25 ja 10 millisekuntia, ovat tarkalleen ne, joita Whisper käyttää.

Vielä yksi hienous: taajuusasteikko ei ole lineaarinen, se on pakattu tiiviimmäksi diskantin puolella. Puhutaan mel-asteikosta, joka on mallinnettu ihmisen havaintokyvyn mukaan, ja joka erottaa 200 ja 300 Hz:n välisen eron paljon tarkemmin kuin 8 000 ja 8 100 Hz:n välisen eron. Käytännössä lopullinen kuva sisältää vain muutaman kymmenen taajuuskaistaa: Whisper käyttää 80:tä, ja 128:aa large-v3-versiossaan. Se on valtava tiedon vähennys, mutta se säilyttää juuri sen, minkä ansiosta puheäänet voi erottaa toisistaan.

Vaihe 2: litterointi, kuvasta tekstiksi

Whisper, de facto -standardi

Noin vuoteen 2020 asti puheentunnistus perustui järjestelmiin, jotka yhdistivät useita erillisiä osia: akustisen mallin, ääntämissanakirjan ja kielimallin. Ne toimivat, mutta vaativat huolellista säätöä jokaiselle kielelle ja heikkenivät nopeasti heti kun ääni poikkesi odotetuista olosuhteista.

Muutos tuli end-to-end-mallien myötä, joista tunnetuin on Whisper, jonka OpenAI julkaisi avoimena lähdekoodina vuoden 2022 lopussa. Sen kiinnostavuus ei ole niinkään arkkitehtuurissa kuin koulutuksessa. Alkuperäinen versio koulutettiin 680 000 tunnilla ääntä, joka kerättiin verkosta yhdessä siihen liittyvien litterointien kanssa, joista 117 000 tuntia kattaa 96 muuta kieltä kuin englannin, siihen liittyvän tutkimusartikkelin mukaan. Seuraava sukupolvi vaihtoi mittakaavaa jälleen: large-v3-versio perustuu miljoonaan tuntiin heikosti annotoitua ääntä, täydennettynä neljällä miljoonalla tunnilla, jotka edellinen malli litteroi automaattisesti.

Sellaisessa mittakaavassa malli on nähnyt niin monia ääniä, aksentteja, keskinkertaisia mikrofoneja ja taustaääniä, että se pysyy vakaana arkiäänissä, ei vain studioäänessä. Nykyään se kattaa noin sata kieltä yhdessä mallissa. Juuri se on tehnyt siitä standardin, johon suuri osa uusimmista sanelutyökaluista perustuu.

Enkooderi, dekooderi ja tokenit

Malli koostuu kahdesta puoliskosta, jotka toimivat peräkkäin.

• Enkooderi lukee spektrogrammin 30 sekunnin jaksoissa ja pakkaa sen sisäiseksi esitykseksi. Sen voi ajatella tiiviinä numeerisena yhteenvetona, joka säilyttää jokaisesta hetkestä sen mikä on puheen kannalta tärkeää ja hylkää loput.
• Dekooderi tuottaa tekstin pala palalta. Jokaisessa vaiheessa se katsoo sekä äänitiivistelmää että kaikkea mitä se on jo kirjoittanut, ja ennustaa sitten seuraavan todennäköisimmän tekstinpätkän.

Näitä pätkiä kutsutaan tokeneiksi. Tokeni ei ole sana: se on pikemminkin sananpätkä, usein kolme tai neljä merkkiä pitkä. Hyvin yleiset sanat muodostavat yhden ainoan tokenin, kun taas harvinainen termi kuten "elektroenkefalografisti" vie useita. Tämä jako mahdollistaa sen, että malli voi käsitellä mitä tahansa kieltä ja mitä tahansa uutta sanaa kohtuullisen kokoisella sanastolla.

Miksi asiayhteys poistaa homofonit

Tässä on viimeisen vuosikymmenen kehityksen ydin. Koska dekooderi ottaa huomioon sen mitä se on jo kirjoittanut, se ei valitse sanojaan pelkästään äänen perusteella. Ota vaikka "syyt" ja "syöt", tai "tie" ja "tee": tällaiset muodot voivat kuulostaa lähes samalta murteesta riippuen. Mikään signaalinkäsittely ei koskaan pysty erottamaan niitä yksin. Sen sijaan malli, joka on lukenut miljoonia lauseita, tietää, että "todistettu tosiasia" on paljon todennäköisempi kuin käsittämätön yhdistelmä, joka kuulostaa samalta.

Sama mekanismi selittää virheet. Malli ei etsi totuutta, se etsii todennäköisintä jatkoa. Kohdatessaan harvinaisen nimen tai kapean ammattitermin, joka on huonosti edustettuna koulutusdatassa, se ehdottaa täydellä varmuudella yleistä samalta kuulostavaa sanaa. Siksi mukautettu sanasto on todellinen kysymys, vaikka sitä käsitellään seuraavassa vaiheessa eikä tässä.

Näin laatua mitataan: WER

Vertailumittari on WER, englannin sanoista Word Error Rate, sanavirhesuhde. Tuotettua litterointia verrataan ihmisen tekemään referenssilitterointiin, lasketaan kolme virhetyyppiä ja jaetaan summa referenssin sanamäärällä.

• Korvaukset: yksi sana on korvattu toisella.
• Lisäykset: sana, jota ei koskaan lausuttu, on lisätty.
• Poistot: lausuttu sana on kadonnut.

5 %:n WER tarkoittaa, että yksi sana kahdestakymmenestä on väärin. Yksi varotoimi on kuitenkin paikallaan: WER ei tarkoita sinänsä mitään, se riippuu täysin testikorpuksesta. Sama malli voi antaa 3 % kuulokkeilla äänitetyistä äänikirjoista ja 20 % monen puhujan kokouksessa kaikuvassa huoneessa. Kaksi WER-lukua ovat vertailukelpoisia vain jos ne tulevat samasta arviointiaineistosta, mitä kaupallinen viestintä harvoin täsmentää.

Vaihe 3: tekoälysiistiminen, se joka erottaa litteroinnin tekstistä

Oletetaan, että vaihe 2 olisi täydellinen: jokainen lausuttu sana tunnistettu oikein. Sinulla ei silti olisi käyttökelpoista tekstiä, hyvin yksinkertaisesta syystä: et puhu niin kuin kirjoitat. Uskollinen litterointi toistaa epäröintisi, korjauksesi, täytesanasi ja lauseesi jotka vaihtavat suuntaa kesken kaiken. Se on uskollinen, ja juuri se on ongelma.

Tuo muunnos on suuren kielimallin työtä, sijoitettuna litteroinnin taakse. Konkreettisesti se hoitaa:

• Välimerkit ja lauseiden jaon, joita et lausunut ääneen ja jotka täytyy siksi päätellä puheen rakenteesta.
• Epäröintien ja väärien aloitusten poiston, muuttamatta sen merkitystä mitä halusit sanoa.
• Kieliopin ja yhtäpitävyyden, usein epätarkkoja puhutussa kielessä.
• Odotetun muodon: sähköposti ei näytä samalta kuin sisäinen muistiinpano tai lyhyt viesti. Kehittyneimmät työkalut antavat sinun määrittää omat muotoilusäännöt, joita sovelletaan jokaiseen saneluun.
• Ammattisanaston ja nimet, käyttäjän antaman luettelon perusteella. Se on lääke edellä kuvattuun homofoniongelmaan, ja se toimii paremmin kuin luulisi: litterointimallin ei tarvitse tuntea asiakkaasi nimeä, riittää että korjausvaihe tuntee sen, joka palauttaa tarkan kirjoitusasun foneettisen approksimaation perusteella.

Vaihe 4: lisäys sovellukseesi

Vähiten näyttävä vaihe, mutta silti se joka ratkaisee, onko työkalu käytännössä käyttökelpoinen. Lopullisen tekstin täytyy päätyä sinne missä kirjoitat, ilman kiertoteitä leikepöydän tai välikkäisen ikkunan kautta.

Tässä kohtaa kaksi työkaluperhettä kohtaavat. Tiettyyn sovellukseen sidotut sanelutyökalut, kuten Wordin sanelu tai Google Docsin äänikirjoitus, toimivat vain kyseisen sovelluksen sisällä, toisinaan jopa vain tietyssä selaimessa. Järjestelmänlaajuiset työkalut sen sijaan asentuvat kerroksena kaiken muun päälle: ne kuuntelevat globaalia näppäinyhdistelmää ja kirjoittavat sitten tuloksen kohdistimen sijaintiin, riippumatta siitä mikä ikkuna on aktiivinen. Hakukenttä, sähköposti, tukipyyntö, pääte: kaikki mikä ottaa vastaan tekstiä, ottaa vastaan sanelua.

Teknisesti lisäys tapahtuu joko simuloimalla näppäinpainalluksia tai käyttöjärjestelmän esteettömyysrajapinnan kautta. Tuo ero, näkymätön arkikäytössä, selittää miksi työkalu toimii täydellisesti tekstinkäsittelyohjelmassa mutta epäonnistuu sovelluksessa, jolla on erityinen grafiikkarenderöinti, kuten joissakin peleissä tai etäympäristöissä.

Kuinka kauan tämä kaikki kestää?

Vastoin yleistä intuitiota, käsittelyaika ei ole sama kuin koettu odotusaika, koska kaikki vaiheet eivät tapahdu vasta sen jälkeen kun olet lopettanut puhumisen. Kaappaus ja spektrogrammin valmistelu tapahtuvat jatkuvasti, sillä aikaa kun puhut. Jäljelle jäävät litterointi ja siistiminen, jotka ajetaan kun vapautat pikanäppäimen.

Kolme tekijää ohjaa lopputulosta. Ensin käytettävissä oleva laskentateho: konesalien näytönohjaimet käsittelevät useiden minuuttien äänityksen murto-osassa siitä ajasta, jonka kannettava tietokone tarvitsisi. Sitten verkkoedestakaisin-kierrosten määrä, jota hyvin suunniteltu ketju minimoi yhdistämällä litteroinnin ja siistimisen kahden erillisen peräkkäisen kutsun sijaan. Lopuksi äänen jako: koska malli päättelee 30 sekunnin jaksoissa, pitkä äänitys voidaan käsitellä lohkoina rinnakkain tiukan peräkkäisyyden sijaan.

Siitä seuraa ei-intuitiivinen havainto: odotusaika ei kasva suhteessa sanelun pituuteen. Hyvin suunnitellussa ketjussa kaksi kertaa pidempi sanelu ei kaksinkertaista odotusaikaa, mikä tekee pitkistä saneluista huomattavasti kannattavampia kuin irrallisista lauseista.

Missä nämä mallit ajetaan: tietokoneellasi vai palvelimella?

Tässä kuvattu ketju on sama kaikkialla. Se mikä eroaa työkalujen välillä, on missä kukin vaihe ajetaan, ja tuolla valinnalla on suoria seurauksia siihen mitä saat.

• Kaikki paikallisesti. Ääni ei koskaan poistu laitteeltasi, mikä antaa maksimaalisen luottamuksellisuuden ja toimii ilman yhteyttä. Käytännössä saat vaiheet 1, 2 ja 4, harvoin vaihetta 3, koska suuri siistimismalli vaatii tehoa jota ei ole tarjolla.
• Litterointi ja siistiminen palvelimella. Äänesi matkustaa infrastruktuuriin, joka on rakennettu näihin laskutoimituksiin, mikä tekee koko ketjun mahdolliseksi millä tahansa tietokoneella, jopa kevyellä kannettavalla ilman erillistä näytönohjainta. Vastineeksi tarvitaan yhteys, ja olet riippuvainen palveluntarjoajan sitoumuksista tietojen säilytyksen ja sijainnin suhteen.

Tuo valinta ansaitsee oman läpikäyntinsä: olemme käsitelleet sitä oppaassamme puhesanelu paikallisesti verrattuna pilveen.

Sanasto ilman sekaannusta

Neljää termiä käytetään usein sekaisin, vaikka ne tarkoittavat eri asioita.

Mikä todella ratkaisee laadun

Samalla mallilla tulos voi vaihdella erinomaisesta keskinkertaiseen. Tärkeimmät tekijät, tärkeysjärjestyksessä:

• Äänesi ja taustamelun suhde. Se mikä ratkaisee, ei ole äänenvoimakkuus vaan etäisyys ääneesi. Kuulokemikrofoni, tai uudemman kannettavan tietokoneen mikrofonit kohtuullisella etäisyydellä, riittävät mainiosti; mikrofoni suuren huoneen toisessa päässä on suurin syy laadun heikkenemiseen.
• Kaiku. Paljas huone korkealla katolla heijastaa ääntäsi viiveellä, mikä sumentaa spektrogrammin kuvioita paljon enemmän kuin tasainen tuulettimen ääni.
• Tempo ja artikulaatio. Nopea puhuminen ei itsessään ole ongelma, sanojen loppujen nielaiseminen on.
• Nimet ja ammattisanasto. Edellä selitetty rakenteellinen heikkous, ja syy siihen miksi mukautetut sanastot ovat olemassa.
• Kieli ja kielten sekoittuminen. Mallit ovat selvästi parempia englannissa kuin muissa kielissä, yksinkertaisesti koska koulutusdataa on enemmän. Kahden kielen vaihtaminen saman lauseen sisällä on yhä vaikein tapaus.
• Jaksojen pituus. Laajempi asiayhteys auttaa mallia ratkaisemaan epäselvyyksiä: usean lauseen sanelu antaa yleensä paremman tuloksen kuin kolme irrallista sanaa.

Mitä äänellesi tapahtuu sillä aikaa

Kun ketjun on kerran ymmärtänyt, kysymys tiedoista muuttuu paljon konkreettisemmaksi. Kyse ei ole sen tietämisestä, onko työkalu "turvallinen" abstraktissa mielessä, vaan sen tietämisestä, mitä tapahtuu kolmelle hyvin tunnistetulle kohteelle: ääninauhoitteelle, raakalitteroinnille ja lopulliselle tekstille.

Kolme kysymystä riittää rajaamaan aiheen, ja ne pätevät mihin tahansa työkaluun:

• Säilytetäänkö nämä tiedot käsittelyn jälkeen, ja jos säilytetään, kuinka kauan?
• Käytetäänkö niitä uudelleen mallien kouluttamiseen? Se on eri kysymys kuin säilytys, ja siitä päätetään käyttöehdoissa.
• Minkä lainkäyttöalueen alla käsittely tapahtuu? Fyysisesti Euroopassa sijaitseva palvelin, jota kuitenkin ajaa amerikkalaisen lain alainen yksikkö, ei vastaa samaan kysymykseen kuin käsittely, joka tapahtuu Euroopassa eurooppalaisen yksikön toimesta.

Ääninauhoitus on henkilötieto GDPR:n tarkoittamassa mielessä, ja sen sisältö voi olla sitä vieläkin enemmän riippuen siitä mitä sanelet. Nämä kolme kohtaa käydään läpi oppaassamme puhesanelu ja GDPR.

Tärkein asia

Puhesanelu ei ole musta laatikko. Se on ketju neljää hyvin tunnistettua toimintoa, ja lähes kaikki siitä esitetyt kysymykset voidaan jäljittää yhteen tiettyyn vaiheeseen ketjussa.

• Pettymystä aiheuttava tulos meluisassa ympäristössä ratkeaa vaiheessa 1, ja korjaantuu paremmin paremmalla mikrofonilla kuin paremmalla ohjelmalla.
• Virhe nimessä tai ammattitermissä ratkeaa vaiheessa 2, ja korjaantuu sanastolla.
• Välimerkkien puuttuminen, jääneet epäröinnit ja teksti joka täytyy käsitellä uudelleen ratkeavat vaiheessa 3, joka yksinkertaisesti puuttuu useimmista sisäänrakennetuista työkaluista.
• Kyvyttömyys sanella jossain tietyssä sovelluksessa ratkeaa vaiheessa 4, ja riippuu työkalun arkkitehtuurista, ei siitä kuinka hyvä sen tunnistus on.

Jäljelle jää kysymys, joka läpäisee koko ketjun: vaiheiden 2 ja 3 vaatiman tehon ja sanelemasi sisällön luottamuksellisuuden välinen tasapaino. Se on todellinen ydinkysymys, ja se ratkeaa työkalua valitessa, ei sen jälkeen.

Usein kysytyt kysymykset