Miten ChatGPT toimii ja miksi se tuntuu ymmärtävän sinua?

Tekoäly on jo nyt monin tavoin osa arkielämäämme, auttaen meitä esimerkiksi sähköpostien lajittelussa, tuote-ehtotuksissa ja puheentunnistuksessa. Mutta miten se pystyy tuottamaan vaikuttavia, ihmismäisen tuntuisia keskusteluja? Tässä blogissa sukellamme syvälle ChatGPT:n toimintaperiaatteisiin ja paljastamme, miksi se tuntuu ymmärtävän meitä niin hyvin.

Seuraavan sanan ennustaminen: Chat GPT:n vastausten salaisuus

ChatGPT:n kyky ennustaa keskustelun seuraava sana on mallin vaikuttavan toimintaperiaatteen ydin. Malli analysoi keskustelun kontekstin ja tekee ennusteita kunkin sanan todennäköisyydestä annettujen edeltävien sanojen perusteella. Tämän seurauksena, kun syötät viestin, ChatGPT generoi vastauksen, joka todennäköisesti jatkaa antamaasi kontekstia.

Kaikki perustuu siihen, että jotkut sanat ovat yleisempiä kuin toiset. Suomen kielen yleisin sana on ”ja” ja toiseksi yleisin ”olla”. Samoin kuin voidaan laskea yleisimmät sanat, voidaan laskea todennäköisyys kahden sanan yhdistelmälle tai mikä on kahden sanan jälkeen kolmas sana. Esimerkiksi "Auto on" -sanaparin jälkeen useimmiten tulee sana ”parkissa”. Jos kontekstia on enemmän kuin nämä kaksi sanaa, kolmas sana voi vaihtua joksikin muuksi, vaikkapa ”Auto on vihreä”.

Konteksti on avain siihen, miksi ChatGPT tuntuu ymmärtävän sinua. Mitä enemmän informaatiota annat, sitä paremmin se kykenee ymmärtämään kontekstia. Jos esität sille yksinkertaisen kysymyksen kuten "Mikä on paras öljy?", se alkaa selittää, että vastaus riippuu siitä, oletko keittiössä, autotallissa vai kenties kylpyhuoneessa. Lisäämällä kontekstia, se alkaa olemaan samassa huoneessa kanssasi.

Miten ChatGPT opetettiin valtavan datamäärän avulla?

ChatGPT:n koulutusprosessiin kuuluu kehittynyt algoritmi ja suuri määrä dataa, jotka yhdessä mahdollistavat sen huomattavat kyvyt. Koulutuksen aikana malli käy sana sanalta läpi laajan tekstikorpukset, jotka koostuvat kirjoista, artikkeleista, verkkosivustoista ja muista tekstilähteistä internetissä. Tämä mahdollistaa monipuolisen tietopohjan luomisen ChatGPT:lle ja auttaa sopeutumaan erilaisiin kirjoitustyyleihin, kieliin ja aiheisiin.

ChatGPT:n koulutuksessa OpenAI käyttää menetelmää, jota kutsutaan "valvomattomaksi oppimiseksi". Tässä lähestymistavassa malli ei perustu tarkasti merkittyihin esimerkkeihin, vaan se oppii tunnistamaan kuvioita ja tilastollisia säännönmukaisuuksia datassa. Tämä mahdollistaa ChatGPT:lle kielen rakenteiden havaitsemisen ja perusteltujen ennusteiden tekemisen siitä, mitkä sanat todennäköisesti seuraavat annetussa kontekstissa. Useiden koulutusiteraatioiden aikana malli hienosäätää ymmärrystään ja parantaa kykyään tuottaa johdonmukaisia ja kontekstuaalisesti relevantteja vastauksia.

Mallia on koulutettu myös tiettyjen ihmisten keskustelujen pohjalta. Nämä ovat keskusteluja, joissa toinen osapuoli on toiminut tekoälymallina. Mallia on lisäksi pyydetty tuottamaan vastauksia ja sille on kerrottu, mitkä vastaukset olivat hyviä ja mitkä huonoja. Hyvästä suorituksesta se on palkittu vähän samalla tavalla kuin koiria koulutetaan.

ChatGPT:n taikatemppu: ihmismäinen ymmärrys

Yksi ChatGPT:n vaikuttavimmista piirteistä on sen kyky luoda illuusio ymmärtämisestä, mikä saa vuorovaikutuksen mallin kanssa tuntumaan yllättävän ihmismäiseltä. Tämä saavutetaan useiden tekijöiden yhdistelmällä. Ensinnäkin, laaja koulutusdata varmistaa, että ChatGPT on altistunut monenlaisille ihmisen ilmaisuille, idioomeille ja puhekielen piirteille, mikä mahdollistaa luontaisen kielen nuanssien matkimisen. Lisäksi kielimallinnustekniikka mahdollistaa mallin generoida vastauksia, jotka ovat kontekstuaalisesti relevantteja, antaen vaikutelman siitä, että se ymmärtää syötteen.

Vaikka se voi tuntua siltä, että ChatGPT ymmärtää keskustelun, on tärkeä ymmärtää, että se toimii ennemmin ennustamalla todennäköisimpiä sanoja ja rakentamalla vastauksia annetun kontekstin perusteella. Se ei ole tietoinen eikä sillä ole todellista ymmärrystä käsitteistä tai merkityksistä kuten ihmisellä: se ei ajattele – silti sen vastaukset ovat hämmästyttäviä tai ehkä juuri sen tähden.

Ymmärtämisen illuusio vuorovaikutuksessa ChatGPT:n kanssa voi kuitenkin tarjota merkittävän kokemuksen. Monesti sen kanssa on jopa miellyttävämpää keskustella kuin ihmisen, koska se on loputtoman kärsivällinen, ystävällinen ja auttavainen. Eräässä tutkimuksessa todettiin, että suuri osa potilaista keskusteli mieluummin tekoälyn kanssa kuin lääkärin kanssa.

Voi olla tarpeen lisätä vielä, että ChatGPT:n tekemät päätökset ja vastaukset eivät perustu ainoastaan aiempaan opittuun tietoon, vaan ne voivat olla myös algoritmin omia päätelmiä. Tämä on yksi syy siihen, miksi se saattaa toisinaan tuottaa vastauksia, jotka saattavat yllättää meidät. 

”Saattaa olla, että kielellä ja neuroverkolla on syvempi yhteys, kuin mitä vielä ymmärretään.”

- toistaiseksi tuntemattomana pysyvä tekoälytutkija

Huomattava siis on, että kun malli ennustaa sanoja, se ei ole arvaus, vaan perustuu valtavan suureen neuroverkkoon, jonka miljardit neuronit ohjaavat seuraavan sanan "ennustamista". En voi välttyä ajattelemasta, että toimin itse joiltain osin samoin, kun kirjoitan tätä artikkelia. 

Prompt:
old very large historical library, three floors, stairs people,
reading, books, details, librarian, photo-realistic