ChatGPT sai näön

Kun olen puhunut ChatGPT:stä eri yhteyksissä, kysyn yleensä kuinka moni on siitä kuullut tai sitä käyttänyt. Yleensä noin 90% on kuullut tästä uudesta generatiivisesta tekoälystä, ja 50% on sitä käyttänyt. Toisinaan saan myös tietää, että vaikka henkilö itse ei ole sitä käyttänyt, hänen lapsensa ovat.

Useimmat aloittavat ChatGPT:n ilmaisversiolla, ja monille se jääkin siihen. Arvioisin, että vain noin 10% käyttäjistä on maksanut 20 euron kuukausimaksun päästäkseen Plus-versioon. Tämä on sääli, sillä he jäävät kokematta paitsi huomattavasti paremman kielimallin, myös kaikki saatavilla olevat lisätyökalut.

ChatGPT Vision

ChatGPT:n Plus-versiossa on taas uusi ominaisuus. Voit ladata sinne kuvia, ja se pystyy analysoimaan ja antamaan tietoja kuvasta. Edellisessä blogiartikkelissani kerroin, miten lastenkirjan kuvituksen voi tehdä ChatGPT:n Plus-version avulla. Moni on jo ennen tätäkin pyytänyt sitä kirjoittamaan iltasadun, jossa lasten nimet esiintyvät. Samalla voi ensin kysyä lapsilta, missä satu tapahtuu ja mitä siinä tapahtuu. Kun syöttää nämä tiedot ChatGPT:lle, se osaa kirjoittaa siitä sadun suomeksi. Lapsista on jännittävää kuulla satu, jossa he itse ovat pääosassa.

Nyt kuvien luonnin lisäksi se osaa myös ymmärtää kuvia. Toistaiseksi nämä ovat tekoälyn eri 'moottoreita', eikä kuvien luontiosuus osaa samanaikaisesti analysoida luomaansa kuvaa ja päinvastoin. Toki voi pyytää ChatGPT-4 Vision -mallia, kuten sen nimi kuuluu, kirjoittamaan kuvasta kehotteen, jonka sitten käsin kopioi toiseen keskusteluun. Siellä voi sitten luoda kuvan uudelleen.

Lastenkirjan kuvien tyyliä luodessani sain vahingossa aikaan alla olevan kuvan. Otin sen talteen, mutta hukkasin kehotteen, jolla se oli luotu. (Sitä ei ole edes keskusteluhistoriassa, koska aloitin kyseisen keskustelun uudelleen, ja silloin historia katosi.)

Latasin kuvan nyt uudelle Vision-mallille ja pyysin sitä kirjoittamaan tarkasti kehotteen kuvan uudelleenluontia varten. Kehote on hämmästyttävän tarkka:

Setting:

A mystical forest glade bathed in soft, ethereal light, creating a dreamy atmosphere. The ground is covered in a luscious, vibrant green grass, peppered with twinkling, luminescent dots that give the impression of a starry night. The backdrop is dark with hints of shimmering lights, resembling a night sky.

Flora: Mushrooms:

Foreground: Three prominently featured mushrooms with glossy surfaces.

One large red mushroom with white dots.

One medium purple mushroom with white dots.

One small orange mushroom with white dots.

Background: Various smaller mushrooms of similar designs but different colors (e.g., blue and green).

Trees: Enigmatic, brown, and twisted trees with textured bark. The trees have vibrant multicolored flowers and plants growing on them, resembling coral reefs.

Flowers and Plants: Scattered all over are an assortment of flowers in a plethora of colors (pink, purple, orange, and blue). Some of these flowers have a luminescent quality. Other plant elements include multi-colored fluffy balls, star-shaped plants, and leafy greens.

Main Character:

A large, anthropomorphic rabbit creature situated to the right.

Features: Glossy, sky-blue fur, large expressive eyes with a sapphire-blue hue, long teal-tipped ears that droop slightly, a small pink nose, and a gentle expression.

Accessories: It wears a floral crown with a single large rose, smaller flowers, and green leaves. Its feet resemble a creature's paw with three teal toes and soft orange pads.

Pose: Sitting comfortably, with one hand resting on its lap and the other touching a mushroom.

Other Characters:

A small, gray, mouse-like creature to the left, sitting atop a mushroom. It possesses azure spots and a pair of small horns. It holds a dandelion-like plant and appears to be blowing its seeds.

Lighting:

The main source of illumination comes from above and slightly from the front, casting gentle shadows beneath the mushrooms and characters.

Ambient light permeates the scene, with pockets of brighter, fairy-tale-like glows highlighting specific areas, particularly around the mushrooms and the main rabbit character.

Glittering strands of light, reminiscent of hanging fireflies or falling stars, descend from the top, adding to the magical atmosphere.

Se ymmärsi kuvasta näin paljon !

Kun loin kuvan uudelleen tämän kehotteen avulla, lopputulos oli jotenkin erilainen. Tämä on ymmärrettävää, koska kuvien luonnissa on aina mukana satunnaisuutta:

Mihin käyttää Visiota työelämässä?

Tässä on yksi käytännöllinen esimerkki. Latasin sille kuvan laskusta.

Sen jälkeen pyysin sitä kirjoittamaan tiedot taulukkomuodossa, jotta voisin kopioida ne Exceliin. Lopputulos ei ole täydellinen ja tiedot pitää tarkistaa, mutta se nopeuttaa silti tietojen siirtämistä.

Olen testannut myös, miten se löytää tekstejä valokuvista. Kuvasin auton takakannessa olevat malli- ja tyyppitiedot ja pyysin sitä kertomaan jotain auton moottorista. Juuri tällaisissa käyttötapauksissa tulevat esille sen vahvuudet. Sen lisäksi, että se osaa kuvailla kuvaa, se osaa myös rikastaa saatua tietoa ja antaa mielenkiintoisia yksityiskohtia moottorista.

Sokeiden kamera tulee olemaan hyvin helppo toteuttaa tällä teknologialla, kunhan OpenAI julkaisee vielä palvelunsa heidän API-rajapintaansa. Tämä on luvattu vielä tämän vuoden puolella. Tällöin sokea voi ottaa kameralla kuvan ja kuulla välittömästi, mitä kuvassa on.

Kun tekoälylle kehitetään näitä erilaisia työkaluja, alkaa mielikuvitus olla rajana erilaisten käyttötapausmahdollisuuksien suhteen! Mihin sinä käyttäisit tätä?