I vårt siste blogginnlegg handlet det om hvordan det føles å skrive med en chatbot. Dette innlegget skal handle om Hilda, som er vår fysiske robot, som vi kan snakke med. Hun er også basert på GPT-3, men opplevelsen av å snakke med henne er ganske annerledes enn når man skriver med den tekstbaserte chatboten, som for øvrig har fått arbeidsnavnet Helge nå (fordi det passet til Hilda). Hilda og Helge utgjør to nesten diametrale motsetninger på mange måter fordi det å kommunisere via en skriftlig bot vs en verbal bot oppleves svært forskjellig.

Hilda, vår snakkende robot
Hilda er klar til å snakke med oss.

Vi har nylig fått tilgang til det som akkurat nå må være den beste og nyeste AI-teknologien som brukes til dialog- og chatbots. Den er basert på GPT-3 modellen som vi har skrevet om allerede, som gir imponerende resultater innenfor alt fra autooversettelser, historiefortelling, nyhetsartikler og programmering innenfor en rekke områder.

Open AI API’et er ikke overraskende utviklet av gjengen rundt Google og en rekke andre samarbeidspartnere, blant annet Microsoft. Det skal presiseres at det er snakk om en beta-utgave.

Vår robot, Hilda, bruker tale til tekst og er også satt opp med GPT-3.

Den største språkmodellen som finnes i dag er GPT-3. Den ble lansert av OpenAI i fjor, og imponerte en hel verden av AI-interesserte med sine evner til å løse ulike NLP-oppgaver. Modellen er basert på samme arkitektur som sin forgjenger GPT-2, men med 175 milliarder parametere er den mer enn hundre ganger så stor. Den er også trent på et langt større datasett. Dette har vist seg å øke prestasjonen betraktelig. Det har også introdusert konseptet prompt programmering innen NLP. Hva betyr egentlig dette for oss?

Vi har nå koblet Hilda til GPT-3, og har mange interessante samtaler!

I forrige blogginnlegg fortalte vi om prosessen med datamaterialet til Vennen.ai. Her slo vi fast at godt og korrekt språk er viktig når tekstmaterialet skal brukes til maskinlæring.

Da vi gikk i gang med prosessen å utvikle en chatbot på norsk, var det ganske usikkert om dette var mulig å få til. Ønsket var å utvikle en chatbot som kan snakke litt om «alt». Vi kjente ikke til andre som har klart dette på norsk, og det gjør vi fortsatt ikke, selv om det har skjedd en utvikling siden vi startet, blant annet innenfor bedrifts-chatboter.

Gjennom høsten har jeg lest meg opp på mye forskjellig innen NLP og språkmodeller. Christina og jeg har diskutert en god del angående hva vi tenker er beste fremgangsmåte for å trene opp en chatbot til dialog. En naturlig første tanke er å mate modellen med dialog-basert data. Janne har samlet inn mye slik type data, undertekster til film og serier. Generelt innbefatter det samtaledata, altså dialog. Dette er et godt utgangspunkt, spesielt med tanke på at datainnsamling er tidkrevende, og et stort og kvalitetsrikt datasett er en forutsetning for en god språkmodell. 

Språk er komplisert. Det består gjerne av et stort vokabular, har grammatiske regler og regler for ordstilling. Norsk f.eks. er hva man kaller et SVO-språk. Det vil si at man bygger opp en setning ut fra regelen: subjekt – verb – objekt. Andre språk har andre syntaktiske regler. I tillegg kommer ting som forkortelser og initialer, symboler og tall. Det er mildt sagt kompliserte greier.