Den største språkmodellen som finnes i dag er GPT-3. Den ble lansert av OpenAI i fjor, og imponerte en hel verden av AI-interesserte med sine evner til å løse ulike NLP-oppgaver. Modellen er basert på samme arkitektur som sin forgjenger GPT-2, men med 175 milliarder parametere er den mer enn hundre ganger så stor. Den er også trent på et langt større datasett. Dette har vist seg å øke prestasjonen betraktelig. Det har også introdusert konseptet prompt programmering innen NLP. Hva betyr egentlig dette for oss?

Nevrale nettverk finner man i dag nærmest overalt. Bruker du ansiktsgjenkjenning for å låse opp telefonen din? Nevralt nettverk. Fingeravtrykkleser? Nevralt nettverk. Ordforslag på tastaturet? Også et nevralt nettverk. For ikke å nevne talegjenkjenning, selvkjørende biler, personlige assistenter og brukertilpasset reklame. De bruker alle ulike typer nevrale nettverk. Og det er nettopp et slikt nevralt nettverk vi benytter for å lage vår chatbot.

Vi har lenge drømt om å lage en chatbot vi kan ha dialoger med på norsk. Prosjektet vennen.ai ble startet i fjor med et mål om å få til nettopp dette, og selv om de store resultatene ennå lar vente på seg, har vi oppsamlet mye kunnskap og erfaringer underveis. I og med at det allerede finnes mange chatboter der ute, som både kan snakke norsk og være til nytte, tenkte jeg å gå litt dypere inn i hva det er vi forsøker å få til med vår chatbot.

I begynnelsen av 2019 startet vi på et helt nytt prosjekt i Innovatec. Vi ønsket å utforske mulighetene rundt chatbots, og se om det var mulig for oss å dra nytte av denne teknologien i vår virksomhet. I den forbindelse investerte vi også i en robot, som forhåpentligvis kunne virke som et medium for chatboten. Vi gikk løs på utfordringen med store visjoner og godt mot, og så fram til dagen vi skulle bli møtt av en veltalende robot som ønsket oss velkommen på kontoret.