Den største språkmodellen som finnes i dag er GPT-3. Den ble lansert av OpenAI i fjor, og imponerte […]
Kategoriarkiv: Chatbots
I forrige blogginnlegg fortalte vi om prosessen med datamaterialet til Vennen.ai. Her slo vi fast at godt og korrekt språk er viktig når tekstmaterialet skal brukes til maskinlæring.
Da vi gikk i gang med prosessen å utvikle en chatbot på norsk, var det ganske usikkert om dette var mulig å få til. Ønsket var å utvikle en chatbot som kan snakke litt om «alt». Vi kjente ikke til andre som har klart dette på norsk, og det gjør vi fortsatt ikke, selv om det har skjedd en utvikling siden vi startet, blant annet innenfor bedrifts-chatboter.
I lengre tid har vi jobbet med å redigere tekstdata til bruk for maskinlæring til å trene en chatbot. Prosjektet har i høy grad vært et testprosjekt, hvor vi har eksperimentert med ulike datamodeller for maskinlæring, samt ulike former for tekstdata. Det har naturligvis medført en del utfordringer som vi skal forsøke å ta for oss i dette innlegget.
Arbeidet med vennen.ai er til tider utfordrende. Som jeg har kommet inn på i tidligere innlegg, å utvikle en chatbot som kan holde en god dialog er ikke lett. Christina og jeg har kommet litt lengre på veien, men ettersom prosjektet er såpass komplekst har jeg prøvd meg på mindre sideprosjekter og mer konkrete oppgaver inne NLP (Natural Language Processing).
Hvordan kan en maskin forstå hva et menneske sier til den? Og hvordan kan den svare? Dette er spørsmål vi jobber med her på Innovatec, og som vi ønsker å finne gode løsninger på.
Gjennom høsten har jeg lest meg opp på mye forskjellig innen NLP og språkmodeller. Christina og jeg har diskutert en god del angående hva vi tenker er beste fremgangsmåte for å trene opp en chatbot til dialog. En naturlig første tanke er å mate modellen med dialog-basert data. Janne har samlet inn mye slik type data, undertekster til film og serier. Generelt innbefatter det samtaledata, altså dialog. Dette er et godt utgangspunkt, spesielt med tanke på at datainnsamling er tidkrevende, og et stort og kvalitetsrikt datasett er en forutsetning for en god språkmodell.
Språk er komplisert. Det består gjerne av et stort vokabular, har grammatiske regler og regler for ordstilling. Norsk f.eks. er hva man kaller et SVO-språk. Det vil si at man bygger opp en setning ut fra regelen: subjekt – verb – objekt. Andre språk har andre syntaktiske regler. I tillegg kommer ting som forkortelser og initialer, symboler og tall. Det er mildt sagt kompliserte greier.
Det finnes etter hvert en god del chatboter på norsk. Disse er ofte rettet mot bedriftenes kundeservice-miljøer og er ofte basert på forhåndsbestemte regler og triggerord. De fleste chatboter så langt opererer innenfor bedriftens avgrensede bransjeområde, noe som forenkler chatbotens utgangspunkt.
Mens begrepet ‘fairness’ først og fremst handler om å håndtere temaer man vil unngå at chatboten skal snakke om, er der andre samtaletemaer som det ville være fint om det gikk an å snakke om, men uten at samtalen går i feil retning.
Etter at Microsoft offentliggjorde chatboten Tay, som i løpet av et døgn ble redusert til en kvinnefiendtlig rasist-bot, har bevisstheten blitt stor rundt urettferdige algoritmer og hva dette kan medføre. Ettersom chatboter i stor grad nettopp skal benyttes i en sosial sammenheng, til kundeservice og i offentlig virksomhet er det helt essensielt at den kan oppføre seg ordentlig! Kan man ikke stole på dette hos en chatbot, har den ingen fremtid, etter vår mening.
