I lengre tid har vi jobbet med å redigere tekstdata til bruk for maskinlæring til å trene en chatbot. Prosjektet har i høy grad vært et testprosjekt, hvor vi har eksperimentert med ulike datamodeller for maskinlæring, samt ulike former for tekstdata. Det har naturligvis medført en del utfordringer som vi skal forsøke å ta for oss i dette innlegget.
Arbeidet med vennen.ai er til tider utfordrende. Som jeg har kommet inn på i tidligere innlegg, å utvikle en chatbot som kan holde en god dialog er ikke lett. Christina og jeg har kommet litt lengre på veien, men ettersom prosjektet er såpass komplekst har jeg prøvd meg på mindre sideprosjekter og mer konkrete oppgaver inne NLP (Natural Language Processing).
Språk er komplisert. Det består gjerne av et stort vokabular, har grammatiske regler og regler for ordstilling. Norsk f.eks. er hva man kaller et SVO-språk. Det vil si at man bygger opp en setning ut fra regelen: subjekt – verb – objekt. Andre språk har andre syntaktiske regler. I tillegg kommer ting som forkortelser og initialer, symboler og tall. Det er mildt sagt kompliserte greier.
Det finnes etter hvert en god del chatboter på norsk. Disse er ofte rettet mot bedriftenes kundeservice-miljøer og er ofte basert på forhåndsbestemte regler og triggerord. De fleste chatboter så langt opererer innenfor bedriftens avgrensede bransjeområde, noe som forenkler chatbotens utgangspunkt.
Innovatec har nylig startet opp et prosjekt som ser på muligheten for å utvikle en AI-basert kognitiv chatbot. Chatboten er basert på maskinlæring og skal tilpasses og forstå norsk språk. Chatboter fungerer allerede innenfor en del næringer, særlig innenfor kundeservice, med varierende grad av suksess.
innovatec.ai 