Er klarspråk en forutsetning for å lykkes med å utvikle digitale dialogtjenester?

I forrige blogginnlegg fortalte vi om prosessen med datamaterialet til Vennen.ai. Her slo vi fast at godt og korrekt språk er viktig når tekstmaterialet skal brukes til maskinlæring.

Da vi gikk i gang med prosessen å utvikle en chatbot på norsk, var det ganske usikkert om dette var mulig å få til. Ønsket var å utvikle en chatbot som kan snakke litt om «alt». Vi kjente ikke til andre som har klart dette på norsk, og det gjør vi fortsatt ikke, selv om det har skjedd en utvikling siden vi startet, blant annet innenfor bedrifts-chatboter.

Ved betegnelsen godt språk tenker man på rettskrivning og gode formuleringer som gjør at en tekst blir tydelig og klar for den målgruppen den er ment for. Tema, budskap og formål med teksten, vil naturligvis påvirke kompleksiteten i språket.

Blant det mest interessante og ambisiøse er tiltak tilknyttet digital dialog i Digitaliseringsdirektorarets samarbeid med Språkrådet og offentlige etater om å utvikle digitale assistenter som kommuniserer med borgerne på utvalgte områder. Det er snakk om en langt mer kompleks tjeneste som i tillegg henter informasjonen fra flere ulike kilder og presenterer det for brukeren, ut fra brukerens forespørsel og behov.

Dette er kun på planleggingsstadiet, men svært inspirerende, så deler av diskusjonen tar utgangspunkt i disse planene. Vi ønsker å diskutere de språklige utfordringene man står overfor i utviklingen av avanserte digitale dialogtjenester og hva som må være på plass for at disse skal fungere bra nok. Vi har valgt å bruke begrepet digitale dialogtjenester, enten det er snakk om tekst- eller talebaserte tjenester og selv om tjenesten også kan omfatte flere funksjoner.


Hva er klart språk?

Ifølge definisjonen er Klarspråk «kommunikasjon med så tydelig ordlyd, struktur og visuell utforming at leserne i målgruppa finner informasjonen de trenger, forstår den og kan bruke den.» (Kilde: Wikipedia)

Klarspråk er utformet slik at det skal være enkelt å forstå for alle, også for mennesker med leseutfordringer. Man trenger ikke å ha leseutfordringer for å oppleve at brev og offentlige etaters skriftlige kommunikasjon kan være vanskelig å forstå. Så hensikten med klarspråk er å kommunisere tydelig på et felles språk som alle forstår.


Språkmessige utfordringer

På norsk har man mange synonymer, hvor ulike ord betyr det samme. Dialogtjenester må for eksempel forstå at når man ber om å få snakke med et menneske eller en person, er betydningen den samme. Dermed må disse begrepene predefineres og relateres til hverandre overfor dialogtjenesten. For å minimere utfordringer knyttet til synonymer, kan man operere med en begrepskatalog, slik at man velger bevisst noen begreper fremfor andre. Allikevel vil man måtte finne en måte å håndtere bruken av synonymer.

Likeledes kan mange ord og begreper ha flere ulike betydninger på norsk. For eksempel ‘malt’ eller ‘male’ som avhengig av bøyningsform, både kan være en kornsort som brukes i øl eller verbet som beskriver det å bekle et objekt med fargestoff.
Det kan også oppfattes som pulverisering av for eksempel krydder eller lyden av en fornøyd katt. Enda flere bruksmåter kan nevnes. Malé er en by i Frankrike om aksent-tegnet skulle bli borte på veien.
Det er nok ikke alle disse ordene som er like relevante å bruke i en dialogtjeneste, men beskriver godt hvor mange alternative betydninger et enkelt ord kan ha, når man også inkluderer bøyningsformen. Eksempler som dette finnes det svært mange av på norsk.

Internt i offentlige etater er det en utfordring at samme begrep kan ha ulik betydning fra en etat til en annen. Likeledes kan begreper oppfattes ulikt på tvers av bransjer. Dette kan en begrepskatalog avhjelpe, men det krever at også brukerne av tjenestene er seg bevisst hvilke begreper de bruker i dialogen.

For å lære en dialogtjeneste disse språklige utfordringene, kreves det innhold hvor disse eksemplene er nevnt. De må sannsynligvis gå igjen mange ganger i teksten på ulike vis, for at den skal lære de ulike alternativene.
Grunnen til at man bedre har lykkes med digital dialog på engelsk er jo at man her har enorme datamengder å ta av, noe som gir et langt bedre utgangspunkt å starte med. Dermed er det lettere for språkprosesseringen å forstå at et ord kan brukes på flere måter. I Google Translate ser man hvordan prosesseringen klarer å skille mange like ord fra hverandre, mens den plutselig bommer fordi man bruker nye kombinasjoner av ord som programmet ikke har lært å ta høyde for på norsk. Når Google fremdeles sliter med dette inni mellom, sier det også litt om hvor komplisert det er.

Andre utfordringer i datamaterialet

I vårt datamateriale var det også en utfordring at noe av materialet var maskinbehandlet via optisk karaktergjenkjenning, hvor enkelte bokstaver var blitt feiltolket som feil bokstav. Det er sannsynlig at dette kan være en generell utfordring med en del tekstdata, særlig hvis dialogtjenesten benytter data fra ulike kilder, for eksempel digitaliserte papirarkiver.

I Trondheim kommunes prosjekt med dialog/ digital assistent består assistenten av flere elementer. (Kilde: Trondheim Kommune):

  1. En web scraper som har som oppgave å trekke ut tilgjengelig informasjon fra en online informasjonskilde
  2. En kunnskapsbase som lagrer og indekserer informasjon slik at det blir lett tilgjengelig for spørring
  3. En språkprosesseringsmodul som analyserer spørsmål fra sluttbrukere og som gjennomfører søk i kunnskapsbasen
  4. En webside som gir muligheter for manuelle endringer til kunnskapsbasen
  5. En chatbot integrasjon, slik at sluttbrukere kan kommunisere med dialogtjenesten.

Det som slår en ved denne prosessoppdelingen, er hvor mange andre prosesser som må på plass i en mer avansert dialogtjeneste, hvis den skal fungere. Det er naturlig å anta at kompleksiteten i hvilke kilder den henter dataene fra, kan by på utfordringer i seg selv.
Hvis man ser for seg at språkform og grad av språklig kompleksitet er ulik på tvers av kilder, kan dette være en utfordring i seg selv. Hvis deler av innholdet består av klarspråk, mens andre informasjonskilder består av tekst med lang, intrikat setningsoppbygning, kan dette slå ut på flere måter.

Det som er sikkert er at språket må være korrekt, men om det også bør være enkelt eller om variasjon er like bra, er verdt å diskutere. Å skulle omskrive alt tekstmateriale i det offentlige og privat relatert virksomhet til klarspråk, virker svært ambisiøst og en nesten umulig oppgave.

På den ene siden er det åpenbart at språklig konsistens vil være å foretrekke, hvor fordelen med klart, korrekt språk er det beste utgangspunktet. Men ser man for seg at dialogtjenesten må lære seg å forstå ulike type språklige tilnærminger, kan det tenkes at nettopp variasjon i språkdataene kan være en fordel.

Det bør også tas høyde for at brukerne av dialogtjenesten vil ha sin egen språklige tilnærming, som tjenesten må forstå, uten å ta lærdom av. Også dette kan være en utfordring, ettersom man som oftest nettopp ønsker at dialogtjenesten skal ta til seg språklig lærdom for å utvikle eget språk. Men formuleringer kommer i mange varianter, uten at de nødvendigvis alltid er korrekte. Det er bare å lese kommentarfelter på Facebook, så ser man hvor ulikt vi mennesker formulerer oss på skrift.

En annen ting som slår meg når jeg leser kommentarfelter, er hvor mange som er dårlig på tegnsetting. Noen mennesker bruker overhodet ikke punktum. Eller de plasserer punktum på feil sted, ofte et resultat av at de taster på mobil og egentlig ville taste mellomrom. For en digital dialogtjeneste vil det utgjøre en større utfordring å forstå betydningen av en mengde tekst hvor punktum er utelatt mellom setningene eller hvor punktum er plassert feil. Vel og merke, så lenge punktum blir tolket som et betydningsfullt tegn av dialogtjenesten, hvilket man må anta at det gjør.

Andre utfordringer er ufullendte setninger, endret setningsoppbygning, skrivefeil eller innblanding av dialekter. Alt sammen er ganske alminnelig blant mange mennesker, enten fordi de er dårlig i rettskrivning, har annen språkbakgrunn eller simpelthen bare har lagt seg til sin egen måte å skrive på. Betyr dette at folk med dårlig skriftspråk vil gjøre seg dårligere forstått enn andre?  Og hva med de som ikke snakker norsk, men foretrekker engelsk eller et annet morsmål? Hvordan skal disse kunne begå seg overfor en digital assistent hos det offentlige?
Flere av disse utfordringene kan løses ved å implementere regler for hvordan ulike kilder og andre utfordringer knyttet til språkprosesseringen skal foregå.

En annen utfordring er knyttet til de norske målformene bokmål, nynorsk og samisk. Mens datagrunnlaget er for lite på bokmål, er det enda mindre på nynorsk og samisk. Det er vanskelig å se for seg hvordan man skal lage en tilfredsstillende dialogtjeneste som håndterer nynorsk og samisk, når man ikke enda klarer det på bokmål fordi datagrunnlaget er så lite.


Avgrensning av temaer

Det tematiske innholdet spiller naturligvis en rolle for resultatet, ikke kun språk og språklig kvalitet.
Det kan se ut til at dialogtjenester som kun forholder seg til avgrensede temaer er mer vellykkede. Det er ikke usannsynlig at det å kategorisere temaer og innhold opp i mindre områder, vil gi tjenesten større sjanse til å lære. Det er en min egen hypotese at den innholdsmessige kompleksiteten simpelthen blir for høy til at dialogtjenesten klarer å lære, når den skal forholde seg til et helt univers av temaer samtidig.

En grunn til at tematisk avgrensning sannsynligvis fungerer bedre, er også fordi den manuelle treningen da kan rettes inn mot et konkret område. Vi kom aldri så langt at det var teknisk mulig å lære opp vår chatbot. Hadde vi kommet dit, er det sannsynlig at en opptrening ville bli på tvers av tema, og basert mer på et tilfeldighetsprinsipp ettersom vi hadde foret den med ukategoriserte og universelle temaer.

Mange bedrifts-chatboter besvarer henvendelser fra kunder innenfor bank-, post-, strøm-, rørlegger og mobiltjenester via bedriftenes nettsider. Selv om kundeopplevelsen av disse varierer, ut fra hva henvendelsen gjelder og kundens personlige preferanser overfor denne type teknologi, er dette chatbots som er i drift i dag. Min personlige opplevelse med disse har ikke vært så positiv.


Kompleksitet og høy faglig presisjon i innholdet

Også faglig kompleksitet i datagrunnlaget må nødvendigvis spille en rolle. Ser man for seg en dialogtjeneste eller digital assistent for det offentlige, vil en vesentlig del av dennes faglige kompetanse, være å kunne formidle lover og regler til borgerne.  Lovtekst kjennetegnes av gammeldags og kompleks setningsoppbygning med liten grad av moderne tilpasninger. Det er fagspråk som må og skal beskrive svært spesifikke og presise forhold hvor det ikke må være tvil om betydningen for de impliserte parter som jobber med dette.

Allikevel har man siden 2012 jobbet med å innføre klarspråk i lovverket. Man har her særlig valgt de deler av lovverket som majoriteten av norske borgere ofte stifter kontakt med. Man kan få en oversikt over hvilke lover det gjelder hos Språkrådet som har vært involvert i prosessen.

Å prioritere klarspråk i lovtekster er særlig hensiktsmessig fordi dette innholdet fra det offentlige ofte blir gjenbrukt i informasjonsformidlingen til borgerne. Hvis man samtidig ser for seg at en digital assistent henter sine data herfra, sier det seg selv at en endring til klarspråk er avgjørende for gjengivelse gjennom en dialogtjeneste. Med andre ord, er innføringen av klarspråk i lovtekstene en forutsetning for at man skal kunne bruke dette tekstmaterialet til maskinlæring som danner utgangspunktet for utviklingen av digitale assistenter.

Samtidig er det urealistisk at alt tekstmateriale fra alle de ulike kildene, kan omskrives til klarspråk. Eksempelvis er også helsedata som elektroniske helsejournaler et område som bør gjennomgå en tilpasning fordi også dette består av komplekst og vanskelig språk for borgere flest. (Språknytt 1/21)
Det er åpenbart at klarspråk er viktig og riktig vei å gå. Jo mer tekst i klarspråk, jo bedre. Men ambisjonen bør også være at dialogtjenester må kunne forstå korrekt, norsk språk slik det fremkommer i de ulike kildene den henter data fra og kunne svare ut fra dette.


Konklusjon

Det er vårt inntrykk at de språklige utfordringene står i kø i utviklingen av digitale dialogtjenester.  En konsekvent språklig tilnærming i form av klarspråk vil gi et godt grunnlag for den videre utviklingen, men det å bare fokusere på klarspråk, kan medføre at chatboten ikke forstår variasjoner i språket når kilder mangler klarspråk eller brukerne ikke formulerer seg godt nok. Man bør på sikt ha forventninger om at den kan lære seg variasjoner av korrekt, norsk språk, men klarspråk er et godt sted å starte.

Fremdeles er det de færreste, om noen, som riktig vet hva som kreves for å få gode resultater fra digitale dialogtjenester. Ikke desto mindre ser det ut som at man er fast bestemt på at dette er veien å gå i service- og kundebasert digital kommunikasjon innenfor både næringsvirksomhet og det offentlige.
Videre eksperimentering er en forutsetning for å få det til. Omfattende trening av digitale dialogtjenester er sannsynligvis også en like viktig forutsetning. Skal man lykkes må man simpelthen innse at det tar tid og arbeid å utvikle norsktalende dialogtjenester av god, språklig kvalitet. Noen ganger blir fremdeles veien til mens man går!
Det kan virke vanskelig og til tider umulig å skulle få til dette på en bra måte, og kanskje er det nettopp derfor det er så spennende å jobbe med. Men også det at det foregår i skjæringspunktet mellom produktutvikling, språkteknologi og mer pedagogiske/ psykologiske områder gjør det ekstra engasjerende!