Innovatec har utviklet en applikasjon som frontend til GPT-4, som ligner på ChatGPT, men med egne tilpasninger og funksjoner. En stor fordel med denne appen, er at vi kan legge til selvvalgt tekstinnhold. Denne funksjonen er blitt kalt Context og gir helt nye muligheter for tjenesten. Context er et forhåndsdefinert og tilpasset tekstinnhold som GPT-4 jobber innenfor når man sender en spørring/prompt.

For å lykkes med en GPT-basert tjeneste, må man sikre seg at man har tilgang på riktig og oppdatert informasjon om det aktuelle fagområdet, slik at forutsetningene er til stede for at GPT-4 kan svare korrekt. For offentlige etater, bedrifter og organisasjoner som har mye fagkunnskap lagret, kan nettopp Context være det som vil skape gode resultater med GPT-4.

Hvordan fungerer Context?

I praksis er det snakk om en eller flere tekst-elementer innenfor et valgt tema, som lastes opp innen man starter dialogen. Teksten kan være fagtekst, strukturert tekst, kode eller annen type relevant informasjon. Teksten organiseres etter selvvalgte prinsipper og markeres individuelt for at den skal inngå som Context. Man kan dermed ha mange tekst-elementer lagret slik at de er klare til å inngå i Context ut fra det gitte dialogbehovet man har.

Context-funksjonen kan også bidra til å løse en del av utfordringene med en språkmodell som GPT-4. I denne sammenhengen er det relevant for alle som skal bruke en GPT-basert tjeneste at man har kjennskap til hvordan den fungerer. Dette kommer vi tilbake til i en senere artikkel.

For offentlige etater, bedrifter og organisasjoner som har mye fagkunnskap lagret, kan nettopp Context være det som vil skape gode resultater med GPT-4.

Hva kan man bruke Context og GPT-4 til?

GPT-4 i kombinasjon med Context kan brukes på mange ulike områder. Pr dags dato er det en forutsetning at det er et tekstbasert innhold som er utgangspunktet. Selv om GPT-4 skal være i stand til å håndtere bilder, er ikke dette noe vi har fått tilgang til enda. Nedenstående er eksempler på mulige tjenester, som vi kommer til å gå i dybden med i senere innlegg.

Programmeringshjelp

GPT-4 har vist seg svært effektiv innen programmering. Enten det er snakk om hjelp til å kode, test av kode, mer effektiv koding, kodeoversikt eller det å dele kode med andre. Det er også mulig å konvertere mellom ulike programmeringsspråk.

Internsøk

Dette gir mulighet for å skape et internsøk på egne data. Kan betraktes som en mer innovativ metode for å søke etter informasjon. I tillegg er det naturligvis svært relevant for mange å få tilgang på egne data på en mer konstruktiv måte.

Dialogtjeneste

Mens tradisjonelt søk innebærer å velge ut søkeord, åpner dialogen opp for en annen tilnærming til det å lete etter informasjon. Det kan fungere både når man vet nøyaktig hva man leter etter, men også når man har et mer diffust informasjonsbehov.

Automatisert saksbehandling

Her ble det testet å legge inn regelverket som Context for en dialog rundt saksbehandling i henhold til regelverket i systemet. Contexten ble generert som en tekstbeskrivelse av regelverket fra programkoden i systemet. 

Avansert spørring (prompt-utvikling)

Ved å instruere GPT-4 i hvordan den skal svare, har man enorme muligheter for å tilpasse den til nettopp det behovet man har. Her er det vanskelig å se begrensningene. Ved å ta i bruk mer avansert prompt-oppbygging i tilknytning til Context, kan man få GPT-4 til å bidra til en rekke ulike oppgaver på mange områder.

Testing av Context

Det ble fort klart at for å teste Context-funksjonen på en pålitelig og valid måte, måtte man legge inn tekst som man vet ikke finnes i GPT-4’s innhold fra før. Det ble derfor testet med tekster som ikke er publisert på Internett. Riktignok er det vanskelig å garantere at det ikke finnes forekomster av innholdet på nett, men det er ingenting som indikerer ved søk i Google at disse historiene eksisterer online.

Denne testen gir dermed noen pekepinner på hvordan den klarer å analysere og besvare spørsmål på bakgrunn av tekst man selv har valgt ut. Den utførte disse testene på ganske imponerende vis, hvor det fremstod som at den klarte å finne de riktige svarene i Context-innholdet.

Enten man stilte enkle faktaspørsmål eller spørsmål som innebar å finne svaret flere steder i teksten for å sammenfatte og oppsummere, svarte den korrekt og utfyllende. Også når språket var av eldre dato, hva som vel betegnes som riksmål, klarte den å forstå innholdet og svare riktig på bokmål. Sistnevnte kan muligens indikere at den takler en viss mengde skrivefeil i spørsmålet, uten at det går utover kvaliteten i svaret. Testingen som er foretatt er svært begrenset, slik at man bør teste langt mere, over flere type fagområder.

Utfordringer med Context

Vi testet også med utgangspunkt i informasjon fra åpne nettsider hvor det informeres om dagpenger, tilleggsstønader og tiltakspenger. Også her gir den mange riktige svar, mens andre svar fremstår som mindre komplette. I et tilfelle nevner den barnetrygd, til tross for at dette temaet ikke inngår i Context. Det behøver dog ikke å være feil. Den oppgir også feil sum på barnetrygd- og dagpengeutbetalinger.

Her oppstår der to type utfordringer. For det første blir det klart at beregninger kan være ekstra krevende for GPT-4, fordi den må ha tilgang på, og klare å velge ut alle de riktige parametrene, for å svare riktig. Derfor bør slike beregninger legges inn som egne instruksjoner.

Den andre utfordringen er knyttet til den tematiske avgrensningen i innholdet i Context. Stiller man spørsmål som beveger seg utover innholdet, risikerer man at GPT-4 hallusinerer et svar. Det er ingen selvfølge at alle spørsmål alltid vil være perfekt formulert inn mot Context-tema. Ofte må man omformulere for å få et mer riktig svar.

Det kan være vanskelig å vurdere kvaliteten i svarene, når mer kompliserte fagområder skal vurderes. Det blir derfor tydelig at det som alltid med GPT-4 er viktig at man har kunnskap om temaene man snakker med den om, fordi det kun er på den måten, man kan bedømme at det den sier er riktig. 

Begrensninger i Open AI’s API

Dessverre har OpenAI satt en begrensning på ca 32 000 tokens i GPT-4. Inkludert herunder er også dialogteksten man har med GPT-4. Denne grensen berører også Context, men har blitt utvidet en rekke ganger siden ChatGPT ble lansert. Det er derfor grunn til å tro at grensen vil bli ytterligere utvidet etter hvert. I mellomtiden kan man eksperimentere med denne type funksjonalitet og teste de ulike mulighetene det gir. At innholdet er så lite i eksperimenterings- og testmodus er også en fordel, fordi det gjør det enklere å forstå resultatene.

Oppsummering

Det er åpenbart at GPT-4 i kombinasjon med Context har et stort potensiale på veldig mange områder. På informasjonsområdet er dette et paradigmeskifte, som vi bare aner konturene av. Noen utfordringer må løses for at potensiale fullt ut kan utnyttes. Vi mener at som testområde kan det allikevel fungere slik det er nå. Andre utfordringer er av en karakter man må tilpasse seg.

Det er ekspertkjennskap innenfor et konkret fagområde i kombinasjon med Context og kompetanse om GPT-4, som vil være avgjørende for hvor bra resultater man får. En viktig del av dette er hvordan man instruerer GPT-4 i form av prompts. Her trengs det både mye læring og eksperimentering.

Samtidig må det eksperimenteres med dybde og bredde på innhold i Context ut fra hva slags fagområder det er snakk om. Man må sammen finne ut av hva slags type tjeneste som kan være aktuell ut fra hvilke behov man har, og hvordan man best tilrettelegger i hvert tilfelle. 

Vi er også helt sikre på at vi ikke ser alle mulighetene som foreligger. Vi er derfor interessert i å høre andres tanker om hvordan man kan utnytte GPT-4 og Context i kombinasjon.

Har du spørsmål eller ønsker å høre mer om dette: Ta kontakt på info@innovatec.net.