Et velbegrundet stop er også ansvarlig digitalisering

Debatindlæg af stabschef Anders Drejer Lønbæk, Teknologi, Data & Forretnings-IT og kommunikationschef Nanna Lise Vester, Web & Fælles Kommunikation. Begge Odense Kommune.

Kunstig intelligens rummer et stort potentiale for kommunerne. Teknologien kan gøre information lettere tilgængelig, understøtte medarbejderne og måske frigøre tid til de opgaver, hvor den menneskelige kontakt er vigtigst. Men potentiale er ikke det samme som dokumenteret værdi.

Når vi tager ny teknologi i brug, bør vi derfor være lige så optagede af borgernes faktiske udbytte som af teknologiens muligheder. Og vi skal som ledelser være parate til at ændre retning, hvis en konkret løsning ikke leverer den kvalitet og effekt, vi havde forventet.

Det blev konklusionen, da vi i Odense Kommune evaluerede en AI-baseret chatbot på odense.dk.

En klar ambition

Formålet med chatbotten var at gøre det nemmere for borgere og virksomheder at finde svar på kommunens hjemmeside. Chatbotten skulle give hurtige og præcise svar, være tilgængelig uden for kommunens åbningstid og på sigt reducere behovet for nogle af de telefoniske og skriftlige henvendelser.

Forventningen var med andre ord, at chatbotten kunne bidrage til både bedre borgerservice og en mere hensigtsmæssig anvendelse af kommunens ressourcer.

Det var et relevant forsøg. Borgerne forventer i stigende grad, at de kan finde svar og løse deres ærinder digitalt. Samtidig bliver AI-baserede søge- og svartjenester en stadig mere almindelig del af den måde, mennesker søger information på.

Derfor var spørgsmålet ikke alene, om teknologien kunne producere et svar. Det afgørende var, om svaret var korrekt, forståeligt og anvendeligt for borgeren.

Vi målte på borgerens udbytte

Før evalueringen havde projektet fastsat et mål om, at mindst 70 procent af samtalerne skulle vurderes som tilfredsstillende eller delvist tilfredsstillende.

I testperioden gennemførte borgerne i alt 558 samtaler med chatbotten. Projektgruppen gennemgik manuelt en sekventielt udvalgt stikprøve på 50 samtaler. Gennemgangen viste, at 60 procent af samtalerne kunne vurderes som tilfredsstillende eller delvist tilfredsstillende. Målet på mindst 70 procent blev dermed ikke nået.

I de øvrige samtaler var svarene utilstrækkelige, den nødvendige information manglede på odense.dk, eller borgerens spørgsmål krævede kontakt med en medarbejder.

En stikprøve på 50 samtaler giver naturligvis ikke et fuldstændigt billede af alle samtaler. Men den manuelle gennemgang gav et konkret indblik i borgernes møde med løsningen. Sammen med erfaringerne fra den løbende drift var den tilstrækkelig til, at vi kunne foretage en samlet ledelsesmæssig vurdering.

Den vurdering viste, at kvaliteten ikke var høj nok til, at vi med rimelig sikkerhed kunne forvente at nå det fastsatte mål gennem yderligere tilpasning og træning af chatbotten.

Begrænset brug svækkede business casen

Kvalitet var ikke den eneste udfordring.

I testperioden blev der i gennemsnit gennemført 18 samtaler om dagen. Det var væsentligt under det niveau, der skulle til, hvis chatbotten skulle frigøre den forventede medarbejdertid og skabe den forudsatte økonomiske gevinst. De årlige udgifter blev skønnet til cirka 179.000 kroner. Når den lave anvendelse, kvaliteten af samtalerne og kommunens eget arbejde med administration og kvalitetssikring blev taget i betragtning, kunne den oprindelige besparelse ikke sandsynliggøres. 

Det er en vigtig læring, som rækker ud over chatbotprojektet.

En business case for ny teknologi kan ikke alene bygge på, hvor mange henvendelser en løsning teoretisk kan håndtere. Den skal også tage højde for, om borgerne vælger at bruge løsningen, hvor ofte den faktisk løser deres ærinde, og hvor mange kommunale ressourcer der skal bruges på at vedligeholde og kvalitetssikre den.

Hvis en borger efter en utilstrækkelig dialog med en chatbot alligevel skal ringe til kommunen, har teknologien ikke nødvendigvis reduceret en henvendelse. Den kan i værste fald have føjet endnu et trin til borgerens vej gennem kommunen.

På baggrund af den samlede evaluering har vi anbefalet at stoppe den konkrete chatbotløsning. Det er ikke et nej til kunstig intelligens. Det er heller ikke et udtryk for, at kommunerne bør vente passivt på, at teknologien bliver perfekt.

Det er et ja til, at AI-løsninger skal vurderes efter de samme grundlæggende principper som andre kommunale investeringer: Skaber de tilstrækkelig værdi for borgerne? Er kvaliteten forsvarlig? Står effekten mål med omkostningerne? Og kan organisationen drive løsningen på en bæredygtig måde?

Ny teknologi bør give os mulighed for at eksperimentere og lære. Men hvis alle forsøg på forhånd forventes at ende i permanent drift, er der ikke længere tale om reelle forsøg. Så bliver implementeringen let et mål i sig selv.

Et afgrænset teknologiprojekt kan derfor godt være værdifuldt, selv om konklusionen bliver, at løsningen skal stoppes. Værdien ligger i, at kommunen får et bedre grundlag for at træffe fremtidige beslutninger og undgår at fortsætte en investering, som ikke skaber den forventede effekt.

Borgerens behov består

Når vi lukker chatbotten, forsvinder det behov, den skulle være med til at løse, naturligvis ikke.

Borgerne skal fortsat kunne finde korrekte og forståelige svar på kommunens hjemmeside. Derfor flytter vi nu indsatsen til områder, hvor vi vurderer, at den kan skabe større og mere varig værdi.

Vi vil arbejde videre med kvaliteten af indholdet på odense.dk. Tekster, overskrifter, links og struktur skal gøre det lettere for borgerne at finde det rigtige svar. Et godt og vedligeholdt informationsgrundlag gavner ikke kun kommunens egen hjemmeside. Det øger også mulighederne for, at søgemaskiner og nye AI-baserede søgetjenester kan finde og anvende kommunens autoritative information korrekt.

Vi vil samtidig følge udviklingen på markedet. Chatbotteknologien udvikler sig hurtigt, og det kan på et senere tidspunkt blive relevant at afprøve nye løsninger. Men en ny afprøvning bør bygge på tydelige krav til dokumenteret kvalitet, borgerværdi, driftsbehov og økonomi.

Endelig tager vi projektets data, kvalitetskriterier og erfaringer med videre i arbejdet med Nyt odense.dk. På den måde går læringen ikke tabt, selv om den konkrete løsning afsluttes. 

Fire erfaringer til andre kommuner

Vores erfaring kan sammenfattes i fire opmærksomhedspunkter:

1. Fastlæg succeskriterierne på forhånd. Det skal inden afprøvningen være tydeligt, hvad der skal til, for at en løsning kan betegnes som tilstrækkelig god. Ellers risikerer man at flytte målstregen, når resultaterne foreligger.

2. Mål på borgerens samlede udbytte. Det er ikke nok, at systemet kan formulere et svar. Spørgsmålet er, om borgeren får korrekt information og kan komme videre med sit ærinde.

3. Medregn organisationens eget arbejde. Administration, vedligeholdelse, kvalitetssikring, kompetenceopbygning og leverandørdialog er reelle omkostninger og skal indgå i vurderingen.

4. Gør et velbegrundet stop til et legitimt resultat. Hvis organisationen kun anerkender forsøg, der fører til implementering, bliver det vanskeligere at foretage en kritisk vurdering. At stoppe på et oplyst grundlag er også ansvarlig innovation.

5. Kommunerne skal fortsat være nysgerrige og ambitiøse i mødet med kunstig intelligens. Men borgerne skal kunne have tillid til, at vi ikke indfører teknologi, blot fordi den er ny og lovende.

Ansvarlig digital ledelse handler derfor både om at turde prøve og om at turde stoppe. I vores tilfælde var et velbegrundet stop den rigtige beslutning. Erfaringerne gør os ikke mindre ambitiøse. De gør os bedre rustet til at vurdere, hvor og hvornår ny teknologi kan skabe reel værdi.