Ledning och styrelsePublicerad 11 min läsning

Generativ AI i offentlig förvaltning: var den hjälper och var människan beslutar

Generativ AI gör mest nytta i förvaltningen när den förbereder ett förslag som en handläggare granskar. Här är ramverket för rättssäkerhet, spårbarhet, dataskydd och upphandling.

Generativ AI hör hemma i offentlig förvaltning där den läser, sorterar och förbereder ett förslag som en handläggare sedan granskar och beslutar om. Den passar sämst där den själv ska avgöra ett ärende, eftersom förvaltningsrätten, offentlighetsprincipen och dataskyddet kräver att någon kan stå för beslutet och förklara det. Börja därför i ert eget regelverk och välj verktyg efter det.

Kort sagt

  • Generativ AI gör mest nytta i läsande och förberedande arbete, som diarieföring, komplettering av ansökningar och sammanställning av yttranden.
  • Beslutet ligger kvar hos en behörig människa, och varje förslag ska gå att spåra tillbaka till sitt underlag.
  • Ställ krav på godkännande, källhänvisning, logg och datalagring redan i upphandlingen, och börja med en avgränsad arbetsuppgift.

Vad betyder generativ AI i en förvaltning?

Skillnaden mot den automation förvaltningen redan har

De flesta kommuner och myndigheter har redan automation: e-tjänster som fyller i formulär, regelmotorer som räknar fram en avgift och integrationer som flyttar data mellan system. Den sortens automation gör samma sak varje gång den får samma indata, och regeln går att läsa i klartext.

Generativ AI fungerar annorlunda. En språkmodell skriver text utifrån sannolikheter, och den kan formulera ett felaktigt påstående lika övertygande som ett korrekt. Det gör den bra på att läsa en lång handling och föreslå vad den handlar om, och sämre på att vara ensam garant för att svaret stämmer. Allt modellen producerar bör därför behandlas som ett utkast tills en människa har läst det.

Varför förvaltningens förutsättningar skiljer sig från ett företags

Ett företag kan välja att ta en affärsrisk. En myndighet är bunden av lagar som gäller oavsett vilket verktyg som används. Förvaltningslagen (2017:900) säger att ett ärende ska handläggas så enkelt, snabbt och kostnadseffektivt som möjligt utan att rättssäkerheten eftersätts. Den meningen beskriver ganska exakt både löftet och gränsen för generativ AI i förvaltningen: tempot får öka, rättssäkerheten får inte ge vika.

Till det kommer offentlighetsprincipen, sekretessen, dataskyddet och reglerna för offentlig upphandling. Var och en påverkar hur en AI-lösning får byggas, vilket är skälet att börja i regelverket.

Var gör generativ AI nytta i förvaltningen?

Läsa, sortera och sammanfatta inkomna handlingar

Den mest självklara platsen är där handlingarna kommer in. En registrator läser varje inkommen handling, avgör vilket ärende den hör till, vilken nämnd som berörs och vem som ska handlägga den. Det är läsande arbete med tydliga regler, och därmed ett bra första område.

Vår modul för diarieföring visar hur ett sådant flöde kan byggas. Den föreslår nämnd, handläggare och diarienummer för en inkommen handling, och en människa registrerar. Modulen har status demo. Mer om upplägget finns i diarieföring med AI där registratorn har sista ordet.

Samma mekanism gäller sammanfattningar. Dokumentsummeraren sammanfattar en PDF, en webbsida eller en text i punkter och anger för varje punkt var i källan den står. Den källhänvisningen är viktigare än själva sammanfattningen, eftersom den gör det möjligt för handläggaren att kontrollera varje påstående på sekunder.

Förbereda förslag som en handläggare granskar

Bygglov är ett tydligt exempel på ett ärende där mycket tid går åt innan själva prövningen börjar. Plan- och bygglagen (2010:900) styr vad en ansökan prövas mot, och en stor del av arbetet består i att se om underlaget är komplett.

Modulen för bygglovsärenden klassar ansökan enligt plan- och bygglagen, pekar ut bilagor som saknas, föreslår diarienummer och skickar ärendet till rätt handläggare. Modulen är planerad. Poängen med exemplet är arbetsfördelningen: AI:n förbereder, och handläggaren gör prövningen och fattar beslutet. Vad som går att överlåta till AI i bygglovshandläggningen och vad som ska ligga kvar hos handläggaren går vi igenom steg för steg i ett eget inlägg.

Stöd i medborgardialog och samråd

Vid ett samråd kan en nämnd få in många yttranden, och någon ska läsa alla för att underlaget ska bli rättvisande. Modulen för medborgardialog sorterar inkomna yttranden efter ämne och inställning och sammanfattar de vanligaste invändningarna till nämndens underlag. Modulen för detaljplaner läser planhandlingarna och pekar ut bestämmelser som krockar och vad som sagts i tidigare samråd. Båda är planerade. I båda fallen komprimerar AI:n stora textmängder, medan bedömningen av vad invändningarna betyder ligger kvar hos tjänstepersoner och politiker.

Arbetsuppgifter som ligger nära beslut och därför kräver extra försiktighet

Ju närmare ett beslut om en enskild person en uppgift ligger, desto mer försiktighet krävs. AI-förordningen är riskbaserad, och ett system som används för att bedöma enskildas rätt till offentliga förmåner hamnar i en helt annan kravnivå än ett som sorterar post. Den som vill använda generativ AI i sådana flöden bör räkna med ett betydligt tyngre arbete med dokumentation, tillsyn och konsekvensbedömning. Vilka krav som gäller och när framgår av checklistan för AI-förordningen.

Vilka gränser sätter regelverket?

Rättssäkerhet och myndighetsutövning: vem fattar beslutet

Förvaltningslagen öppnar för att beslut fattas automatiserat, men kraven på motivering, kommunicering och rättssäkerhet gäller ändå. En språkmodell som formulerar sig olika från gång till gång är svår att förena med kravet på att kunna förklara varför ett beslut blev som det blev. I kommuner styr dessutom kommunallagen (2017:725) vem som kan få beslutanderätt på nämndens vägnar, och en språkmodell finns inte bland dem. Hur ett enskilt flöde ska bedömas avgör ni med er jurist, fall för fall.

Offentlighet och sekretess, och vad som får skickas till en modell

Enligt tryckfrihetsförordningen är en handling allmän om den förvaras hos en myndighet och är inkommen dit eller upprättad där. Utkast, sammanfattningar och loggar som ett AI-system skapar kan därför bli allmänna handlingar, och det behöver bedömas i det enskilda fallet. Lika viktigt är frågan om vad som får lämnas till en extern tjänst. Om ett sådant utlämnande är förenligt med offentlighets- och sekretesslagen (2009:400) beror på vilka uppgifter det gäller och hur tjänsten är uppsatt.

Dataskydd och personuppgifter

Dataskyddsförordningen gäller fullt ut när ett AI-system behandlar personuppgifter. Behandlingen behöver en rättslig grund, enskilda har ett särskilt skydd mot beslut som enbart grundas på automatiserad behandling, och en behandling som sannolikt innebär hög risk för personers rättigheter kräver en konsekvensbedömning. Hur det slår igenom i ett visst flöde bedömer ni tillsammans med ert dataskyddsombud. För en förvaltning som vill pröva generativ AI är det klokt att börja med ärenden där få eller inga känsliga uppgifter behandlas.

AI-förordningen och riskklasser

AI-förordningen delar in AI-system efter risk. Ett system som föreslår registrering av post eller skriver utkast hamnar sällan bland högrisksystemen, medan system som bedömer enskildas rätt till offentliga förmåner gör det. Den som använder ett högrisksystem har egna skyldigheter, och offentliga organ ska dessutom bedöma konsekvenserna för grundläggande rättigheter innan systemet tas i bruk. Tidsplanen har ändrats sedan förordningen antogs, och den aktuella genomgången finns i AI-förordningen och vad den kräver av AI-agenter.

Kunskapskravet för personalen

Ett krav gäller oavsett riskklass. AI-förordningen kräver att den som använder AI-system vidtar åtgärder för AI-kunnighet hos sin personal. I praktiken betyder det att de som ska granska AI:ns förslag behöver förstå hur modellen kan ha fel och hur de upptäcker det.

Hur ser en ansvarsfull uppsättning ut?

Människan godkänner innan något lämnar förvaltningen

Grundprincipen är enkel att formulera och kräver disciplin att bygga: inget skickas, registreras eller ändras innan en behörig person har läst förslaget och sagt ja. Det är så vi bygger ALEX, och modellen beskrivs närmare i AI-medarbetare som förbereder och människan som beslutar. I ALEX är ett ja knutet till en viss text och en viss person, och ändras texten gäller inte längre det godkännandet. Det finns aldrig något "alltid tillåt".

Källhänvisning för varje påstående i en sammanfattning

En sammanfattning utan källhänvisning tvingar handläggaren att antingen lita blint på den eller läsa om hela handlingen. Ställ därför kravet att varje punkt i en sammanfattning pekar på var i underlaget den står, och att systemet skriver ut när en uppgift saknas i stället för att fylla i luckan.

Spårbar logg över vad modellen fick och vad den föreslog

När ett ärende granskas i efterhand ska det gå att se vilket underlag modellen fick, vad den föreslog och vem som godkände. Allt ALEX gör skrivs in i en signerad logg med extern tidsstämpel som er revisor kan kontrollera själv. Ett öppet exempel finns i den signerade loggen, och steg för steg står i hur ni verifierar en AI-logg själva. Det avgörande är att kontrollen går att göra utan att lita på leverantörens ord. Hur en sådan verifierbar compliance-AI är byggd har vi beskrivit för sig.

Var data lagras och vem som driver systemet

Fråga alltid var data lagras, vem som har åtkomst och vilka underbiträden som används, också AI-leverantören. För ALEX får varje kund en egen server i EU, och kräver ni det körs ALEX i er egen miljö med er egen modellnyckel. Det viktiga för er är att svaret finns skriftligt och kan ingå i er bedömning enligt sekretess- och dataskyddsreglerna.

Hur upphandlar ni utan att fastna i pilotstadiet?

Krav att ställa i upphandlingen

Lagen (2016:1145) om offentlig upphandling bygger på principer om likabehandling, öppenhet och proportionalitet, och kraven ni ställer ska gå att följa upp. För generativ AI handlar det om att skriva in mekanismerna ovan som skall-krav: mänskligt godkännande före varje åtgärd, källhänvisning, en logg som går att kontrollera oberoende av leverantören, besked om var data lagras och en lista över underbiträden. En färdig utgångspunkt finns i vår kravmall för att upphandla AI i offentlig sektor, och en bredare genomgång av vad ni ska kräva av en AI-byrå.

Börja med en avgränsad arbetsuppgift och mät den

Välj en arbetsuppgift med tydlig början och tydligt slut, till exempel förslag på registrering av inkomna handlingar. Mät hur lång tid uppgiften tar i dag och hur ofta förslagen behöver rättas när AI:n är inkopplad. Ett skuggläge, där systemet läser och föreslår utan att röra något, gör att ni kan jämföra förslagen med vad handläggarna faktiskt gjorde innan något förändras i verksamheten.

Varför piloter fastnar och hur ni undviker det

En pilot fastnar när ingen har bestämt i förväg vad som ska vara uppfyllt för att gå vidare. Då blir utvärderingen en känsla, och frågor om sekretess, loggning och ansvar dyker upp först när det är dags att skala upp. Skriv därför ned tre saker innan piloten startar: vilket mått som avgör, vem som äger beslutet att gå vidare och vilka juridiska frågor som ska vara besvarade vid den tidpunkten. Då blir piloten ett beslutsunderlag.

Vad betyder det för er i praktiken?

Vilken arbetsuppgift, vilken risk och vem har sista ordet

Börja med att lista de arbetsuppgifter där personalen mest läser, sorterar och sammanställer. Bedöm för var och en hur nära ett beslut om en enskild person den ligger och vilka uppgifter som behandlas. Utse sedan vem som godkänner AI:ns förslag i varje flöde. Den personen behöver både befogenhet och tillräcklig kunskap för att upptäcka när förslaget är fel.

Hur ser vi i efterhand vad AI:n gjorde

Bestäm hur ni ska kunna rekonstruera ett ärende ett år senare. Det kräver en logg som visar underlag, förslag och godkännande, och en rutin för hur loggen hanteras som handling. Den frågan är lättare att lösa innan systemet är på plats än efteråt.

När bör ni vänta

Vänta med uppgifter som ligger nära beslut om enskildas rättigheter tills ni har gjort konsekvensbedömningar och klarat ut klassningen enligt AI-förordningen. Vänta också om ni inte kan få ett skriftligt besked om var data lagras och vilka som behandlar den. Det finns gott om förberedande arbete att börja med under tiden.

Hur kommer ni igång med en första uppgift?

Det här är läget hos oss: ALEX arbetar i dag i vår egen verksamhet, ingen kund har ALEX i drift ännu och modulerna för offentlig sektor har status demo eller planerad. I offentlig sektor börjar vi med diariet, eftersom det är läsande arbete där registratorn redan har sista ordet. En bredare bild av vad ALEX kan göra i diariet, bygglov, samråd och detaljplan finns i AI i offentlig sektor som ett eget jobb i kommunen.

Vill ni pröva var en avgränsad uppgift passar hos er kan ni ta ett samtal om vilken arbetsuppgift som passar först. Alexander svarar senast nästa arbetsdag.

Källor

Vill ni se hur det ser ut hos er?

Vi visar ALEX på ert eget material på en halvtimme.

Nyhetsbrev om AI-förordningen och det vi lär oss när vi bygger ALEX.

Vi hör av oss när något i AI-förordningen ändras som påverkar er. Avregistrera när som helst via länken i mejlet.

Uppgifterna används endast för nyhetsbrevet. Inga utskick utöver det utan separat samtycke.