Kostnad och tokensPublicerad 11 min läsning

Köra en AI-modell lokalt i företaget: så styr modellvalet kostnad och var data behandlas

Att köra en AI-modell lokalt i företaget handlar mest om modellvalet. Regler som ni sätter avgör vilken modell som får se materialet, och det styr både kostnaden per ärende och var era uppgifter behandlas.

Att köra en AI-modell lokalt i företaget betyder att språkmodellen körs på en server som ni kontrollerar, så att materialet den läser stannar i er miljö. Modellvalet avgör om det håller, eftersom valet av modell för varje typ av material styr både kostnaden per ärende och var era uppgifter behandlas. Vilken maskinvara som krävs beror på hur modellen ska användas och behöver tas fram för just ert fall.

Kort sagt

  • En lokal modell håller materialet i er egen miljö. En molnmodell får materialet skickat till en extern tjänst vid varje anrop.
  • Regler som verksamheten sätter kan avgöra uppgift för uppgift vilken modell som får se materialet, och det känsliga stannar hos den lokala modellen.
  • Maskinvaran beror på modellens storlek, hur många som använder den samtidigt och hur snabbt svaren behöver komma.

Vad betyder det att köra en AI-modell lokalt i företaget?

En språkmodell är i grunden en stor fil med inlärda vikter och ett program som räknar fram text ur dem. När ni använder en AI-tjänst i molnet ligger den filen hos leverantören. Er text skickas över internet, behandlas på leverantörens servrar och svaret kommer tillbaka. När ni kör modellen lokalt ligger filen på en server som ni själva har, eller på en dedikerad server på en känd plats, och texten lämnar aldrig den miljön.

Lokalt betyder alltså att ni vet var behandlingen sker och vem som har tillgång till den. Servern behöver inte stå i ert eget serverrum. En dedikerad server som bara är er och som drivs åt er inom EU ger samma kontroll över var materialet finns, och ni slipper ta hand om hårdvaran själva.

Skillnaden mellan en molnmodell och en lokal modell på egen server

Molnmodellerna är ofta de största och mest kapabla. Ni behöver ingen egen maskinvara, och ni betalar för det ni använder, vanligen räknat i tokens, de textbitar som modellen läser och skriver. Priset för det är att materialet lämnar er miljö, och att ni blir beroende av leverantörens villkor, underbiträden och var de behandlar data.

En lokal modell vänder på det. Kostnaden ligger mest i maskinvaran och skötseln, och den är ungefär densamma oavsett hur många ärenden ni kör. Materialet stannar hos er. Modellerna som går att köra lokalt är i regel mindre än de största molnmodellerna, men för många kontorsuppgifter som att sortera, sammanfatta och föreslå räcker de långt. Vilken väg som passar vilken uppgift går vi igenom mer utförligt på sidan om lokal AI, on premise eller i molnet.

Varför styr modellvalet både kostnad och var data behandlas?

Kostnaden per ärende följer direkt av vilken modell som gör jobbet. Skickas ett ärende till en molnmodell betalar ni för varje token som går in och ut, så långa dokument och många ärenden ger en kostnad som växer med volymen. Hanteras samma ärende av en lokal modell som redan står där kostar det extra ärendet nästan ingenting, eftersom maskinvaran redan är betald. Rätt fördelning mellan modellerna kan därför sänka kostnaden per ärende och behålla kvaliteten där den behövs. Hur det slår igenom i en hel kalkyl står på sidan om vad kostar en AI-agent.

Var data behandlas följer också av modellvalet, och där finns regler som gäller er oavsett leverantör. Enligt dataskyddsförordningen (EU) 2016/679 behöver varje behandling av personuppgifter en rättslig grund och ett bestämt ändamål, och ni får inte behandla fler uppgifter än vad ändamålet kräver. Principerna står i artikel 5 och kraven på rättslig grund i artikel 6. Det gäller också när behandlingen görs av en språkmodell. Skickar ni ett helt ärende till en molntjänst när bara en liten del behövs för uppgiften har ni svårare att visa att ni minimerat behandlingen.

För offentlig sektor, och för alla som hanterar sekretess eller affärshemligheter, tillkommer frågan om var tjänsterna finns och vilka leverantörer som är inblandade. Den som använder en tjänst i molnet behöver kunna svara på var uppgifterna behandlas och av vem. En lokal modell gör den kartläggningen enklare, eftersom behandlingen sker på en plats ni redan känner till.

Reglerna verksamheten sätter avgör vägvalet

När både en lokal modell och en molnmodell finns tillgängliga behöver någon avgöra vilken som får se vilket material. Det beslutet bör ligga hos verksamheten och sättas i förväg som regler. En regel kan säga att alla handlingar som innehåller personnummer stannar lokalt, att allt som rör en viss nämnd stannar lokalt, eller att rena formfrågor som att klassa ett dokument som faktura eller offert får gå till en annan modell.

Poängen med att skriva reglerna i förväg är att vägvalet blir förutsägbart. Den som handlägger ett ärende ska inte behöva tänka på vilken modell som körs. Den som ansvarar för dataskyddet ska kunna läsa reglerna och veta vad som gäller.

Det känsliga stannar hos den lokala modellen

Ingen regeluppsättning täcker allt. Därför behövs ett standardval för det som faller utanför reglerna, och det säkra standardvalet är den lokala modellen. Det känsliga, och allt som ingen regel täcker, stannar då lokalt. Molnet används bara för det verksamheten aktivt har klassat som icke känsligt. Med den ordningen kan ett hål i reglerna aldrig leda till att material skickas iväg av misstag.

Hur fungerar vägvalet i praktiken, uppgift för uppgift?

Ett vägval för en enskild uppgift kan byggas i några steg. Först läses materialet av den lokala modellen, som avgör vad det är och om det innehåller uppgifter som reglerna pekar ut. Sedan jämförs uppgiften med reglerna. Träffar en regel som tillåter en annan modell, och verksamheten har valt att använda en sådan, kan uppgiften gå dit. Träffar ingen regel stannar den lokalt. Därefter körs uppgiften och resultatet läggs fram för den som ska säga ja.

Det här behöver bestämmas när reglerna skrivs:

  • Vilka typer av uppgifter som alltid ska stanna lokalt, oavsett innehåll.
  • Vilka uppgifter som räknas som känsliga i er verksamhet, till exempel personuppgifter, sekretess eller affärshemligheter.
  • Vilka uppgifter som får gå till en molnmodell, och vilken modell och plats som då gäller.
  • Vem som får ändra reglerna och hur en ändring dokumenteras.

Varje beslut skrivs i en signerad logg

Ett vägval som ingen kan se i efterhand går inte att granska. Därför bör varje beslut om vilken modell som fick se materialet skrivas in i en logg som inte går att ändra i tysthet. AI-förordningen, förordning (EU) 2024/1689, ställer krav på att AI-system som klassas som högrisk ska kunna registrera händelser automatiskt, så att det går att spåra hur systemet har fungerat. Kravet står i artikel 12. Även för system som inte är högrisk är det en rimlig nivå att lägga sig på, eftersom det är loggen som gör det möjligt att kontrollera att reglerna följdes.

I en signerad logg bär varje post ett fingeravtryck av den föregående, så att en ändring i efterhand bryter kedjan och syns direkt. Hur en sådan kedja ser ut, och hur den kontrolleras utan att man behöver lita på leverantören, står på sidan om revisionslogg för AI.

Vilken maskinvara behövs för att köra en modell lokalt?

Svaret beror på fyra saker. Den första är modellens storlek, eftersom större modeller kräver mer minne på grafikkortet för att svara i rimlig takt. Den andra är hur många som använder modellen samtidigt, eftersom varje samtidigt anrop tar kapacitet. Den tredje är hur långa texter modellen ska läsa i ett svep, eftersom långa dokument kräver mer minne än korta frågor. Den fjärde är hur snabbt svaren behöver komma. En uppgift som körs i bakgrunden under natten tål en långsammare maskin än en som någon sitter och väntar på.

Det finns också tekniker som gör att samma modell får plats på mindre maskinvara, till exempel att vikterna lagras med lägre precision. De kostar ofta lite kvalitet, och hur mycket beror på uppgiften.

Varför svaret tas fram för varje enskilt fall

Eftersom de fyra faktorerna varierar mellan verksamheter går det inte att ange en maskin som passar alla. Ett företag som låter en modell sortera inkommande fakturor i bakgrunden har andra behov än en förvaltning där många handläggare vill ha sammanfattningar direkt. Därför bör maskinvaran dimensioneras efter de uppgifter ni faktiskt ska köra, och efter hur stor del av dem som ska stanna lokalt enligt era regler.

Hur kan modellvalet se ut i konkreta flöden?

I ALEX avgörs vägvalet för varje uppgift efter regler som ni sätter: det känsliga, och allt som ingen regel täcker, stannar hos den lokala modellen, och varje vägval skrivs i den signerade loggen. Tre av modulerna gör det tydligt hur reglerna kan läggas upp.

Bokföringsagenten läser kvitton och fakturor och föreslår kontering, och inget bokförs förrän er ekonomiansvarige har godkänt förslaget. Fakturor innehåller leverantörer, belopp och ibland personuppgifter, så en rimlig regel är att hela flödet stannar lokalt. Konteringsförslaget är en avgränsad uppgift som en lokal modell klarar.

Diarieföringen föreslår nämnd, handläggare och diarienummer för en inkommen handling, och en människa registrerar. Inkommande handlingar kan innehålla sekretessuppgifter som ingen ser förrän de är lästa, och därför passar standardvalet här: allt som ingen regel uttryckligen släpper ut stannar lokalt.

Dokumentsummeraren sammanfattar en PDF, en webbsida eller en text i punkter och anger för varje punkt var i källan den står. Här kan reglerna skilja på materialet. En offentlig webbsida som verksamheten har klassat som icke känslig kan få gå till en molnmodell om ni väljer det, medan ett internt avtal stannar lokalt. Hänvisningen till källan gör att den som läser sammanfattningen kan kontrollera varje punkt, oavsett vilken modell som skrev den.

Vad betyder det för er i praktiken?

För er betyder det att frågan om lokal AI börjar med era uppgifter, före frågan om maskinvara. Gör en lista över de uppgifter ni vill lämna till en språkmodell och märk varje uppgift efter hur känsligt materialet är. Det som innehåller personuppgifter, sekretess eller affärshemligheter märks som lokalt. Det som är offentligt eller rent formellt kan märkas som tillåtet för molnet, om ni vill använda molnet alls.

Skriv sedan reglerna så att den som ansvarar för dataskyddet kan läsa dem utan att kunna tekniken bakom. Bestäm att allt som faller utanför reglerna stannar lokalt. Bestäm också vem som får ändra reglerna, och se till att varje vägval hamnar i en logg som går att kontrollera i efterhand.

När listan och reglerna finns går det att räkna på resten. Volymen på de lokala uppgifterna avgör vilken maskinvara som behövs, och volymen på de uppgifter som får gå till molnet avgör vad tokens kostar. Ni får då en kostnad per ärende som bygger på era egna flöden, och ett svar på var varje uppgift behandlas som ni kan visa för en revisor eller ett dataskyddsombud.

Vad gör Kapaciti när en modell ska köras lokalt?

Kapaciti bygger ALEX, en AI-medarbetare som förbereder arbete i era system och väntar på ert ja innan något skickas, bokförs eller ändras. ALEX körs på egen AI-kapacitet: en lokal språkmodell på en server i EU som bara är er, och inget skickas till en AI-tjänst i molnet om ni inte väljer det. Den lokala språkmodellen körs på er egen maskin eller på en dedikerad server som vi driver åt er i EU. Varje kund får en egen server i EU, och er data delas aldrig med någon annan kund. Kräver ni det körs ALEX i er egen miljö med er egen modellnyckel.

Molnet används bara om ni väljer det, och bara för det ni klassat som icke känsligt. Vilken maskinvara som behövs tar vi fram för just ert fall. Allt ALEX gör skrivs in i en signerad logg med extern tidsstämpel som er revisor kan kontrollera själv, och hur data hanteras står i Trust Center.

Det som skiljer är att den som bygger sitter med i första mötet, utbildar er personal och svarar senast nästa arbetsdag. Det går fortare när ni pratar direkt med den som bygger, eftersom frågan om vilka regler som ska gälla för er avgörs i samma samtal som den ställs. Hos de stora konsultbolagen är AI ett av många områden. Hos oss är det allt vi gör, och uppdrag som inte håller tackar vi nej till, även när de går att fakturera.

Varför ska ni välja Kapaciti för lokal AI?

Välj Kapaciti om ni vill köra AI lokalt med regler som ni själva sätter och en logg som går att kontrollera utan oss. Kapaciti hjälper företag och offentlig sektor, stora som små, att införa AI, och vi tar uppdrag i hela Sverige och Europa. Det går fortare med oss tack vare kortare väg: grunden i ALEX är byggd och provad, så ni börjar inte från noll.

Starten är ett samtal på trettio minuter om er vecka, utan kostnad. Sedan Kartläggningen, där ni får en karta över vad som tar tid och vad ALEX kan ta över. ALEX börjar sedan med en skuggvecka där inget ändras: den läser och föreslår, och ni ser resultatet innan något går skarpt. Vi svarar senast nästa arbetsdag.

Boka 30 minuter

Källor

Vill ni se hur det ser ut hos er?

Vi visar ALEX på ert eget material på en halvtimme.

Nyhetsbrev om AI-förordningen och det vi lär oss när vi bygger ALEX.

Vi hör av oss när något i AI-förordningen ändras som påverkar er. Avregistrera när som helst via länken i mejlet.

Uppgifterna används endast för nyhetsbrevet. Inga utskick utöver det utan separat samtycke.