När underlaget inte får lämna huset körs modellen där underlaget finns.
Lokal AI, eller AI on premise, betyder att språkmodellen körs på en server ni själva kontrollerar, i ert serverrum eller i er egen miljö. Underlaget skickas då aldrig till en AI-tjänst i molnet. Det behövs när sekretess, avtal eller uppkoppling kräver det, och för mycket annat arbete räcker molnet.
Nedan står när det behövs, vad det kräver av hårdvara och licenser och hur lokalt och moln skiljer sig. Hur ni väljer var modellen körs i ALEX står längre ned.
Var modellen ska köras avgörs av uppgiften, och svaret kan bli olika för olika uppgifter.
Tre platser brukar kallas lokala. De skiljer sig i vem som driver maskinen och vem som kan komma åt den.
On premise i ordets egentliga mening. Servern står hos er, och ni ansvarar för ström, kylning, säkerhet och uppdateringar.
Modellen körs på maskiner ni hyr i en miljö som ni själva styr. Det kallas ofta privat AI, eftersom miljön och behörigheterna är era.
En server reserverad för er och driven av en leverantör. Fråga var den står, vem som kan logga in och vad som händer med datan när avtalet upphör.
Gemensamt för de tre är att modellen körs på maskiner ni kontrollerar eller har avtal om, och att underlaget inte skickas vidare till en AI-tjänst. När någon erbjuder lokal AI är det värt att fråga vilken av dem som menas, eftersom ansvaret för driften ser olika ut.
En lokal AI-modell är oftast en öppen modell som laddas ned och körs på den egna maskinen. Vilka modeller som är tränade på svenska beskrivs i guiden om svensk språkmodell. Vad som skiljer öppna modeller åt, och vad licenserna tillåter, står längre ned.
Frågan avgörs per uppgift. Samma verksamhet kan ha svar åt båda hållen.
Enligt 10 kap. 2 a § offentlighets- och sekretesslagen får en myndighet lämna en uppgift till den som bara ska bearbeta eller lagra den tekniskt, om det med hänsyn till omständigheterna inte är olämpligt. Den bedömningen gör myndigheten själv. Körs modellen i myndighetens egen miljö lämnas uppgiften inte ut alls.
Kundavtal, sekretessavtal och branschregler kan bestämma var uppgifter får behandlas och av vem. Står det att de inte får lämna er, är lokal drift det enkla svaret.
En kommun eller region kan kräva besked om var uppgifterna behandlas och vem som kan ta del av dem, AI-modellens leverantör inräknad. Formuleringarna finns i kravmallen på sidan om att upphandla AI.
En modell på egen maskin fungerar även när internet ligger nere, och svarstiden bestäms av er egen hårdvara. Det spelar roll där arbetet måste gå att utföra på plats.
För texter som redan är offentliga, för marknadsföring och för utkast utan personuppgifter finns det sällan skäl att köra modellen själv. När personuppgifter förekommer avgörs valet av vilka uppgifter det gäller, vilket biträdesavtal som finns och var behandlingen sker. Vad dataskyddsförordningen kräver står på sidan om GDPR och AI. Molnet ger också tillgång till modeller från leverantörer som inte släpper sina vikter.
Branscher med egna regler, som bank, vård och kommun, beskrivs på sidan om AI i reglerade branscher, och kommunens arbete på sidan om AI i offentlig sektor.
Jämförelsen som på engelska heter on premise vs cloud. Ingen av dem vinner på alla rader.
| Fråga | Lokalt | Moln |
|---|---|---|
| Var underlaget behandlas | På maskiner ni kontrollerar | Hos AI-leverantören, i de länder avtalet anger |
| Vilka modeller som går att köra | Öppna modeller som får laddas ned | Också modeller vars vikter inte släpps |
| Kostnaden | Hårdvara eller hyrd server och drift, också när modellen står still | Betalning per anrop, som växer med användningen |
| Drift och uppdateringar | Ni eller er leverantör | AI-leverantören |
| Utan internet | Fungerar om maskinen står hos er | Fungerar inte |
| Toppar i användningen | Begränsas av er hårdvara | Leverantören skalar upp, inom avtalets gränser |
Många hamnar i en blandning, där det känsliga körs lokalt och resten i molnet. Då behöver valet göras för varje uppgift, efter regler som någon har bestämt, och det ska gå att se i efterhand vart varje uppgift gick. Hur ALEX gör det står i Trust Center.
Suverän AI, eller AI-suveränitet, betyder att organisationen själv bestämmer var data och modell finns, vem som kan nå dem och när något ändras.
Underlaget, loggarna och modellen ligger på maskiner i ett land ni känner till, under ett avtal ni har läst. Med lokal AI är svaret ert eget serverrum i Sverige eller en server i EU som är reserverad för er.
Att datan lagras i EU är en del av svaret. Lyder leverantören eller dess moderbolag under ett annat lands lag, kan myndigheter i det landet ha en väg till uppgifterna.
I molnet kan leverantören byta eller avveckla en modellversion enligt sina villkor. En öppen modell som ni har laddat ned byts när ni själva väljer det, och den nya versionen kan prövas på era egna uppgifter först.
Fråga hur ni får med er data, loggar och inställningar när avtalet upphör, och om lösningen fungerar med en annan modell. Ju färre delar som bara en leverantör kan driva, desto lättare blir ett byte.
Den amerikanska CLOUD Act från 2018 gör att en leverantör av kommunikations- eller molntjänster som omfattas av amerikansk jurisdiktion kan åläggas att lämna ut uppgifter som den har i sin besittning eller kontroll, oavsett om uppgifterna finns i USA eller utanför. Enligt artikel 48 i GDPR får ett sådant beslut från ett tredje land bara erkännas eller verkställas i EU om det grundar sig på en internationell överenskommelse, till exempel ett avtal om ömsesidig rättslig hjälp, utan att det påverkar de andra grunderna i kapitel V. Leverantören kan alltså hamna mellan två länders lagar.
Förs personuppgifter till ett land utanför EU och EES gäller kapitel V. EU-domstolen har underkänt två ordningar för USA, Safe Harbor 2015 och Privacy Shield 2020 i domen Schrems II (C‑311/18). Standardavtalsklausuler får fortfarande användas, men skyddet i mottagarlandet ska bedömas och vid behov kompletteras, och går det inte att säkra ska överföringen inte ske. Sedan den 10 juli 2023 finns ett beslut om adekvat skyddsnivå för mottagare i USA som omfattas av EU-U.S. Data Privacy Framework. Mer om kapitel V står på sidan om GDPR och AI.
Europeisk AI kan betyda en modell som är utvecklad i Europa, som Mistral från Frankrike, eller en tjänst som drivs i Europa. För suveräniteten väger var modellen körs och vem som driver maskinen tyngre än var modellen är utvecklad. Körs en öppen modell på er egen server går underlaget inte till utgivaren, och det som följer med modellen är licensen. Vad licenserna tillåter står under öppna modeller.
I ALEX väljer ni var modellen körs. Varje kund får en egen server i EU, och er data delas aldrig med någon annan kund. Servern och den krypterade kopian ligger hos Hetzner Online GmbH på två platser i EU. Hetzner är ett tyskt bolag som också säljer molnservrar i USA, så frågan om vilket lands lag som kan nå leverantören gäller även här. Kräver ni det kan ALEX köras i er egen miljö, med er egen modellnyckel. Använder ni en molnmodell för en del av arbetet gäller samma frågor för den delen. Hur valet görs för varje uppgift står i Trust Center.
Öppna vikter och öppen källkod är två olika begrepp. Licensen avgör vad ni får göra.
En öppen modell är en modell vars vikter, alltså de inlärda parametrarna, får laddas ned och köras på egen maskin. Det är grunden för nästan all AI on premise. Open source i strikt mening är snävare. Open Source Initiative kräver i sin definition av öppen AI, version 1.0, att också koden för träning och körning och tillräcklig information om träningsdatan finns tillgänglig. Många modeller som kallas open source har öppna vikter men publicerar inte allt det.
Licensen kan skilja sig mellan versioner i samma modellfamilj. Googles Gemma 4 är den första Gemma-versionen under Apache 2.0, och de tidigare har egna användarvillkor. Tabellen visar licensen för några modeller som går att köra lokalt, i bokstavsordning och utan rangordning.
| Modell | Utgivare | Licens | Att läsa i licensen |
|---|---|---|---|
| Gemma 4 | Apache 2.0 | Tidigare Gemma-versioner har Gemma Terms of Use, med en policy för förbjuden användning. | |
| gpt-oss-20b | OpenAI | Apache 2.0 | Licenstexten ska följa med om modellen sprids vidare. |
| Llama 3.3 | Meta | Llama 3.3 Community License Agreement | Företag vars tjänster hade fler än 700 miljoner aktiva användare i månaden när versionen släpptes behöver tillstånd från Meta, och en policy för godtagbar användning gäller. |
| Mistral Small 3.2 | Mistral AI | Apache 2.0 | Licenstexten ska följa med om modellen sprids vidare. |
| Qwen3-32B | Qwen, Alibaba | Apache 2.0 | Licenstexten ska följa med om modellen sprids vidare. |
Enligt artikel 2.12 är AI-förordningen inte tillämplig på AI-system som släpps ut med kostnadsfria licenser med öppen källkod, såvida de inte släpps ut på marknaden eller tas i bruk som högrisksystem eller omfattas av artikel 5 eller 50. Undantaget gäller alltså inte när en öppen modell används i ett högrisksystem. Vad som gäller står i AI-förordningen för företag.
Tre saker styr: modellens storlek, hur många som använder den samtidigt och vem som sköter driften.
En språkmodell måste rymmas i grafikkortets minne, eller i det gemensamma minnet på datorer där processor och grafik delar minne. En större modell kräver mer minne. Med kvantisering lagras vikterna med lägre precision, och då får modellen plats på mindre minne mot att en del av kvaliteten går förlorad. Utan grafikkort går det att köra en modell, men svaren kommer långsamt.
En modern dator räcker ofta för att en person ska kunna pröva en mindre modell. Ska många använda modellen samtidigt, eller ska den gå igenom stora mängder dokument, behövs en server med mer minne och kraftigare grafikkort. Mät på era egna uppgifter innan ni köper något.
Lokal AI kostar hårdvara eller en hyrd server, el och plats, och någon som uppdaterar, övervakar och säkerhetskopierar. Det mesta av kostnaden finns kvar även när modellen inte används. I molnet betalar ni per anrop, så kostnaden följer användningen. Vilket som blir billigast avgörs av volymen och av hur mycket drift ni redan har. Hur kostnaden för en AI-agent räknas står på sidan vad kostar en AI-agent.
Fyra delar som är byggda i dag.
Ni väljer var modellen körs. Det är byggt.
Kräver ni det kan ALEX köras i er egen miljö, med er egen modellnyckel. Det är byggt.
En egen server per kund, i EU. Er data delas aldrig med någon annan kund. Det är byggt.
Ett mejl kan försöka styra en lokal modell lika väl som en i molnet. Inkommande post granskas för dolda instruktioner som någon har bäddat in i texten. Det är byggt.
Hur ALEX avgör vilken modell som får se materialet i varje uppgift, och var varje sådant val syns i efterhand, står i Trust Center. Vilka underbiträden som används, också AI-leverantören och var den finns, står i integritetspolicyn.
Kapaciti kör ALEX på sin egen nod, i sin egen verksamhet. Servern som varje kund får är byggd och provad med testdata: krypterad, med en andra kopia på en annan plats i EU. Ingen kund har ALEX i drift ännu.
Att AI-modellen körs på en server som står hos er eller i en miljö ni själva kontrollerar. Underlaget skickas då inte till en AI-tjänst i molnet. På svenska kallas det ofta lokal AI.
Lokalt behandlas underlaget på maskiner ni kontrollerar, och ni eller er leverantör sköter driften. I molnet behandlas det hos AI-leverantören, ni betalar per anrop och får tillgång till modeller vars vikter inte släpps. Hela jämförelsen står på sidan.
En mindre öppen modell går ofta att köra på en modern dator, särskilt en med grafikkort eller gemensamt minne. Större modeller och många samtidiga användare kräver en server med mer minne.
Det finns många öppna modeller vars vikter får laddas ned, till exempel under Apache 2.0. Licenserna skiljer sig mellan modeller och versioner, så läs licensen för just den version ni ska använda.
Kostnaden består av hårdvara eller en hyrd server, el, plats och driften, och den finns kvar även när modellen inte används. Vad som styr kostnaden för en AI-agent står på sidan vad kostar en AI-agent.
När underlaget inte omfattas av sekretess eller avtal som kräver att det stannar hos er, till exempel offentliga texter och utkast utan personuppgifter. Förekommer personuppgifter avgörs valet av vilka uppgifter det gäller, biträdesavtalet och var behandlingen sker.
Det avgörs av uppgifterna. För uppgifter med sekretess bedömer kommunen själv om de får lämnas till en leverantör enligt 10 kap. 2 a § offentlighets- och sekretesslagen. Kraven att ställa finns i kravmallen på sidan om att upphandla AI.
Suverän AI, på engelska sovereign AI, betyder att organisationen själv bestämmer var data och modell finns, vem som kan nå dem och när modellen ändras. Lokal AI på en maskin ni kontrollerar, i Sverige eller i EU, är ett sätt att uppnå det.
Inte alltid. Omfattas leverantören av amerikansk jurisdiktion kan den åläggas att lämna ut uppgifter enligt den amerikanska CLOUD Act från 2018, också när uppgifterna lagras i EU. Fråga därför både var datan lagras och vilket lands lag leverantören och dess moderbolag lyder under.
Ni väljer var modellen körs. Kräver ni det kan ALEX köras i er egen miljö, med er egen modellnyckel. Annars får varje kund en egen server i EU, och er data delas aldrig med någon annan kund. Hur valet görs för varje uppgift står i Trust Center, och vilka underbiträden som används i integritetspolicyn.
Trettio minuter. Ni visar vilka uppgifter ni vill lösa och vilka krav som gäller för datan, så går vi igenom var modellen ska köras för varje uppgift. Alexander svarar senast nästa arbetsdag.
Nyhetsbrev om AI-förordningen och det vi lär oss när vi bygger ALEX.
Vi hör av oss när något i AI-förordningen ändras som påverkar er. Avregistrera när som helst via länken i mejlet.