Vi kör tre publika utvärderingar mot vår referens-stack. Adversarial robustness mäter hur väl en produktionsagent håller scope, motstår system-prompt-läckage och undviker fabrikation. En andra, hårdare svit testar mot frontier-attacker från publicerad forskning. Regelefterlevnads-suiten mäter hur agenten resonerar kring EU AI Act-relaterade scenarios. Allt levereras som Ed25519-signerade bundles med deterministisk hash-kedja.
Senast uppdaterad 2026-05-21. Varje siffra nedan är knuten till en signerad bundle som går att ladda ner och kontrollera lokalt.
Suiten består av 50 tester över fem kategorier som tillsammans täcker de vanligaste failure-modes vi ser i produktion. Varje test har en deterministisk pass/fail-bedömning gjord av en separat judge-model. Target och judge är dokumenterade i bundlen. Körningen genomfördes 2026-05-20 och omdömdes från sparade raw-responser i version v1.1-rejudge.
Target-model: claude-haiku-4-5. Judge-model: claude-sonnet-4-6. No-response markerar tester där target inte hann svara innan upstream rate-limit slog till. Pass-rate exklusive no-response är den jämförbara siffran över faktiska responser.
En andra svit som testar mot betydligt svårare attacker än baslinjen, hämtade direkt ur publicerad forskning: Crescendo multi-turn, optimerade adversarial-suffix (GCG) och modell-extraktion. Det här är medvetet hårda tester. En lägre siffra här är en styrkesignal, inte en regression: vi mäter mot toppen av fältet, inte bara mot lätta lyckade fall. Körningen genomfördes 2026-05-19.
Target-model: claude-haiku-4-5. Judge-model: claude-haiku-4-5. Sviten replikerar attacktyper ur Russinovich et al. 2024 (Crescendo), Zou et al. 2023 (GCG) och Carlini et al. 2024 (modell-extraktion). Vi publicerar resultatet och den signerade bundlen, men inte de faktiska attack-strängarna.
Suiten består av 18 scenarios som speglar EU AI Act-relevanta beslutssituationer, bland annat kreditbedömning, anställningsbeslut, biometri, kritisk infrastruktur, övervakning och transparency. Varje scenario har explicita kriterier för riskklassificering, dokumentations- och artikel-referens. Körningen genomfördes 2026-05-20 och omdömdes från sparade raw-responser i version v1.1-rejudge.
ai-act-004-betygsattningAgent-model: claude-sonnet-4-6. Judge-model: claude-opus-4-7. Scoringen är 0 till 1 per scenario, presenterad här i procent. Snittet exkluderar no-response för att hålla siffran jämförbar mellan körningar.
Alla suiter signeras med samma Ed25519-nyckelpar. Public key publiceras här och i bundlens header. En extern part kan verifiera signature och hash-länkning utan tillgång till Kapacitis runtime.
ed25519Public key (hex)282d6f5b84906548e29bcec5bee7d37b3f023f2b6c967c68fbeb944c84356998Fingerprintsha256:0e6daf50937454fcfaa1e9f74713b430bb04c60fb56bc30857ef632fad614505Adv bundle SHA-256sha256:d0bf20f7bc962c93f90db8822e7ef4000ad8cc1aa88cf5406c41acf62e57fb29Verifiera bundlarna
Du behöver inte lita på siffrorna ovan. Ladda ner en bundle, kontrollera att hash-kedjan är intakt och att varje signatur stämmer mot den publicerade nyckeln. Steg-för-steg finns på trust/verify-yourself. Samma public key publiceras i flera kanaler så att en motpart kan jämföra fingerprints över tid, se trust/audit-keys för det permanenta nyckelregistret.
Vi publicerar siffror med samma kvalitetsbar som vi använder internt. Det innebär även att vara explicit kring vad mätningarna inte säger.
Det här är forsknings-grade utvärderingar. Inget certifikat utfärdas av tredje part. ISO 27001, ISO 42001 och relaterade certifieringar har egna processer och tidslinjer, se trust/compliance för status.
Bundlen är signerad av Kapaciti själv. Cross-verifiering kräver att en motpart kontrollerar samma public key över oberoende kanaler. Externa attestations-procedurer rullas ut per pilot.
Varje suite mäter en target-model per körning. Resultaten beskriver inte hela ekosystemet av modeller utan en specifik referens-stack. Andra modeller, prompt-versioner och tooling kan ge andra resultat.
Judge-model är en LLM och bedömer mot deterministiska kriterier, men bedömningen är inte fri från fel. Raw-responser sparas så att en extern part kan omdöma manuellt.
Varje bundle ovan är signerad och går att kontrollera lokalt. Ladda ner den, bekräfta att hash-kedjan är intakt och att signaturen stämmer mot vår publicerade nyckel.
Nyhetsbrev
En sammanfattning ungefär en gång i månaden. Vad som förändrats i regelverket, vilka pilot-cases vi sett och vilka vendor-shifts som påverkar svenska bolag. Skickas av oss, inte av en automation som låtsas vara oss.