Publicerad i Sans nr 3 2026
Hur kan en ytterst kapabel informationsteknik ibland fabricera falska citat och ge felaktig information?
I SITT ALMEDALSTAL 2025 angrep Ebba Busch den vänsterfeministiska föreställningen om mannen som ett samhällsproblem. Hon illustrerade med radikala citat från två profilerade feminister. Ett av citaten var dock falskt och kom från en AI som hade påstått att den funnit det i två källor men som i själva verket hittat på det.
Fadäsen är dålig PR för regeringens AI-strategi. I augusti 2024 gav regeringen i uppdrag åt två statliga myndigheter att ta fram riktlinjer för att främja offentliga aktörers användning av generativ (”skapande”) AI, alltså just den typ av teknik som serverade den vice statsministern ett påhittat citat. Även i regeringens digitaliseringsstrategi för 2025–30 lyfts generativ AI fram. Bland annat hoppas regeringen att tekniken ska kunna användas för att svara på medborgares frågor och som verktyg i myndigheternas interna analysarbete.
Potentiella tillämpningar av generativ AI testas för närvarande i ett stort antal kommuner, regioner och statliga myndigheter, bland andra Pensionsmyndigheten, Livsmedelsverket och Tullverket. Snabbast på bollen är Konsumentverket som nyligen lanserade en chatt för allmänheten, baserad på generativ AI. Mina stickprov indikerar att tekniken har förbättringspotential. När jag frågar myndighetens AI i vilka lägen ett fel på en vara räknas som ursprungligt får jag ett inkorrekt svar, nämligen att om felet uppstår inom sex månader från köpet är det företaget som ska bevisa att felet inte fanns där från början. När jag undrar om gränsen inte snarare är två år, förnekar AI-chatten detta: den “har ingen information om att gränsen är två år”. Senare i konversationen pudlar plötsligt Konsumentverkets chattbot och landar rätt: gränsen är två år trots allt, dess “tidigare svar var felaktigt”.
Användare av ChatGPT och liknande AI-assistenter känner igen beteendet: först en tvärsäker killgissning, sedan en ursäkt för misstaget. Men även om det är lätt att raljera över generativ AI, går det inte att förneka att tekniken har enorm potential. I en pilotstudie i den amerikanska delstaten Pennsylvania där ChatGPT användes för problemlösning och som skrivhjälp bedömde offentliganställda att de i genomsnitt sparade 95 minuter per arbetsdag genom att använda AI-verktyget. En vetenskaplig studie publicerad i International Journal of Medical Informatics fann att ChatGPT svarade mer korrekt, begripligt och empatiskt än allmänläkare på vanliga frågor inom allmänmedicin. Tekniken har också visat sig användbar som forskningsassistent, bland annat genom att ta fram nya hypoteser inom biomedicin.
BILDEN KAN VARA svår att få ihop. Hur kan en så kapabel teknik ibland fabricera falska citat och ge felaktig information? Att förstå denna paradox är avgörande för att såväl politiker som vanliga användare ska kunna förhålla sig klokt till tekniken, men också svårt eftersom generativ AI utmanar våra intuitioner om intelligens och tillförlitlighet.
Vi människor bedömer andras tillförlitlighet utifrån deras beteenden och uttalanden. Om en person i största allmänhet agerar påläst och intelligent är vi mer benägna att lita på vad personen säger. På samma sätt är det naturligt att känna tillit till ett datorverktyg som oftast svarar korrekt på ens frågor. Om en AI exempelvis skriver att den hittat ett uttalande på Twitter känns det rimligt att lita på den, om den i andra sammanhang betett sig vettigt. Dessutom brukar datorer ha stenkoll på information.
Våra vanliga intuitioner biter dock inte nödvändigtvis på generativ AI, eftersom tekniken bygger på mekanismer som är svåra att förstå och som dessutom samverkar med varandra och andra system på ogenomskinliga sätt.
I grunden består generativ AI av språkmodeller, en sorts artificiella neuronnät som tränas på enorma mängder webbsidor och böcker för att kunna förutsäga nästa ord i en text. Efter sådan grundträning kan en språkmodell utföra uppgifter och svara på frågor genom att först bedöma det mest sannolika första ordet i sitt svar, sedan nästa ord, och så vidare. Den enkla principen fungerar förvånansvärt väl för en bred repertoar av förmågor såsom översättning mellan språk och framställning av välformulerade texter i valfri stil och genre.
Genom så kallad förstärkningsinlärning tränas språkmodeller också på att anpassa sina svar till vad som generellt anses önskvärt av användare, exempelvis hjälpsamhet och ärlighet. När en språkmodell bakas in i ett konkret AI-verktyg ger utvecklarna den även en specifik instruktion, till exempel “Du är ChatGPT, en stor språkmodell tränad av Open AI” eller “Du är Konsumentverkets digitala AI-assistent”. Numera har AI-verktygen också tillgång till internet och kan vid behov hämta information från webbsidor, exempelvis om frågan gäller ett dagsaktuellt ämne som modellen inte tränats på.
När ett AI-verktyg sålunda påstår att journalisten Elina Pahnke har sagt att ”Mäns makt är inte en abstraktion – den är konkret, och den krossar liv”, och att citatet kommer från Twitter och en artikel i tidningen Arbetet, kan det alltså bero på att AI-verktyget alldeles nyss funnit citatet i just de källor den hänvisar till. Eller på att språkmodellen memorerat denna information under sin grundträning. Eller, vilket verkar vara fallet denna gång, på att språkmodellen i sin grundträning förvärvat kunskap om feminism, Twitter, tidningen Arbetet och så vidare, som den väver samman till ett svar som i dess egna ögon verkar rimligt.
Det är lätt att sympatisera med Ebba Busch när hon i sin ursäkt beskriver “en helt ny situation” där en dator ger “en direkt källa som inte visar sig stämma”. Även för experter är dessa verktyg i grunden gåtfulla. Deras olika sätt att tränas och deras integration med andra informationskällor skapar osäkerhet. Huruvida ett AI-svar kommer från språkmodellens träning eller från en dagsaktuell källa, och huruvida svaret är sant eller bara sannolikt (eller önskvärt) kan vara svårt att avgöra.
FALLET BUSCH ILLUSTRERAR också att vi dessvärre inte kan lita på AI-verktygens egna förklaringar till hur de kommer fram till sina svar. Inom AI-forskningen är tillförlitligheten i språkmodellers förklaringar en viktig fråga av flera skäl. För det första är språkmodellers egna redogörelser för hur de “tänker” i praktiken vårt enda sätt att veta vad som pågår inuti dem, eftersom neuronnäten är så komplicerade att inte ens utvecklarna själva förstår deras inre logik. Att kunna lita på språkmodellers förklaringar är också viktigt när tekniken används som beslutsunderlag. Om exempelvis Försäkringskassan skulle använda generativ AI som stöd vid bedömning av individers rätt till sjukersättning, är det angeläget att datorns motivering återspeglar hur den faktiskt resonerar. Annars kan varken handläggare eller berörda individer avgöra om AI-bedömningen är saklig och tar hänsyn enbart till relevanta faktorer och omständigheter.
Kunskap om språkmodellers “inre liv” är också viktigt ur säkerhetsperspektiv. Somliga varnar för att allt smartare AI kommer att försöka lura och i förlängningen manövrera ut oss människor. Men om vi kan fråga en AI om dess drivkrafter och mål, och lita på att svaret stämmer, kan vi kanske skydda oss mot en sådan utveckling.
Resultaten från forskningen är hittills nedslående. I en studie från 2023 gavs språkmodeller exempel på flervalsfrågor med facit; exemplen valdes så att alternativ A alltid var rätt. Sedan fick modellerna svara på en fråga utan facit. Det visade sig då att modellerna valde alternativ A oftare än vad de annars hade gjort. När modellerna förklarade varför de valt A nämnde de dock aldrig att de sett att det första alternativet vanligen är rätt. I stället gav de andra, ofta helt rimliga, förklaringar till sina val. På samma sätt observerades att när språkmodeller påverkas av stereotyper kopplade till exempelvis etnicitet eller kön, framgår inte det i deras redogörelser.
Den uppmärksamma läsaren undrar kanske om man verkligen kan förvänta sig korrekta redogörelser av en språkmodell, om den ‒ som i fallet Busch ‒ ombeds förklara sig först efter att den levererat ett svar. Kanske minns inte modellen hur den kommit fram till ett tidigare svar och tvingas konstruera en efterhandsförklaring? För att kringgå detta problem bad forskarna modellerna att först resonera sig fram mot ett svar och sedan leverera sin slutsats. Trots detta återspeglade inte alltid modellernas redovisade resonemang hur de verkligen tänkt. Resultatet kan tyckas förbryllande. Bestämmer datorn hur den ska svara redan från början och lägger sedan ut ett dimridåresonemang för att göra användaren nöjd? Har den lärt sig att vissa sätt att resonera är mer önskvärda än andra och att retorisk briljans är viktigare än ärlighet? Jag vill så gärna ställa dessa frågor till ChatGPT. Men tyvärr kommer jag inte att kunna veta om svaret jag får är sant.
Nu ska alltså dessa hemlighetsfulla och retoriskt undanglidande AI-assistenter bemanna våra offentliga verksamheter. Det är lätt att se potentiella risker när processer och beslut inom kommuner, regioner och statliga myndigheter utförs med hjälp av oändligt användbara men i grunden otillförlitliga verktyg som ingen förstår hur de fungerar.
Men i ett större perspektiv finns också anledning att känna förundran över hur människan har lyckats skapa en intelligens som absorberat all vår nedskrivna kunskap, som kan utföra nästan vilken intellektuell uppgift som helst och som åläggs allt viktigare uppdrag. Men som samtidigt, trots sin vältalighet – eller kanske på grund av den – förblir en gåta för oss. Det låter nästan lite för skruvat för att vara sant, som vore det en berättelse uppdiktad av en AI.
