En språkmodell är en statistisk modell som tränas på stora mängder text för att lära sig hur ord och meningar hänger ihop, och som utifrån det kan förutsäga eller skapa nya, sannolika ordsekvenser. Det är den tekniken som ligger bakom AI-verktyg som ChatGPT: när du skriver en fråga räknar modellen fram vilket ord som mest troget fortsätter texten, om och om igen, tills ett helt svar vuxit fram.
Begreppet har fått extra fart i Sverige det senaste året, efter att flera forskningsprojekt och en statlig satsning på en egen svensk språkmodell fått medial uppmärksamhet. Den här guiden går igenom vad en språkmodell faktiskt är, hur den tränas, vad som skiljer en stor språkmodell (LLM) från en mindre, och varför Sverige nu bygger sin egen version.
Vad är en språkmodell?
En språkmodell är i grunden en sannolikhetsfördelning över ord. Den har lärt sig, utifrån enorma mängder text, hur troligt det är att ett visst ord följer på ett annat i ett givet sammanhang. Modellen “förstår” alltså inte språk på samma sätt som en människa, utan bygger sina svar på statistiska mönster den plockat upp under träningen.
Inom artificiell intelligens räknas språkmodeller som ett av de mest aktiva forskningsområdena just nu, med djupinlärning som teknisk grund. En storskalig AI-modell tränas i flera steg och kan sedan generera sammanhängande text på bara sekunder, vilket skiljer den från äldre, betydligt enklare textverktyg.
Tekniken är inte ny inom språkteknologi, men det som förändrat spelplanen de senaste åren är skalan: modeller som tränas på mångdubbelt mer text än tidigare, med arkitekturer som klarar att hålla koll på långa sammanhang i en text. Genombrottet kom när forskare byggde neurala nätverk stora nog att fånga mönster i mänskligt språk automatiskt. Utvecklingen har sedan dess gått fort: dagens största modeller har tränats med miljarder parametrar för att efterlikna mänskligt språk allt bättre.
Hur tränas och fungerar en språkmodell?
Modellen tränas på en textkorpus, alltså en mycket stor samling insamlad text från böcker, webbsidor och andra källor. Under träningen får den gissa vilket ord som kommer härnäst i miljontals meningar, och justeras varje gång gissningen är fel. Efter tillräckligt många varv har den byggt upp en intern representation av hur språk vanligtvis är uppbyggt.
De flesta moderna språkmodeller bygger på en så kallad transformerarkitektur, som gör att modellen kan väga in hela sammanhanget i en text samtidigt i stället för att bara läsa ord för ord i tur och ordning. Det är en stor anledning till att dagens modeller håller sig konsekventa genom långa svar.
Vad är en stor språkmodell (LLM)?
En stor språkmodell, förkortat LLM (Large Language Model), är samma grundprincip fast i mycket större skala: fler parametrar, mer träningsdata och ofta bredare förmåga. Det är den typen av modell som driver ChatGPT och liknande assistenter, och som klarar allt från att sammanfatta en rapport till att skriva kod eller svara på faktafrågor.
Exempel på stora språkmodeller är GPT-modellerna bakom ChatGPT, Mistral från det franska bolaget med samma namn, och den svenska GPT-SW3, som togs fram specifikt för att hantera svenska texter bättre än de internationella alternativen.
Vad använder man en sådan AI-modell till?
Språkmodeller ligger i botten av det mesta som kallas generativ AI för text i dag. Chattbottar som ChatGPT bygger direkt på en språkmodell för att föra konversationer, men samma teknik driver även sammanfattningsverktyg, kodassistenter, sökfunktioner och skrivstöd som föreslår hela meningar medan du skriver.
Lär sig en språkmodell svenska lika bra som engelska?
De flesta stora språkmodellerna tränas i första hand på engelsk text, vilket gör att de ofta hanterar svenska sämre: idiom, sammansatta ord och kulturell kontext tappas lättare bort. En modell som fått lära sig mindre svenska under träningen ger helt enkelt mindre träffsäkra svar på svenska frågor än på engelska.
Sverige bygger en egen, storskalig språkmodell
Flera svenska initiativ arbetar just nu med att bygga språkmodeller anpassade för svenska. WASP, ett av landets största forskningsprogram inom AI, och AI Sweden driver en satsning på en stor multimodal språkmodell som ska klara text, bild och ljud. Linköpings universitet koordinerar samtidigt det europeiska projektet TrustLLM, som ska ta fram tillförlitliga stora språkmodeller för flera underrepresenterade europeiska språk.
Ett annat exempel är SE.LLMA, ett forskningsprojekt finansierat av Knut och Alice Wallenbergs stiftelse, där författare, bokförlag och mediebolag samarbetar med forskare för att bygga en svensk modell tränad på svensk text. Regeringen har även utsett en nationell samordnare för svenska språkmodeller, vilket visar att frågan nu betraktas som strategiskt viktig snarare än ett rent forskningsprojekt.
Vilka utmaningar finns med språkmodeller?
Två frågor återkommer i debatten. Den första är tillförlitlighet: forskare vid FOI har visat att stora språkmodeller kan svara fel med hög säkerhet, vilket gör dem svåra att lita på fullt ut i kritiska sammanhang som försvar eller sjukvård. Den andra är träningsdata och upphovsrätt. Många författare har protesterat mot att deras texter använts för att träna svenska språkmodeller utan tydligt samtycke, en konflikt som hur AI fungerar i grunden inte löser, eftersom modeller av det här slaget kräver enorma textmängder för att bli användbara.
Att förstå grunderna i hur en språkmodell fungerar, och var generativ AI och specifika modeller som GPT-4 skiljer sig åt, gör det lättare att bedöma både vad verktygen faktiskt klarar och vilka begränsningar de fortfarande har.
