en språklig relationsexpert!
Nya kraftfulla modeller för språkanalys gör AI allt bättre på att förstå text. Datorer kan numera till exempel tränas att bedöma texters politiska färg. Forskare talar om en revolution. Av Marie Alpman
KAN DATORER känna igen politisk färg i en text? Forskare på Peltarion bestämde sig för att testa. Peltarion är ett företag som utvecklar artificiell intelligens, AI, det vill säga den sorts intelligens som tillskrivs ett datorsystem.
Först tränade forskarna en språkmodell att skilja på olika partiers budskap genom att de matade datorn med riksdagsmotioner från 2010 och framåt.
– Det gick förvånansvärt bra, säger Anders Arpteg, forskningschef på Peltarion.
Tester av modellen visade att den fick rätt i drygt 80 procent av fallen. Högst var träffsäkerheten för Sverigedemokraterna, med 89 procent, och lägst för Kristdemokraterna, med 70 procent.
Felen berodde oftast på förväxlingar inom de politiska blocken. Modellen trodde ibland att en motion från Socialdemokraterna var skriven av Miljöpartiet eller Vänsterpartiet, medan Moderaternas motioner förväxlades med antingen Centerpartiets, Liberalernas eller Kristdemokraternas.
Modellen finns på nätet för den som själv vill testa (se fotnot).
På motsvarande sätt kan en ny generation kraftfulla språkanalysmodeller tränas till andra uppgifter. Peltarion arbetar till exempel med en Aimodell för sjukvården, som ska hjälpa läkare att ställa rätt diagnos.
– De senaste Aimodellerna förstår mer än bara enskilda ord. De kan även förstå vad orden betyder i dess rätta sammanhang, vilket inte har varit möjligt tidigare, säger Anders Arpteg.
ATT FÅ datorer att förstå och tolka text och tal har länge varit ett mål inom språklig AI. Ett problem är alla ord som ändrar betydelse efter sammanhanget. Står tre för siffran tre eller telefonoperatören Tre? Talar vi om väder eller byggnader när vi använder ordet vind? En dator har också svårt att avgöra om ordet den syftar på katten eller maten i satser som Katten åt inte maten. Den var inte hungrig.
Men de senaste två åren har någonting hänt. Plötsligt kan datorer förstå sammanhanget på en helt ny nivå. Genombrottet kom i november 2018 när sökmotorföretaget Google presenterade en ny modell för textanalys, Bert, bidirectional encoder representations from transformers.
– Modellen har inneburit en revolution för hela fältet, säger Magnus Sahlgren, som leder forskningsgruppen inom språkteknologi på forskningsinstitutet Rise i Stockholm.
Han är doktor i datorlingvistik och har jobbat i 20 år med att bygga datormodeller som tolkar språk. Att få dem att förstå sammanhang har varit en viktig del av forskningen. Traditionellt har det krävt en hel del handpåläggning, till exempel genom att forskarna märker upp stora mängder text med relevant information för att kunna ”träna” modellerna – som vilken ordklass ett ord tillhör och vilken funktion det har i en viss mening. Partiet skriver en motion till riksdagen är ju något annat än Motion är bra för hälsan – trots att motion är ett substantiv i bägge fallen.
GOOGLE HAR använt en annan strategi. Ingenjörerna tränade den nya modellen med enorma mängder ostrukturerad text, till exempel från Wikipedia. Här och där tog de slumpmässigt bort ord ur textmassan. Uppgiften för modellen blev att, på egen hand, räkna ut vilka ord som fattades. Gissade den fel fick den räkna om.
Det visade sig vara en lyckad taktik. Bert slog tidigare språkmodeller med hästlängder. En viktig del av förbättringen förklaras av en inbyggd finess, en meka
”Den väger samman vilka ord som är viktiga i sammanhanget”
nism som kartlägger relationen mellan orden.
– Den väger samman vilka ord som är viktiga i sammanhanget. Det kräver ofantligt många beräkningar, men är nyckeln till att resultatet blir så bra, Magnus Sahlgren.
Bert lär sig alltså inte hur man bildar satser, fraser och ord, eller tolkar betydelser på det sätt som språkvetare är vana vid. I stället räknar den fram förhållandena mellan orden.
SPRÅKFÖRSTÅELSEmodellen bygger på djupinlärning som är en gren inom maskininlärning, det vill säga hur datorer lär sig sådant som människor kan. Djupinlärning slog igenom som en kraftfull metod inom bildigenkänning för åtta år sedan – en evighet mätt med Aimått.
Sedan dess har djupinlärningen firat triumfer på område efter område. Mästare i brädspelet go och i poker har till exempel fått se sig besegrade av en maskin.
Tekniken används i allt från de smarta röstassistenterna i mobilen till att avgöra om en hudförändring beror på hudcancer eller inte.
För text och talanalys har AI hittills fungerat bäst för specialiserade uppgifter, där den vet på förhand vad konversationen kommer att handla om. Att få en AI att hänga med i en naturlig konversation har varit en svårare nöt att knäcka, eftersom det kräver djupare förståelse av sammanhanget.
Det är här som Bert kommer in i bilden. Googles mål med textmodellen var att vässa sökmotorn. För att förstå användarnas sökfrågor och hitta de bästa träffarna behövdes helt enkelt bättre textförståelse.
Google har nu byggt in Bert i sin sökmotor men har också släppt modellen fri för andra att använda. Den finns på flera olika språk, inklusive svenska, och har gett upphov till massor av efterföljare.
En av dem som såg hur den nya språkförståelsemodellen spred sig som en löpeld var Love Börjeson, föreståndare för datalabbet på Kungliga biblioteket, KB. Han och hans kolleger bestämde sig för att utveckla en bättre, svensk version.
– Det är viktigt för att Sverige ska hänga med i den snabba utvecklingen inom datadriven forskning, säger Love Börjeson.
I februari i år kom KB:S ”svenska Bert”. Den bygger på Googles modell, men har tränats på svenskt textmaterial som forskarna på KB har hämtat både från de egna, omfattande arkiven och i databaser på andra håll. Förutom Wikipedia ingår offentliga utredningar, tidningstext, böcker och text från sociala medier och olika webbforum. Resultatet är en grundmodell med kunskap i svenska som sedan kan tränas för olika specialuppgifter.
För att till exempel lära AI:N att skilja på texter skrivna av män eller kvinnor matas den först med texter som är märkta med information författarens kön. Under träningen hittar AI:N mönster som skiljer texterna åt, mönster en människa inte skulle kunna hitta. När modellen har tränats upp kan den bedöma om en okänd text är skriven av en man eller kvinna.
LOVE BÖRJESON kan ge massor av andra exempel. Modellen kan lära sig att kategorisera text och avgöra om en tidningstext är en ledare eller en kulturartikel. Den kan lära sig att känna igen falska nyheter, svara på frågor eller plocka ut namn och platser ur en text. Man försöker också utveckla alternativ till opinionsundersökningar och i stället analysera vad folk skriver på nätet.
– Man kan släppa lös den på vilket textmaterial som helst, säger Love Börjeson.