Hon motverkar giftigt språk på nätet
Internet ska vara en plats för alla, fritt från hat, hot och giftiga kommentarer. Det är målet för Lisa Kaati. Verktygen hon utvecklar används i chattar och för att förhindra vålds- och terrordåd. 2023 var hennes projekt med på IVAs 100-lista, vilket gav möjligheten att pitcha idén till en bred målgrupp.
Internet erbjuder oändliga möjligheter till kommunikation. Men det finns också en baksida. På nätet och i sociala medier sprids kränkande, nedsättande och hotfulla kommentarer. Lisa Kaati, docent på institutionen för datasystemvetenskap vid Stockholms universitet, kallar det toxiskt språk.
– Det är ett stort problem som gör att vissa drar sig undan och då tystnar deras röster.
Fotograf: Janis Lukas
Lisa Kaati är en av världens ledande experter på att identifiera och tolka toxiskt språk, hat och hot i skriftlig kommunikation. Innan hon tog klivet över till den akademiska världen jobbade hon med att kartlägga och analysera våldsbejakande extremism och propaganda i digitala miljöer på Totalförsvarets forskningsinstitut, FOI.
I sin forskning har hon utvecklat Hatescan, en modell baserad på maskininlärning som känner igen toxiskt språk på svenska. Den används bland annat för att flagga och varna användarna för kränkande kommentarer i en app för separerade föräldrar.
Liknande verktyg finns sedan tidigare främst för engelska, men att det utvecklas teknik även för mindre språk som svenska är viktigt, menar Lisa Kaati.
– Det är något jag brinner för, och när det gäller att känna igen toxiskt språk på svenska slår vår Googles modell med hästlängder.
Hatescan var ett av de projekt som fick plats på 2023 års 100-lista. Att få pitcha idén till en bred målgrupp var både en rolig och nyttig erfarenhet, berättar Lisa Kaati.
- Initiativ som 100-listan behövs verkligen.
– Som forskare drivs jag av att utveckla tekniken och bidra med min kunskap till en bättre och säkrare värld, men jag är verkligen ingen entreprenör. Det är som att möta en annan värld.
Tillsammans med Nazar Akrami, professor i psykologi vid Uppsala universitet och AI-forskaren Amendra Shrestha har Lisa Kaati vidareutvecklat Hatescan i ett verktyg som heter Dechefr. Förutom att upptäcka hot bedöms även risken för att en person som uttrycker sig hotfullt ska gå från ord till handling. Detta görs med hjälp av en rad olika indikatorer som forskarna identifierat, bland annat i ett projekt med amerikanska FBI.
Dechefr utvecklas i företaget Mind Intelligence Lab. Att starta bolag var dock aldrig forskarnas mål, säger Lisa Kaati.
– Men vi insåg att om forskningen skulle komma till användning så behövde den paketeras i en produkt. Ingen polismyndighet i världen vill använda en forskningsprototyp.
En vd och en utvecklare har anställts medan forskarna mest jobbar på sin fritid. Företaget deltar i ett acceleratorprogram vid Uppsala innovation center och har precis tagit in knappt fyra miljoner i riskkapital.
Intresset från framförallt amerikanska företag och myndigheter är stort, berättar Lisa Kaati. En av de första kunderna är det sociala nätverket Linkedin som använder Dechefr för att göra hotbedömningar. Men att som liten startup möta de höga krav som storföretagen ställer är en utmaning.
– Våra kunder kräver olika typer av certifieringar och ackrediteringar av sina leverantörer, men det kostar både tid och pengar. Och för att få in pengar behöver vi kunder. Det är ett hönan-och-ägget-problem som jag tror att vi delar med många andra deep tech-bolag.
För att kunna analysera de enorma textmängderna använder sig forskarna av AI. Men AI ska bara fungera som ett hjälpmedel, betonar Lisa Kaati.
– AI ska inte automatiskt kunna klassa någon som högriskperson. Däremot kan tekniken gallra fram personer som analytikern eller polisen borde titta närmare på.
Det finns även begränsningar med AI. En sådan är bristen på relevant träningsdata.
Enligt Lisa Kaati behövs ny teknik för att motverka toxiskt innehåll på nätet. Men det gäller också att de olika plattformarna inför regler och ser till att de efterföljs. Även samhället behöver ställa högre krav och reglera innehållet.
– Internet ska vara en plats för alla där man ska kunna vistas utan att dränkas i toxiska kommentarer, hat och hot och med min forskning vill jag bidra till en säkrare värld.
Fakta: Mind Intelligence Lab
Gör: Utvecklar verktyg för att upptäcka och bedöma hot på nätet.
Startår: 2020
Antal anställda: 2
Med på IVA:s 100-lista: 2023
Koppling till lärosäte: Stockholms universitet, Uppsala universitet
Riskkapital: Knappt 4 miljoner från Uppsala universitet invest, Almi, Länsförsäkringar samt privata investerare
Verktyget Dechefr identifierar hot i skriftliga meddelanden. Med hjälp av en rad indikatorer bedöms även risken för att en person som uttrycker sig hotfullt ska omsätta hoten i handling.
Vad är toxiskt språk?
Begreppet toxiskt språk används för att beskriva kommunikation som förgiftar samtalsklimatet i sociala medier. I begreppet toxiskt språk ryms kommunikation som är förbjuden i lag (exempelvis hets mot folkgrupp och förtal) men också andra former av kränkningar som nedsättande tilltal, integritetskränkningar eller respektlöshet.
Lisa Kaati är universitetslektor och docent på Institutionen för data- och systemvetenskap vid Stockholms universitet och forskar om toxiskt språk på nätet, extremism och riskbedömningar. Hon var tidigare forskningsledare på Totalförsvarets forskningsinstitut, FOI, och ingår i forskarrådet vid Europol's Counter-terrorism Centre (ECTC)
IVA’s 100 List
IVA’s annual 100 List pulls together a wide range of research projects from Swedish higher education institutions on topical themes – all with the potential to create value, through commercialisation, business and method development or societal impact.
By building bridges between the research and business communities, we offer greater opportunities for potentially world-changing research to realise its commercial and social value.
To IVA’s 100 List