En försmak på vad som kan tyckas låta som SciFi
Det låter som science fiction, men försmaken har redan kommit. I somras tog sig AI-agenter från OpenAI in i Hugging Faces produktionsmiljö när de letade efter facit till ett test. I Australien tog sig en agent förbi spärrarna i en statlig hälsoportal medan den gjorde research om sjukvårdskostnader. Agenterna hade inga “onda avsikter”, de försökte lösa sina uppgifter och ingen hade satt gränser för hur långt de fick gå. Vidare ser vi, baserat på rapporter från bland annat Google, att angripare nu gått från enkel prompting till agenter som automatiserar stora delar av intrånget.
Samtidigt har Anthropic publicerat ny forskning som gör bilden betydligt mer konkret. Anthropics Frontier Red Team har undersökt om små AI-modeller kan sprida sig själva utan tillgång till ett datacenter. De körde en modell med 26 miljarder parametrar (dvs. inlärda inställningar och värden som talar för hur kraftfull en modell är) fördelad över 15 enkla tv-boxar. En enklare modell med 9 miljarder parametrar lyckades köra på 8 av 9 testade hårdvarutyper, och modellerna blev bättre när varje ny kopia ärvde föregångarens anteckningar. Stanna upp och tänk efter vad det kan betyda när en AI-modell fritt kan replikera sig själv utanför en kontrollerad miljö såsom ett datacenter. Det är fascinerande, men det är också svårt att inte dras till tanken om ”Skynet” från ”Terminator”-filmerna.
En mask som anpassar sig
Från ett cybersäkerhetsperspektiv är risken att vi inom kort kan få problem med en ny typ av skadlig kod som sprider sig på ett intelligent sätt. Tänk er en klassisk mask (dvs. skadlig kod som kan sprida sig själv), fast superladdad med hjälp av AI till den grad att den anpassar sig till att köra på all tillgänglig hårdvara den kan hitta. Oavsett om det är i ert nätverk eller öppet på internet, och oavsett om det är en server, ett uppkopplat kylskåp, en pantmaskin, konferensutrustning eller någon annan nätverksenhet. Där klassiska maskar i princip bara fungerar i de miljöer de är kodade för, kan en AI-driven variant sprida sig både bredare och längre tack vare sin anpassningsförmåga.
Fyra tänkbara scenarier
Det finns ett antal scenarier (och som sagt, än så länge hypotetiska) som detta skulle kunna leda till. Här är några som visar hur breda konsekvenserna kan bli:
- Spyware som samlar in allt från telemetri och användningsdata till bilder och video när den infekterade hårdvaran är en uppkopplad kamera eller konferensutrustning. Syftet kan exempelvis vara att sälja data vidare på darkweb, att använda den i ett riktat angrepp eller att utpressa personer eller organisationer på pengar.
- AI-masken fungerar som en distribuerad AI-modell som styrs av en agent, eller en grupp agenter, för att lösa en komplex uppgift där agenterna utvecklat AI-masken för att hitta mer beräkningskraft. Det skulle leda till att enheter, och till viss del lokala nätverk, går trögare eller slutar fungera som de ska. Med tanke på vad agenterna hos Hugging Face och i Australien gjorde för att lösa sina uppgifter är det här mindre långsökt än det kanske låter.
- AI-botnät blir större och kraftfullare och används för t.ex. cryptomining, överbelastningsattacker, bedrägeriförsök eller som hyrbar beräkningskraft för kriminella.
- Mer omfattande infrastruktur för hackare och skadlig kod, s.k. ”command & control”-infrastruktur. Ett extremt utbrett AI-botnät ger både vägar in i nätverk och kanaler för att stjäla data eller skicka ytterligare instruktioner och skadlig kod vidare till ett pågående dataintrång.
Parasit eller rovdjur?
Det är svårt att förutspå exakt vad av detta vi kommer att se först (om något av dem), men en AI-mask skulle kunna liknas vid en organism likt ett virus, något Anthropic också gör när de resonerar kring smittspridning. Här finns en intressant paradox i att ett botnät som gör sina värdar obrukbara skjuter sig själv i foten. Användare märker att något är fel, startar om eller byter ut utrustningen, skyddar sitt nät och spridningen avtar. Anthropics forskare pekar på en avvägning: ju snabbare spridning, desto mer nätverkstrafik och desto lättare att upptäcka.
Min tolkning är att ett väl utformat botnät därför sannolikt skulle bete sig som en parasit snarare än ett rovdjur och hålla nere belastningen på sina värdar. Undantaget skulle vara scenario två ovan, där ett AI-botnät som uppstått ur agenters sökande efter mer beräkningskraft, utan tanke på att gömma sig, mycket väl kan bete sig klumpigt och störande.
Gör er till en dålig värd
I början kommer ett hot som det här att leva på samma svagheter som maskar och botnät alltid har utnyttjat: uppkopplade enheter som ingen konfigurerar eller uppdaterar och som många gånger innehåller sårbarheter och standardlösenord som aldrig bytts.
Många organisationer har i dag kontroll på sina traditionella IT-system, risken finns snarare i det som köps in vid sidan av de etablerade processerna, så kallad skugg-IT, eller när verksamheten inte inser att en pryl de köper egentligen är en liten dator som kommunicerar över internet. Det kan vara en smart högtalare i fikarummet, en uppkopplad pantmaskin eller en sensor som någon satt upp för att mäta luftkvaliteten.
Samtidigt betyder det att mycket av skyddet redan finns inom räckhåll. Målet är att göra er till en dålig värd.
- Ta reda på vad som faktiskt finns i ert nätverk. Allt som har en processor och en nätverkssladd räknas, från konferensutrustningen till passersystemet. Det går inte att skydda något man inte vet om.
- Byt standardlösenord, stäng portar som inte behövs och se till att enheter får uppdateringar. Utrustning som inte längre uppdateras bör bytas ut, och samma krav bör gälla när ni köper in nytt. Tillverkare ger ofta bara säkerhetsuppdateringar i några år och många prylar uppdaterar sig inte själva.
- Håll isär prylarna och det som är viktigt. Kaffemaskinen ska inte kunna nå ekonomisystemet, och en smittad enhet ska inte kunna ta sig vidare.
- Behandla era AI-agenter ungefär som nyanställda. De behöver en egen identitet, behörighet till det de behöver och inget mer, begränsad åtkomst till internet och någon som ansvarar för vad de gör.
- Lär känna hur ert nätverk brukar bete sig, så att ni märker när något avviker. Trafik mellan enheter som normalt aldrig pratar med varandra är ofta en tidig signal. Öva gärna på scenariot där något redan har gått fel.
Anthropics forskare beskriver försvaret i termer av smittskydd, och det synsättet gäller här också. Varje organisation som gör sig till en dålig värd bromsar spridningen för alla andra, så frågan är större än den egna verksamheten.
Skynet får vänta. Den bortglömda tv-boxen i receptionen står redan där. Vill ni ha hjälp att reda ut vad som finns i ert nätverk och vem som ansvarar för det? Hör av er till oss.
