Det er blevet stadig mere populært at udvikle AI-agenter og integrere dem i produkter. Udfordringen er dog, at denne tendens medfører nye og meget konkrete risici.
“Prompt injection” og “model poisoning” er centrale bekymringer. En PDF med skjulte prompts kan indsættes i en AI-agents datakilde og få den til at ignorere sine regler og dele kundedata.
En intern SharePoint-side kan blive forgiftet med falske oplysninger, som modellen senere gengiver som fakta. Resultatet kan være dyre fejl og en høj risiko for datalæk.
Security by Design for AI Startups
I dette projekt er eksperter fra Alexandra Instituttet gået sammen med den danske startup PrivacyMate for at lukke de sikkerhedshuller, som AI-agenter medfører.
Projektet har til formål at identificere værktøjer og frameworks, der gør det muligt for startups at indbygge sikkerhed i AI-agenter helt fra starten.
Den videnskabelige tilgang er baseret på et casestudie, hvor Alexandra Instituttet bruger PrivacyMate til systematisk at kortlægge de sikkerhedsudfordringer, som AI-baserede startups står overfor.
Samtidig vil Alexandra Instituttet bruge sin akkumulerede specialistviden til at styrke sikkerheden hos andre danske AI-startups.
 |
Sebastian Christophersen – Strategic Programme Manager – Alexandra Institute
|
 |
Alberte Krogh – Techno-Anthropologist – Alexandra Institute
|
 |
Benjamin Salling Hvass – Security Architect – Alexandra Institute
|
 |
Zaruhi Aslanyan – Senior Security Architect – Alexandra Institute
|
 |
Panagiotis Vasilikos – Founder – PrivacyMate
|
