DIREC-projekt

SecMAS – Security in Multi‑Agent System Communication

Projektværdi

Efterhånden som agentiske AI-systemer i stigende grad fungerer som multi-agent-systemer (MAS), opstår sikkerhedsrisici ikke længere kun fra enkelte modeloutputs, men også fra måden information, autoritet og kontekst bevæger sig mellem agenter på. Inputs fra ikke-betroede kilder kan sprede sig gennem roller, opsummeringer, delt hukommelse og delegerede værktøjskald og potentielt påvirke handlinger med høje privilegier længe efter den oprindelige interaktion.

SecMAS adresserer denne udfordring ved at sikre kommunikationslaget mellem agenter, værktøjer og delt kontekst. Ved at gøre tillidsgrænser tydelige og håndhævelige reducerer projektet risici som kædereaktioner af tillidsbrud, uautoriseret brug af værktøjer og påvirkning på tværs af klynger. Dette er særligt vigtigt i højrisikomiljøer som automatiserede red-team-klynger til penetrationstest, hvor forhøjede privilegier, følsomme data og strenge krav til isolation skal fungere sammen med effektiv koordinering mellem agenter. SecMAS bidrager til at sikre, at øget automatisering ikke fører til større systemisk sårbarhed.

PROJEKTDATA

Projektnavn

Projektperiode

2026-2027

Finansiering

DKK 360.000

Videnskabelig tilgang

SecMAS fremmer forskning i krydsfeltet mellem protokolsikkerhed, distribuerede systemer og agentbaseret AI ved at definere og håndhæve klare og testbare sikkerhedsegenskaber for kommunikation i multi-agent-systemer.

Ved at anvende ColleaiQ’s neuro-symbolske orkestreringsplatform som testmiljø udvikler projektet en sikker kommunikationsgateway, der omfatter identitet og autentifikation, autorisation baseret på mindst mulige privilegier, kontrolleret delegering med tidsbegrænset eskalering, verifikation af integriteten af beskeder og værktøjsoutput samt streng isolering af kontekst.

Sikkerheden håndhæves ved en tydelig beslutningsgrænse: Inputs fra ikke-betroede kilder kan understøtte analyser med lave privilegier, men privilegerede handlinger kræver eksplicitte, policy-godkendte og auditerbare overgange. Forskningen validerer disse mekanismer gennem adversarial testning på faste cybersikkerheds-workflows, hvor både sikkerhedsresultater (såsom angrebssucces, eskalering og spredningsdybde) og operationelle afvejninger (såsom latenstid og effektivitet) måles. Ved at levere konkrete prototyper, benchmarks og målbar evidens skaber SecMAS et videnskabeligt fundament for en sikrere implementering af agentisk AI i danske og europæiske højrisiko-operationelle miljøer.

Projektdeltagere

	Nicola Dragoni – Professor – Technical University of Denmark
	Christoffer Dreist – Co-Founder – ColleaiQ
	Martin Christoffersen – CTO – ColleaiQ
	Mikkel Romvig Grøngård – Head of Research – ColleaiQ
	Rasmus Sørensen – ML Engineer – ColleaiQ