11. november 2025
Det fælles projekt mellem DTU og FOSS fokuserer på, hvordan forklarlig AI kan bruges til kvalitetskontrol af biologiske materialer – for eksempel korn, som varierer meget i udseende. Resultatet er ikke kun ny viden, men også en arbejdsgang, der kan hjælpe andre med at udvikle forklarlige AI-modeller til biologiske materialer.
Af Hanne Kokkegård
Hvordan kan man stole på en AI-model, hvis man ikke forstår, hvordan den når frem til sine konklusioner?
Med udgangspunkt i det spørgsmål har forskere fra DTU og FOSS arbejdet sammen i et projekt støttet af DIREC – Digital Research Centre Denmark. Projektet undersøgte, hvordan man kan udvikle pålidelige og forklarlige deep learning-modeller til analyse af meget varierede data, som man typisk finder i biologiske materialer, med korn som case.
I dag er manuel visuel inspektion af høstet korn stadig en vigtig kvalitetskontrolprocedure fra mark til bord. Men metoden er tidskrævende, og resultatet afhænger af det menneskelige øje. Hvis inspektionen er utilstrækkelig, kan det blive dyrt for producenter og i sidste ende påvirke fødevaresikkerheden.
Derfor giver det mening at udvikle en mere automatiseret, billedbaseret AI-løsning, som både er robust og fortolkbar.
”Vi har undersøgt nogle af de centrale udfordringer, når man anvender AI-forklaringer i den virkelige verden. Hvis vi i dag lod ti forskellige AI-forklaringsmodeller analysere korn, ville de give ti forskellige resultater, fordi de bygger på mange forskellige antagelser,” siger postdoc Lenka Tětková.
”Gennem projektet har vi fået en langt bedre forståelse af problemet. Nu kan vi foreslå en metode til at bruge og evaluere deep learning-forklaringer, når man analyserer biologiske materialer med stor variation. Vi håber, dette vil bidrage til en bredere anvendelse af metoderne i både akademia og industri.”
Forskningen var en del af hendes ph.d.-projekt i sektionen Cognitive Systems ved DTU Compute.
Selv om AI-modeller delvist kan identificere korndefekter som svampesygdommen pink fusarium eller kerner beskadiget af mejetærskeren (“skinned”), viste projektet, at modellerne ofte fokuserer på irrelevante detaljer – som skygger eller baggrundsvariationer – når de skal forklare deres beslutninger.
De såkaldte heatmaps, der skal vise, hvordan modellen “ser”, fremhæver ofte en blanding af korrekte og forkerte områder. Det gør det vanskeligt for eksperter at vurdere, om modellen virkelig forstår opgaven.
”Vi blev oprigtigt overraskede over, hvor følsomme AI-modeller er – selv små variationer i data kunne markant ændre nøjagtigheden af AI-forklaringsmodellen,” siger Lenka Tětková.
En af de største udfordringer er, at standarddatasæt som ImageNet, der bruges til at træne AI-modeller og bygge forklaringsmodeller, ikke tager højde for stor biologisk variation. Et ImageNet-foto af en kat er let for modellen at afkode – billedet viser kun en kat, og baggrunden ignoreres. Men med korn er analysen langt mere kompleks, fordi skygger, farver og naturlige processer skaber variation.
FOSS, som udvikler test- og analyseløsninger til landbrugs- og fødevareindustrien, har selv kæmpet med forklaringsproblemet. Virksomheden har store, realistiske datasæt til test af algoritmer, og derfor deltog de i projektet.
I løbet af flere måneder gennemgik FOSS’ analyseafdeling et stort antal kornprøver og markerede skader og sygdomme på kernebilleder for at udvikle et nyt datasæt.
Lenka Tětková brugte dette datasæt til at teste og sammenligne AI-forklaringsmetoder for at se, hvor godt de fungerer til billedanalyse af biologisk variable materialer.
”Samarbejdet med FOSS var afgørende – uden realistiske data ville forskningen ikke have ført til disse nye løsninger,” siger Lenka Tětková.
For at tackle udfordringen med forklarlighed udviklede forskerne en ny arbejdsgang – en vejledning, der kombinerer flere forklaringsmetoder til ét samlet og mere pålideligt heatmap.
Metoden er generel og kan bruges til at evaluere og vælge den bedste deep learning-forklaringsmodel til opgaver med høj biologisk variation.
Dermed er den relevant ikke kun for kornindustrien, men også for områder som medicin og fødevaresikkerhed.
”Vi siger ikke, hvilken metode der er bedst, men vi siger, at hvis man følger denne arbejdsgang trin for trin og gennemfører en række specifikke evalueringer for sine data, vil man finde ud af, hvilken metode der fungerer bedst for ens formål,” siger Lenka Tětková.
Forskningsresultaterne er netop blevet offentliggjort i PLOS One, hvor andre forskere kan udforske arbejdsgangen og bygge videre på metoderne.
Professor Lars Kai Hansen, sektionsleder i Cognitive Systems ved DTU Compute, er meget tilfreds med samarbejdet med FOSS:
”Projektet er et virkeligt anvendelsestilfælde, hvor vi tager AI-forklaringsmodeller fra laboratoriet ud i praksis. Det er et fremragende eksempel på, hvordan forskning og industri kan arbejde sammen om at løse komplekse, virkelige udfordringer med AI.”
Projektet er en del af den voksende bro mellem forskning og industri, støttet af organisationer som DIREC.
”Det er et godt eksempel på, at der ikke nødvendigvis er en stor kløft mellem grundforskning og anvendt forskning. Nogle aspekter af et sådant projekt kræver, at man vender tilbage til de fundamentale egenskaber ved, hvordan AI fungerer, for at skabe forklarlighed, der reelt er nyttig,” siger Thomas Riisgaard, direktør i DIREC.
Research – PLOS ONE: Challenges in explaining deep learning models for data with biological variation, Lenka Tětková (DTU Compute), Erik Schou Dreier and Robin Malm (FOSS), Lars Kai Hansen (DTU Compute)
