Ny LMU-undersøgelse viser: Hvordan kunstig intelligens virkelig gør læger bedre | Ludwig Maximilian Universitet i München

EU-lovgivningen tvinger folk til at gentænke: Kunstig intelligens på hospitaler bliver i fremtiden nødt til at "tænke højt"

Kunstig intelligens er længe blevet hyldet som en redningsmand inden for sundhedsvæsenet, der bekæmper kronisk tidspres og akut personalemangel. En banebrydende ny undersøgelse fra Tyskland afslører dog, at hvorvidt en algoritme redder liv eller i værste fald endda fremkalder fejldiagnoser, afhænger af en afgørende detalje, der indtil nu har fået ringe opmærksomhed. Det er simpelthen ikke nok for en AI at levere nøjagtige resultater – den skal også være i stand til at forklare sin ræsonnementsproces til lægen trin for trin. Et fascinerende eksperiment med over 100 radiologer afslører, hvorfor såkaldte "chain-of-thought"-modeller drastisk reducerer den diagnostiske fejlrate, hvorfor klassiske differentialdiagnoser pludselig bliver kognitive fælder, og hvorfor disse resultater radikalt kan transformere ikke kun medicinsk praksis, men også det globale AI-marked og fremtidige EU-regler.

Relateret til dette:

• Effekten af ​​medicinske forklaringer fra store sprogmodeller på diagnostisk nøjagtighed i radiologi

Når AI tænker selv: Hvordan forklarbar kunstig intelligens ændrer medicinsk diagnostik

Et plausibelt svar er ikke nok – de, der blindt stoler på AI, bringer patienters liv i fare

Store sprogmodeller er ikke længere begrænset til laboratorieforsøg. De kan findes i advokatfirmaer, redaktioner, managementkonsulentfirmaer – og i stigende grad på hospitaler. Men mens den offentlige debat ofte drejer sig om spørgsmålet om, hvorvidt kunstig intelligens en dag vil erstatte læger, stiller forskere ved LMU München, LMU Universitetshospital, Karlsruhe Tekniske Institut og Bayreuth Universitet et langt mere nuanceret spørgsmål, der er direkte relevant for den daglige kliniske praksis: Under hvilke betingelser forbedrer AI-støtte faktisk den diagnostiske kvalitet – og hvornår er det i værste fald overhovedet skadeligt?

Svaret, som er offentliggjort i tidsskriftet npj Digital Medicine af forskerholdet ledet af Stefan Feuerriegel, professor ved LMU München School of Management, og Boj Friedrich Hoppe fra LMU Universitetshospital, er lige så klart, som det er tankevækkende: Den primære bekymring er ikke, om en AI stiller en korrekt diagnose. Det er, hvordan den forklarer diagnosen. Denne opdagelse er betydningsfuld, fordi den løfter hele debatten om AI i sundhedsvæsenet til et nyt niveau – den bevæger sig væk fra det binære spørgsmål om "AI ja eller nej?" og hen imod det mere nuancerede spørgsmål om, hvordan man designer menneske-maskine-interaktion.

Eksperimentet: 101 radiologer og fire tilstande

Studiet er metodologisk bemærkelsesværdigt. I et randomiseret eksperiment blev 101 radiologer præsenteret for virkelige kliniske cases, der involverede radiologisk billeddannelse – herunder fund fra computertomografi og magnetisk resonansbilleddannelse. Deltagerne blev bedt om at formulere en diagnose i fritekst, hvilket er betydeligt mere udfordrende end blot at vælge en multiple-choice-mulighed og afspejler den kliniske virkelighed meget mere præcist.

Deltagerne blev tilfældigt tildelt en af ​​fire grupper. Den første gruppe arbejdede helt uden AI-støtte og fungerede som kontrolgruppe. Den anden gruppe modtog kun én diagnostisk anbefaling fra den multimodale sprogmodel. Den tredje gruppe modtog en differentialdiagnose, dvs. en liste over mulige sygdomme med graduerede sandsynligheder. Endelig modtog den fjerde gruppe en såkaldt tankekædeforklaring: Modellen afslørede sin argumentation trin for trin – den navngav relevante billedtræk, forklarede kliniske indikationer, diskuterede eksklusionskriterier og gjorde sin argumentation forståelig for lægen.

Resultatet: En forskel på tolv procentpoint og hvad der ligger bag den

Resultaterne er klare. Radiologer, der brugte den trinvise tankekæde, opnåede en diagnostisk nøjagtighed, der var 12,2 procentpoint højere end kontrolgruppen uden AI. Dette er ikke en marginal effekt. I den daglige kliniske praksis, hvor tusindvis af rapporter genereres dagligt, svarer denne forskel til et betydeligt antal fejldiagnoser, der kunne undgås.

Simple diagnostiske output og differentialdiagnoser klarede sig derimod betydeligt dårligere. Fundet vedrørende differentialdiagnose er særligt afslørende: I tilfælde, hvor AI-modellen leverede en forkert vurdering, fulgte lægerne listen oftere, end de ville have gjort med en simpel enkeltdiagnose. Differentialdiagnosen giver et indtryk af fuldstændighed. Den præsenterer flere muligheder og skaber dermed følelsen af, at det diagnostiske rum allerede er fuldt dækket. Dette får lægerne til at reducere deres egen kritiske tænkning – især i tilfælde af sjældne eller komplekse tilstande, der ikke engang optræder på den præsenterede liste.

Automatiseringsbias: Den undervurderede risiko i den daglige kliniske praksis

Det fænomen, som LMU-studiet så imponerende illustrerer, er i forskningslitteraturen kendt som automatiseringsbias. Det beskriver folks tendens til at følge anbefalinger fra automatiserede systemer, selv når deres egen opfattelse eller ekspertise modsiger dem. Automatiseringsbias er ikke et tegn på inkompetence. Det er et dybt menneskeligt kognitivt mønster, der stammer fra evolutionære heuristikker: de, der stoler på effektive systemer, sparer kognitive ressourcer. I de fleste hverdagssituationer er dette funktionelt. Inden for medicin kan det dog være fatalt.

Tidligere undersøgelser har vist, at automatiseringsbias er signifikant mere udtalt under tidspres. Et studie af AI-understøttet klinisk beslutningsstøtte inden for patologi målte, at mens AI-integration førte til en statistisk signifikant samlet forbedring af præstationen, genererede det samtidig en automatiseringsbiasrate på 7 procent – ​​hvilket betyder tilfælde, hvor oprindeligt korrekte vurderinger blev ændret af fejlagtige AI-anbefalinger. Tidspresset øgede ikke hyppigheden af ​​biasen, men det øgede dens intensitet. Parallellerne til radiologisk praksis, hvor radiologer på nogle hospitaler skal producere mere end hundrede rapporter pr. vagt, er åbenlyse.

LMU-studiet viser nu, at den måde, AI forklares på, er en afgørende faktor i at moderere denne risiko. Trinvise forklaringer gør modellens ræsonnement transparent og giver lægen mulighed for at sammenligne den med sin egen ekspertise – en proces, der gør det lettere at identificere fejl i modellen og samtidig fremmer aktiv kognitiv engagement snarere end passiv accept.

Forklarbarhedens økonomi: Hvad god AI egentlig koster

Fra et økonomisk perspektiv åbner LMU-undersøgelsen op for en vigtig debat, der ofte overses i markedsdrevne vækstprognoser for AI i sundhedsvæsenet. Det globale marked for kunstig intelligens i sundhedsvæsenet blev anslået til omkring 28 til 39 milliarder amerikanske dollars i 2025 og forventes at vokse til over 500 milliarder amerikanske dollars i 2034 med årlige vækstrater på over 34 procent. Disse tal beskriver dog primært markedet for AI-produkter – ikke den faktiske økonomiske værdi, som disse produkter genererer i klinisk brug.

Det er præcis her, problemet ligger. En systematisk gennemgang offentliggjort i 2025 om den økonomiske evaluering af AI i radiologi analyserede mere end 1.800 publikationer og fandt kun 21 studier, der rent faktisk kvantificerede omkostningerne, besparelserne eller omkostningseffektiviteten af ​​AI-værktøjer. Langt størstedelen af ​​beviserne er baseret på modellerede scenarier, ikke på reelle kliniske implementeringer. Endnu mere alvorligt viser de reelle data, at AI i radiologi ikke automatisk sparer omkostninger. Den økonomiske værdi er meget kontekstafhængig: den har en tendens til at være positiv ved høj volumen, mangel på radiologer eller ressourcekrævende opgaver. Den kan dog også være negativ - hvis utilstrækkelig specificitet fører til flere opfølgende undersøgelser, eller hvis brugsbaserede licensmodeller ophæver de effektivitetsgevinster, der opnås med høje sagsvolumener.

Forklarligheden af ​​AI-udgifter er ikke blot et akademisk luksusproblem – det er en håndgribelig økonomisk variabel. En AI, der opnår en 12,2 procentpoint højeresegennøjagtighed, når dens udgifter forklares ved hjælp af en tankekædetilgang, genererer betydeligt højere klinisk og økonomisk værdi end en AI, der blot stiller en diagnose, forudsat at modellen har samme kvalitet. Oversat til omkostningsmæssige termer betyder dette: undgåede fejldiagnoser, reducerede opfølgende undersøgelser, kortere behandlingsvarigheder og en lavere fejlrate. Fordelene er reelle, selvom de er vanskelige at kvantificere i euro – fordi fejldiagnoser har direkte medicinske omkostninger såvel som indirekte omkostninger på grund af forlængede hospitalsophold, juridiske risici og tab af tillid til sundhedssystemet.

Forklarbar AI som en strategisk nødvendighed inden for den lovgivningsmæssige ramme

EU's AI-lov, der har været gældende siden august 2024, klassificerer næsten alle kliniske AI-applikationer – diagnostiske værktøjer, behandlingsplanlægningssystemer og digitale overvågningsapplikationer – som højrisikoapplikationer. Dette medfører omfattende forpligtelser: teknisk dokumentation, risiko- og kvalitetsstyring, løbende overvågning og eksplicitte krav om gennemsigtighed. Fra august 2028, efter den opdaterede digitale omnibuspakke, som EU-Rådet og Parlamentet foreløbigt blev enige om den 7. maj 2026, vil de fulde krav til producenter af medicinsk udstyr gælde.

Den centrale reguleringsmæssige kerne i disse regler er præcis: Højrisiko-AI skal være forståelig for brugerne. Beslutningsprocesser skal være transparente, og anbefalinger skal kunne anfægtes. Det, som EU's AI-lov normativt kræver, bekræftes empirisk af LMU-undersøgelsen: Forklarlighed er ikke blot et krav om overholdelse af reglerne. Det er en forudsætning for sikker brug af AI i kliniske situationer med høj risiko. Den nye forordning tvinger således producenter af AI-systemer inden for sundhedsvæsenet til at tage hensyn til arten og kvaliteten af ​​deres output – ikke kun den tekniske nøjagtighed af deres modeller.

Fra et strategisk perspektiv skaber dette en interessant markedsdynamik. Udbydere, der tager deres forklaringsevne alvorligt og investerer i transparente, tankekædelignende outputformater, vil være bedre positioneret fra et regulatorisk synspunkt. Samtidig vil de påviseligt opnå bedre kliniske resultater. Konkurrencen om AI-løsninger inden for sundhedsvæsenet vil derfor i fremtiden skifte fra spørgsmålet om teknisk modelnøjagtighed til spørgsmålet om klinisk brugervenlighed – et paradigmeskift med betydelige konsekvenser for hele branchen.

En ny dimension af digital transformation med 'Managed AI' (kunstig intelligens) – Platform & B2B-løsning | Xpert Consulting - Billede: Xpert.Digital

Her lærer du, hvordan din virksomhed kan implementere skræddersyede AI-løsninger hurtigt, sikkert og uden høje adgangsbarrierer.

En administreret AI-platform er din altomfattende og bekymringsfri løsning til kunstig intelligens. I stedet for at skulle håndtere kompleks teknologi, dyr infrastruktur og langvarige udviklingsprocesser, får du en færdiglavet løsning skræddersyet til dine behov fra en specialiseret partner – ofte inden for få dage.

De vigtigste fordele på et overblik:

⚡ Hurtig implementering: Fra idé til brugsklar applikation på dage, ikke måneder. Vi leverer praktiske løsninger, der skaber øjeblikkelig merværdi.

🔒 Maksimal datasikkerhed: Dine følsomme data forbliver hos dig. Vi garanterer sikker og kompatibel behandling uden at dele data med tredjeparter.

💸 Ingen økonomisk risiko: Du betaler kun for resultater. Store forudgående investeringer i hardware, software eller personale elimineres fuldstændigt.

🎯 Fokuser på din kerneforretning: Koncentrer dig om det, du er bedst til. Vi tager os af hele den tekniske implementering, drift og vedligeholdelse af din AI-løsning.

📈 Fremtidssikret og skalerbar: Din AI vokser med dig. Vi sikrer løbende optimering og skalerbarhed og tilpasser modellerne fleksibelt til nye krav.

Mere information her:

• Den administrerede AI-løsning - Industrielle AI-tjenester: Nøglen til konkurrenceevne inden for service-, industri- og maskintekniksektoren

Mangel på færdigheder som katalysator for ukritisk AI-adoption

Resultaterne fra LMU-undersøgelsen får særlig betydning i lyset af den strukturelle mangel på kvalificerede fagfolk i det tyske sundhedssystem. Radiologi er et speciale, der i Tyskland - ligesom i mange andre europæiske lande - er under betydeligt personalepres. Samtidig eksploderer mængden af ​​billeddiagnostiske fund på grund af den stadigt stigende brug af CT, MR og andre billeddannelsesteknikker. Dette pres skaber en kontekst, hvor fristelsen er stor til hurtigt at implementere AI-anbefalinger i stedet for at undersøge dem kritisk.

Automatiseringsbias er særligt farlig i denne sammenhæng. Når en radiolog er under tidspres, og AI'en præsenterer en liste over plausible diagnoser, er vejen til ukritisk accept kort. LMU-undersøgelsen viser, at veldesignet, forklarende AI-output kan modvirke dette – men kun hvis lægerne aktivt læser og gennemgår forklaringerne. Dette kræver, at AI-systemer integreres i kliniske arbejdsgange på en sådan måde, at der er tilstrækkelig tid tilbage til denne kritiske evaluering. De, der introducerer AI blot som et værktøj til acceleration uden at tage hensyn til kvaliteten af ​​interaktionen, risikerer at opnå det modsatte af det ønskede: hurtigere, men mere fejlbehæftede diagnoser.

Bertelsmann-stiftelsen anslår, at Tyskland går glip af produktivitetsgevinster på op til 16 procent på grund af manglende AI-ekspertise – svarende til milliarder i tabte indtægter. Inden for sundhedssektoren er denne effekt endnu mere kompleks at måle, fordi værdien ikke udtrykkes i indtægter, men i sundhedsresultater. Ikke desto mindre er den underliggende logik den samme: Potentialet i AI kan kun realiseres, hvis brugerne er kompetente nok til kritisk at evaluere AI-udgifter – og hvis AI-systemerne i sig selv er designet på en sådan måde, at kritisk evaluering både er mulig og opmuntret.

Differentialdiagnoser og den bedrageriske følelse af sikkerhed

Et af de mest subtile fund i LMU-undersøgelsen fortjener særlig opmærksomhed, fordi det modsiger klinisk intuition. Differentialdiagnoser betragtes som et tegn på klinisk omhu i medicin. De viser, at en læge overvejer flere muligheder og ikke stiller en diagnose for tidligt. Imidlertid kan netop denne type output være problematisk i interaktion med et AI-system.

Den underliggende mekanisme er let at forklare psykologisk: En liste over differentialdiagnoser giver indtryk af, at problemet allerede er blevet grundigt overvejet. Informationstætheden af ​​dette output er høj, hvilket signalerer kognitiv lindring. Følgelig har læger en tendens til at tænke mindre ud over de anførte diagnoser og udøve mindre selvevaluering. Hvis modellen producerer fejlagtige eller ufuldstændige differentialdiagnoser på dette tidspunkt – hvilket sprogmodeller bestemt gør – er sandsynligheden for fejladoption højere end med en enkelt diagnose, der tydeligt er markeret som foreløbig.

Tankekædeforklaringer modvirker dette, fordi de eksplicit identificerer usikkerheder, afslører ekskluderende faktorer og dermed kommunikerer modellens epistemiske åbenhed. Læger inviteres til at sætte spørgsmålstegn ved modellen – og er derfor bedre i stand til at korrigere den, hvor den er fejlbehæftet.

Generaliserbarhed: Hvad fundet betyder ud over radiologi

Stefan Feuerriegel, korresponderende forfatter til undersøgelsen, understreger eksplicit, at resultaterne rækker langt ud over radiologi. Store sprogmodeller bruges i stigende grad til beslutninger i hverdagen og på arbejdet – inden for jura, finans, management consulting og uddannelse. Overalt, hvor folk bruger AI-output som grundlag for konsekvensbeslutninger, opstår de samme spørgsmål: Skal jeg kritisk undersøge anbefalingen, eller skal jeg følge den af ​​effektivitetshensyn? Forstår jeg ræsonnementet, eller stoler jeg på AI'en, fordi resultatet lyder plausibelt?

Advarslen mod "overbevisende fejl" er særligt vigtig. Sprogmodeller er i stand til at producere forklaringer, der virker strukturelt korrekte og retorisk overbevisende – men som er faktuelt ukorrekte. Dette er et velkendt fænomen, der i forskningslitteraturen omtales som "hallucinationer", og kan ikke helt elimineres ved blot at optimere modellernes ydeevne. Selvom trinvise forklaringer giver en forbedret mulighed for kritisk gennemgang, beskytter de ikke fuldstændigt mod denne risiko. Ansvaret for den endelige beslutning forbliver altid hos mennesket.

Fra et økonomisk perspektiv kan dette fortolkes som et argument for differentieret brugerkompetence: De, der ønsker at drage bæredygtig fordel af AI-værktøjer – hvad enten det er inden for medicin, jura eller management consulting – skal ikke kun vide, hvordan de betjenes, men også hvordan de vurderer deres omkostninger. Denne kompetence kan læres, men kræver målrettet træning og faglig udvikling. Institutioner, der investerer i denne kompetence, vil udnytte AI-systemer mere effektivt end dem, der behandler AI som et autonomt beslutningsværktøj.

Forklarlig AI og tillidsproblemet: Et systemisk perspektiv

Tillid er ikke en blød faktor i medicin – det er en hård økonomisk værdi. Patienter, der har tillid til deres læger, er mere tilbøjelige til at følge behandlingsanbefalinger, rapportere symptomer tidligere og påviseligt have bedre behandlingsresultater. Denne tillid er nu blevet udvidet til at omfatte en anden dimension: den omfatter i stigende grad tillid til de AI-systemer, der er involveret i diagnose og behandlingsplanlægning.

Konceptet forklarlig AI – i litteraturen omtalt som XAI, Explainable Artificial Intelligence – adresserer netop dette tillidsproblem. Det handler ikke om at gøre modeller mindre komplekse, men om at gøre deres beslutningsprocesser forståelige for relevante brugergrupper. "Forståelig" er ikke et absolut begreb: hvad der er en nyttig trin-for-trin forklaring for en erfaren radiolog, kan være for detaljeret eller misvisende for en praktiserende læge uden specialisering i medicinsk billeddannelse. Derfor skal XAI ikke kun betragtes ud fra et teknisk perspektiv, men også med bruger og kontekst i tankerne.

Fra producenternes perspektiv betyder det, at det ikke er trivielt at udvikle effektive AI-forklaringer. Det kræver en dyb forståelse af kliniske arbejdsgange og de kognitive krav fra de respektive brugergrupper. Tankekædeforklaringer, som klarede sig fremragende i studiet, er ikke blot et teknisk outputformat – de er resultatet af en omhyggeligt designet interaktion. Dette design kræver ressourcer, men det skaber påviseligt værdi – for patienter, læger og samfundet.

Reguleringsforpligtelser og klinisk virkelighed: Et pragmatisk perspektiv

Overgangsperioderne i EU's AI-lov giver producenter og operatører af AI-systemer i sundhedsvæsenet tid til at tilpasse sig. Ifølge de nye regler i den digitale omnibuspakke er den endelige frist for producenter af medicinsk udstyr august 2028. Denne periode bør dog ikke misforstås som en udsættelse, men snarere som en struktureret overgang, hvor resultaterne af klinisk forskning – såsom resultaterne fra LMU-undersøgelsen – kan indarbejdes i produktudviklingen.

Konkret betyder dette for hospitaler og hospitalsteknikere: Evalueringen af ​​AI-systemer bør ikke kun måle teknisksegennøjagtighed, men også kvaliteten af ​​output i klinisk brug. "Chain-of-Thought"-erklæringer og lignende transparente outputformater bør overvejes som udvælgelseskriterier under indkøb. Uddannelse af læger, der bruger AI-værktøjer, skal eksplicit omhandle automatiseringsbias og kritisk gennemgang af AI-anbefalinger. Endelig bør kliniske kvalitetssikringssystemer dokumentere implementeringen af ​​AI-anbefalinger for at identificere systematiske fejl tidligt.

For udviklere og udbydere af AI-løsninger inden for sundhedsvæsenet er budskabet klart: Investering i forklarlighed er ikke et valgfrit tilbehør. Det er den afgørende løftestang, der omdanner en teknisk forsvarlig model til et klinisk effektivt og lovgivningsmæssigt kompatibelt værktøj.

Det overordnede tema: Hvordan mennesker og maskiner kan blive smartere sammen

LMU-studiet bidrager i sidste ende til et større spørgsmål, der rækker langt ud over radiologi og medicin: Hvordan skal AI-systemer designes, så de forbedrer menneskelig tænkning i stedet for at erstatte den eller – værre endnu – underminerer den? Svaret er: gennem gennemsigtighed, sporbarhed og aktiv opfordring til kritisk undersøgelse.

Dette er ikke et teknisk romantisk ideal. Det er et empirisk bevist, økonomisk forsvarligt og etisk afgørende designprincip. I et sundhedssystem under stigende præstationspres, afhængigt af digitale værktøjer og samtidig påkrævet at opfylde de højeste kvalitetsstandarder, kan spørgsmålet "Hvordan forklarer din AI sine anbefalinger?" snart blive det vigtigste indkøbsspørgsmål i kliniske miljøer.

En god AI-respons er ikke kun korrekt – den er verificerbar. De, der konsekvent omsætter dette princip til udvikling, indkøb og implementering af AI-systemer, vil ikke blot opnå bedre medicinske resultater. De vil også vinde den tillid, som den gennemgribende digitalisering af sundhedsvæsenet har presserende brug for – tilliden fra læger, patienter og samfundet som helhed.

Den nærmest interne løsning: Hvordan Xpert.Digital lukker operationelle huller i B2B-marketing og -salg – Smart Content-Driven Business - Billede: Xpert.Digital

Xpert.Digital er et datadrevet B2B-industricenter ledet af Konrad Wolfenstein . Virksomheden fungerer som en ekstern, nærmest intern løsning for industrielle partnere og lukker operationelle huller i marketing, indhold og salg – uden at kræve yderligere ressourcer fra klientsiden.

Mere information her:

• Den nærmest interne løsning: Hvordan Xpert.Digital lukker operationelle huller i B2B-marketing og -salg – Smart Content-Driven Business

☑️ Vores forretningssprog er engelsk eller tysk

☑️ NYT: Korrespondance på dit modersmål!

Konrad Wolfenstein

Jeg og mit team er glade for at stå til rådighed for dig som din personlige rådgiver.

Du kan kontakte mig ved at udfylde kontaktformularen her blot ringe til mig på +49 7348 4088 965. Min e-mailadresse er [email protected]:eller

Jeg glæder mig til vores fælles projekt.

☑️ SMV-support inden for strategi, rådgivning, planlægning og implementering

☑️ Oprettelse eller omlægning af den digitale strategi og digitalisering

☑️ Udvidelse og optimering af internationale salgsprocesser

☑️ Globale og digitale B2B-handelsplatforme

☑️ Pioner inden for forretningsudvikling / marketing / PR / messer