Nová studie LMU ukazuje: Jak umělá inteligence skutečně dělá lékaře lepšími | Univerzita Ludwiga Maximiliána v Mnichově

Právo EU nutí k přehodnocení: Umělá inteligence v nemocnicích bude muset v budoucnu „myslet nahlas“

Umělá inteligence je ve zdravotnictví již dlouho oslavována jako zachránce, který bojuje s chronickým časovým tlakem a akutním nedostatkem personálu. Nová průlomová studie z Německa však odhaluje, že to, zda algoritmus zachrání životy, nebo v nejhorším případě dokonce vyvolá chybné diagnózy, závisí na klíčovém detailu, kterému se dosud věnovala malá pozornost. Nestačí, aby umělá inteligence poskytovala přesné výsledky – musí být také schopna lékaři krok za krokem vysvětlit svůj proces uvažování. Fascinující experiment s více než 100 radiology odhaluje, proč tzv. modely „řetězce myšlenek“ drasticky snižují míru diagnostických chyb, proč se klasické diferenciální diagnózy náhle stávají kognitivními pastmi a proč by tato zjištění mohla radikálně změnit nejen lékařskou praxi, ale i globální trh s umělou inteligencí a budoucí předpisy EU.

Souvisí s tím:

• Vliv lékařských vysvětlení z modelů s velkým jazykem na diagnostickou přesnost v radiologii

Když umělá inteligence myslí sama za sebe: Jak vysvětlitelná umělá inteligence mění lékařskou diagnostiku

Pravděpodobná odpověď nestačí – ti, kdo slepě důvěřují umělé inteligenci, ohrožují životy pacientů

Rozsáhlé jazykové modely se již neomezují pouze na laboratorní experimenty. Lze je nalézt v advokátních kancelářích, redakcích, poradenských společnostech – a stále častěji i v nemocnicích. Zatímco se veřejná debata často točí kolem otázky, zda umělá inteligence jednoho dne nahradí lékaře, výzkumníci z LMU Mnichov, Univerzitní nemocnice LMU, Technologického institutu Karlsruhe a Univerzity v Bayreuthu si kladou mnohem rafinovanější otázku, která se přímo týká každodenní klinické praxe: Za jakých podmínek podpora umělé inteligence skutečně zlepšuje kvalitu diagnostiky – a kdy je v nejhorším případě dokonce škodlivá?

Odpověď, kterou v časopise npj Digital Medicine publikoval výzkumný tým vedený Stefanem Feuerriegelem, profesorem na LMU Mnichov School of Management, a Bojem Friedrichem Hoppem z Univerzitní nemocnice LMU, je jasná a zároveň znepokojivá: Primárním problémem není, zda umělá inteligence poskytuje správnou diagnózu. Jde o to, jak tuto diagnózu vysvětluje. Toto zjištění je významné, protože posouvá celou debatu o umělé inteligenci ve zdravotnictví na novou úroveň – odklání se od binární otázky „AI ano, či ne?“ směrem k jemnější otázce, jak navrhnout interakci člověka se strojem.

Experiment: 101 radiologů a čtyři onemocnění

Studie je metodologicky pozoruhodná. V randomizovaném experimentu byly 101 radiologům prezentovány reálné klinické případy zahrnující radiologické zobrazování – včetně nálezů z počítačové tomografie a magnetické rezonance. Účastníci byli požádáni, aby formulovali diagnózu volným textem, což je výrazně náročnější než pouhý výběr z více možností a mnohem přesněji odráží klinickou realitu.

Účastníci byli náhodně rozděleni do jedné ze čtyř skupin. První skupina pracovala zcela bez podpory umělé inteligence a sloužila jako kontrolní skupina. Druhá skupina obdržela pouze jedno diagnostické doporučení z multimodálního jazykového modelu. Třetí skupina obdržela diferenciální diagnózu, tj. seznam možných onemocnění s odstupňovanými pravděpodobnostmi. Nakonec čtvrtá skupina obdržela vysvětlení tzv. myšlenkového řetězce: Model krok za krokem odhalil své zdůvodnění – pojmenoval relevantní obrazové prvky, vysvětlil klinické indikace, probral kritéria pro vyloučení a učinil svůj postup srozumitelným pro lékaře.

Výsledek: Rozdíl dvanácti procentních bodů a co se za ním skrývá

Výsledky jsou jasné. Radiologové, kteří použili podrobný popis myšlenkového řetězce, dosáhli o 12,2 procentního bodu vyšší míry diagnostické přesnosti než kontrolní skupina bez umělé inteligence. Nejedná se o marginální efekt. V kontextu každodenní klinické praxe, kde se denně generují tisíce zpráv, tento rozdíl odpovídá značnému počtu chybných diagnóz, kterým by se dalo předejít.

Jednoduché diagnostické výstupy a diferenciální diagnózy si naopak vedly výrazně hůře. Zjištění týkající se diferenciální diagnózy je obzvláště výmluvné: V případech, kdy model umělé inteligence poskytl nesprávné hodnocení, se lékaři řídili seznamem častěji, než by to udělali v případě jednoduché diagnózy. Diferenciální diagnóza vyvolává dojem úplnosti. Nabízí více možností a vytváří tak pocit, že diagnostický prostor je již plně pokryt. To vede lékaře ke snížení jejich vlastního kritického myšlení – zejména v případě vzácných nebo složitých onemocnění, která se v prezentovaném seznamu ani neobjevují.

Automatizační zkreslení: Podceňované riziko v každodenní klinické praxi

Fenomén, který studie LMU tak působivě ilustruje, je ve výzkumné literatuře známý jako zkreslení automatizace. Popisuje tendenci lidí řídit se doporučeními automatizovaných systémů, i když jim jejich vlastní vnímání nebo odbornost odporují. Zkreslení automatizace není známkou nekompetentnosti. Je to hluboce lidský kognitivní vzorec, který pramení z evoluční heuristiky: ti, kdo důvěřují efektivním systémům, šetří kognitivní zdroje. Ve většině každodenních situací je to funkční. V medicíně to však může být fatální.

Předchozí studie ukázaly, že zkreslení automatizace je výrazně výraznější pod časovým tlakem. Studie o klinické podpoře rozhodování v patologii podporované umělou inteligencí změřila, že ačkoli integrace umělé inteligence vedla ke statisticky významnému celkovému zlepšení výkonu, současně generovala míru zkreslení automatizace ve výši 7 procent – ​​což znamená případy, kdy byla původně správná hodnocení změněna chybnými doporučeními umělé inteligence. Časový tlak nezvýšil frekvenci zkreslení, ale zvýšil jeho intenzitu. Paralely s radiologickou praxí, kde radiologové v některých nemocnicích musí vypracovat více než sto zpráv za směnu, jsou zřejmé.

Studie LMU nyní ukazuje, že způsob, jakým je umělá inteligence vysvětlena, je klíčovým faktorem pro zmírnění tohoto rizika. Postupná vysvětlení zprůhledňují argumentaci modelu a umožňují lékaři porovnat ji s vlastními zkušenostmi – proces, který usnadňuje identifikaci chyb v modelu a zároveň podporuje aktivní kognitivní zapojení spíše než pasivní přijetí.

Ekonomika vysvětlitelnosti: Kolik dobrá umělá inteligence skutečně stojí

Z ekonomického hlediska studie LMU otevírá důležitou debatu, která je v tržně orientovaných prognózách růstu umělé inteligence ve zdravotnictví často přehlížena. Globální trh s umělou inteligencí ve zdravotnictví byl odhadován na přibližně 28 až 39 miliard amerických dolarů pro rok 2025 a předpokládá se, že do roku 2034 vzroste na více než 500 miliard amerických dolarů s ročním tempem růstu přesahujícím 34 procent. Tato čísla však primárně popisují trh s produkty umělé inteligence – nikoli skutečnou ekonomickou hodnotu, kterou tyto produkty generují v klinickém použití.

Právě v tom spočívá problém. Systematický přehled publikovaný v roce 2025 o ekonomickém hodnocení umělé inteligence v radiologii analyzoval více než 1 800 publikací a zjistil pouze 21 studií, které skutečně kvantifikovaly náklady, úspory nebo nákladovou efektivitu nástrojů umělé inteligence. Velká většina důkazů je založena na modelovaných scénářích, nikoli na skutečných klinických implementacích. Ještě závažnější je, že skutečná data ukazují, že umělá inteligence v radiologii automaticky nešetří náklady. Ekonomická hodnota je vysoce závislá na kontextu: bývá pozitivní u vysokého objemu, nedostatku radiologů nebo úkolů náročných na zdroje. Může však být i negativní – pokud nedostatečná specifičnost vede k většímu počtu následných vyšetření nebo pokud licenční modely založené na využití negují zvýšení efektivity dosažené u vysokého objemu případů.

Vysvětlitelnost výdajů na umělou inteligenci není jen akademickým luxusním problémem – je to hmatatelná ekonomická proměnná. Umělá inteligence, která dosahuje o 12,2 procentního bodu vyššísegenpřesnosti, když jsou její výdaje vysvětleny pomocí přístupu myšlenkového řetězce, generuje výrazně vyšší klinickou a ekonomickou hodnotu než umělá inteligence, která pouze poskytuje diagnózu, za předpokladu stejné kvality modelu. Převedeno do nákladového vyjádření to znamená: zamezení chybných diagnóz, snížení počtu následných vyšetření, kratší dobu léčby a nižší míru chyb. Výhody jsou reálné, i když je obtížné je kvantifikovat v eurech – protože chybné diagnózy mají přímé náklady na lékařskou péči i nepřímé náklady v důsledku prodloužených pobytů v nemocnici, právních rizik a ztráty důvěry ve zdravotnický systém.

Vysvětlitelná umělá inteligence jako strategická nutnost v rámci regulačního rámce

Zákon EU o umělé inteligenci, který je v platnosti od srpna 2024, klasifikuje téměř všechny klinické aplikace umělé inteligence – diagnostické nástroje, systémy plánování terapie a aplikace digitálního monitorování – jako vysoce rizikové. To s sebou nese rozsáhlé povinnosti: technickou dokumentaci, řízení rizik a kvality, průběžné monitorování a explicitní požadavky na transparentnost. Od srpna 2028, v návaznosti na aktualizovaný digitální omnibusový balíček, na kterém se Rada EU a Parlament předběžně dohodly 7. května 2026, budou platit plné požadavky na výrobce zdravotnických prostředků.

Ústřední regulační jádro těchto předpisů je přesné: Vysoce riziková umělá inteligence musí být pro uživatele srozumitelná. Rozhodovací procesy musí být transparentní a doporučení musí být napadnutelná. To, co zákon EU o umělé inteligenci normativním způsobem vyžaduje, empiricky potvrzuje studie LMU: Vysvětlitelnost není pouze požadavkem na shodu s předpisy. Je předpokladem pro bezpečné používání umělé inteligence ve vysoce rizikových klinických situacích. Nové nařízení tak nutí výrobce systémů umělé inteligence ve zdravotnictví, aby se zabývali povahou a kvalitou svých výstupů – nejen technickou přesností svých modelů.

Ze strategického hlediska to vytváří zajímavou tržní dynamiku. Poskytovatelé, kteří berou svou vysvětlující sílu vážně a investují do transparentních výstupních formátů podobných myšlenkovému řetězci, budou z regulačního hlediska v lepší pozici. Zároveň prokazatelně dosáhnou lepších klinických výsledků. Konkurence o řešení umělé inteligence ve zdravotnictví se proto v budoucnu přesune od otázky přesnosti technického modelu k otázce klinické použitelnosti – což je paradigmatický posun s významnými důsledky pro celé odvětví.

Nový rozměr digitální transformace s „řízenou AI“ (umělou inteligencí) – platforma a řešení B2B | Xpert Consulting - Obrázek: Xpert.Digital

Zde se dozvíte, jak může vaše společnost rychle, bezpečně a bez vysokých vstupních bariér implementovat řešení umělé inteligence na míru.

Spravovaná platforma umělé inteligence je vaším komplexním a bezstarostným řešením pro umělou inteligenci. Místo řešení složitých technologií, drahé infrastruktury a zdlouhavých vývojových procesů získáte hotové řešení šité na míru vašim potřebám od specializovaného partnera – často během několika dní.

Klíčové výhody na první pohled:

⚡ Rychlá implementace: Od nápadu k aplikaci připravené k použití během několika dnů, nikoli měsíců. Dodáváme praktická řešení, která vytvářejí okamžitou přidanou hodnotu.

🔒 Maximální zabezpečení dat: Vaše citlivá data zůstanou u vás. Garantujeme bezpečné a kompatibilní zpracování bez sdílení dat s třetími stranami.

💸 Žádné finanční riziko: Platíte pouze za výsledky. Vysoké počáteční investice do hardwaru, softwaru nebo personálu jsou zcela eliminovány.

🎯 Zaměřte se na své hlavní podnikání: Soustřeďte se na to, co děláte nejlépe. Postaráme se o kompletní technickou implementaci, provoz a údržbu vašeho řešení s umělou inteligencí.

📈 Připraveno na budoucnost a škálovatelné: Vaše umělá inteligence roste s vámi. Zajišťujeme neustálou optimalizaci a škálovatelnost a flexibilně přizpůsobujeme modely novým požadavkům.

Více informací zde:

• Řešení spravované umělé inteligence – Průmyslové služby umělé inteligence: Klíč ke konkurenceschopnosti v odvětvích služeb, průmyslu a strojírenství

Nedostatek kvalifikovaných pracovníků jako katalyzátor nekritického zavádění umělé inteligence

Zjištění studie LMU nabývají zvláštního významu s ohledem na strukturální nedostatek kvalifikovaných odborníků v německém systému zdravotní péče. Radiologie je obor, který je v Německu – stejně jako v mnoha dalších evropských zemích – pod značným tlakem na personální obsazení. Zároveň objem zobrazovacích nálezů exploduje v důsledku stále rostoucího používání CT, MRI a dalších zobrazovacích technik. Tento tlak vytváří kontext, v němž je velké pokušení rychle přijmout doporučení umělé inteligence namísto jejich kritického zkoumání.

Zkreslení automatizace je v této souvislosti obzvláště nebezpečné. Pokud je radiolog pod časovým tlakem a umělá inteligence prezentuje seznam věrohodně znějících diagnóz, cesta k nekritickému přijetí je krátká. Studie LMU ukazuje, že dobře navržený a vysvětlující výstup umělé inteligence tomu může čelit – ale pouze pokud lékaři aktivně čtou a kontrolují vysvětlení. To vyžaduje, aby systémy umělé inteligence byly integrovány do klinických pracovních postupů takovým způsobem, aby na toto kritické vyhodnocení zbýval dostatek času. Ti, kteří zavádějí umělou inteligenci pouze jako nástroj pro zrychlení, aniž by zohlednili kvalitu interakce, riskují, že dosáhnou opaku toho, co je žádoucí: rychlejší, ale k chybám náchylnější diagnózy.

Nadace Bertelsmann odhaduje, že Německo kvůli nedostatku odborných znalostí v oblasti umělé inteligence přichází o zvýšení produktivity až o 16 procent – ​​což odpovídá miliardám ušlých příjmů. Ve zdravotnictví je tento efekt ještě složitější měřit, protože hodnota se nevyjadřuje v příjmech, ale ve výsledcích v oblasti zdraví. Základní logika je nicméně stejná: potenciál umělé inteligence lze realizovat pouze tehdy, jsou-li uživatelé dostatečně kompetentní, aby kriticky zhodnotili výdaje na umělou inteligenci – a pokud jsou samotné systémy umělé inteligence navrženy tak, aby kritické hodnocení bylo možné a zároveň podporováno.

Diferenciální diagnózy a klamný pocit bezpečí

Jeden z nejjemnějších závěrů studie LMU si zaslouží zvláštní pozornost, protože je v rozporu s klinickou intuicí. Diferenciální diagnózy jsou v medicíně považovány za známku klinické pečlivosti. Ukazují, že lékař zvažuje více možností a nestanovuje předčasně diagnózu. V interakci se systémem umělé inteligence však může být právě tento typ výstupu problematický.

Základní mechanismus lze psychologicky snadno vysvětlit: Seznam diferenciálních diagnóz vyvolává dojem, že problém již byl vyčerpávajícím způsobem zvážen. Informační hustota tohoto výstupu je vysoká, což signalizuje kognitivní úlevu. Lékaři proto mají tendenci méně přemýšlet nad rámec uvedených diagnóz a méně se sebehodnotit. Pokud model v tomto okamžiku produkuje chybné nebo neúplné diferenciální diagnózy – což jazykové modely jistě dělají – je pravděpodobnost přijetí chyby vyšší než u jediné diagnózy jasně označené jako předběžná.

Vysvětlení založená na řetězci myšlenek tomu působí, protože explicitně identifikují nejistoty, odhalují vylučující faktory a tím sdělují epistemickou otevřenost modelu. Lékaři jsou vyzýváni k tomu, aby model zpochybňovali – a proto jsou schopni jej lépe opravit tam, kde je chybný.

Zobecnitelnost: Co nález znamená nad rámec radiologie

Stefan Feuerriegel, odpovídající autor studie, výslovně zdůrazňuje, že zjištění sahají daleko za rámec radiologie. Modely s velkými jazyky se stále častěji používají pro rozhodování v každodenním životě i v práci – v právu, financích, manažerském poradenství a vzdělávání. Všude, kde lidé používají výstupy umělé inteligence jako základ pro následná rozhodnutí, vyvstávají stejné otázky: Mám doporučení kriticky zkoumat, nebo ho přijmout z důvodu efektivity? Rozumím zdůvodnění, nebo se spoléhám na umělou inteligenci, protože výsledek zní věrohodně?

Obzvláště důležité je varování před „přesvědčivě znějícími chybami“. Jazykové modely jsou schopny produkovat vysvětlení, která se zdají být strukturálně správná a rétoricky přesvědčivá – přesto jsou fakticky nesprávná. Jedná se o dobře známý jev, v literatuře označovaný jako „halucinace“, a nelze jej zcela eliminovat pouhou optimalizací výkonu modelů. I když podrobná vysvětlení nabízejí lepší příležitost ke kritickému přezkoumání, zcela nechrání před tímto rizikem. Odpovědnost za konečné rozhodnutí vždy zůstává na člověku.

Z ekonomického hlediska lze toto interpretovat jako argument pro diferencované uživatelské kompetence: Ti, kteří chtějí udržitelně těžit z nástrojů umělé inteligence – ať už v medicíně, právu nebo manažerském poradenství – musí nejen vědět, jak je ovládat, ale také jak vyhodnotit jejich náklady. Tuto kompetenci si lze osvojit, ale vyžaduje cílené školení a profesní rozvoj. Instituce, které do této kompetence investují, budou systémy umělé inteligence využívat efektivněji než ty, které s umělou inteligencí zacházejí jako s nástrojem autonomního rozhodování.

Vysvětlitelná umělá inteligence a problém důvěry: Systémová perspektiva

Důvěra není v medicíně měkkým faktorem – je to tvrdá ekonomická hodnota. Pacienti, kteří důvěřují svým lékařům, s větší pravděpodobností dodržují doporučení léčby, hlásí příznaky dříve a prokazatelně dosahují lepších výsledků léčby. Tato důvěra se nyní rozšířila o další rozměr: stále více zahrnuje důvěru v systémy umělé inteligence zapojené do diagnostiky a plánování léčby.

Koncept vysvětlitelné umělé inteligence – v literatuře označované jako XAI, Explainable Artificial Intelligence – řeší právě tento problém důvěry. Nejde o zjednodušení modelů, ale o to, aby byly jejich rozhodovací procesy srozumitelné pro relevantní skupiny uživatelů. „Srozumitelný“ není absolutní pojem: to, co je užitečným podrobným vysvětlením pro zkušeného radiologa, může být pro praktického lékaře bez specializace na lékařské zobrazování příliš podrobné nebo zavádějící. Proto je nutné XAI posuzovat nejen z technického hlediska, ale také s ohledem na uživatele a kontext.

Z pohledu výrobců to znamená, že vývoj efektivních vysvětlení pomocí umělé inteligence není triviální. Vyžaduje hluboké pochopení klinických pracovních postupů a kognitivních nároků příslušných skupin uživatelů. Vysvětlení typu myšlenkového řetězce, která ve studii dosáhla vynikajících výsledků, nejsou pouze technickým výstupním formátem – jsou výsledkem pečlivě navržené interakce. Tento návrh vyžaduje zdroje, ale prokazatelně vytváří hodnotu – pro pacienty, lékaře i společnost.

Regulační povinnosti a klinická realita: Pragmatický pohled

Přechodná období zákona EU o umělé inteligenci dávají výrobcům a provozovatelům systémů umělé inteligence ve zdravotnictví čas na adaptaci. Podle nových předpisů balíčku Digital Omnibus Package je konečným termínem pro výrobce zdravotnických prostředků srpen 2028. Toto období by však nemělo být špatně chápáno jako odklad, ale spíše jako strukturovaný přechod, v němž lze výsledky klinického výzkumu – například studie LMU – začlenit do vývoje produktů.

Konkrétně to pro nemocnice a nemocniční techniky znamená: Hodnocení systémů umělé inteligence by nemělo měřit pouze technickousegenpřesnost, ale také kvalitu výstupů v klinickém použití. Při zadávání veřejných zakázek by měly být jako kritéria výběru zohledněny myšlenkové řetězce a podobné transparentní formáty výstupů. Školení lékařů používajících nástroje umělé inteligence se musí explicitně zabývat zkreslením automatizace a kritickým přezkoumáním doporučení umělé inteligence. Systémy klinického zajištění kvality by měly dokumentovat přijetí doporučení umělé inteligence, aby bylo možné včas identifikovat systematické chyby.

Pro vývojáře a poskytovatele řešení umělé inteligence ve zdravotnictví je sdělení jasné: Investice do vysvětlitelnosti není volitelným doplňkem. Je to klíčová páka, která transformuje technicky spolehlivý model do klinicky efektivního a regulačního nástroje.

Hlavní téma: Jak se lidé a stroje mohou společně stát chytřejšími

Studie LMU v konečném důsledku přispívá k širší otázce, která sahá daleko za rámec radiologie a medicíny: Jak musí být systémy umělé inteligence navrženy tak, aby lidské myšlení rozšiřovaly, a ne ho nahrazovaly, nebo – co je ještě horší – podkopávaly? Odpověď zní: prostřednictvím transparentnosti, sledovatelnosti a aktivní podpory kritického zkoumání.

Nejedná se o technicky romantický ideál. Jde o empiricky ověřený, ekonomicky zdravý a eticky nezbytný princip návrhu. V systému zdravotní péče, který je pod rostoucím tlakem na výkon, je závislý na digitálních nástrojích a zároveň musí splňovat nejvyšší standardy kvality, by se otázka „Jak vaše umělá inteligence vysvětluje svá doporučení?“ mohla brzy stát nejdůležitější otázkou při zadávání veřejných zakázek v klinickém prostředí.

Dobrá reakce umělé inteligence je nejen správná – je ověřitelná. Ti, kteří tento princip důsledně převádějí do vývoje, pořizování a zavádění systémů umělé inteligence, nejenže dosáhnou lepších lékařských výsledků. Získají si také důvěru, kterou hluboká digitalizace zdravotnictví naléhavě potřebuje – důvěru lékařů, pacientů a společnosti jako celku.

Kvazi-interní řešení: Jak Xpert.Digital uzavírá provozní mezery v marketingu a prodeji B2B – Smart Content-Driven Business - Obrázek: Xpert.Digital

Xpert.Digital je datově orientované B2B centrum pro průmysl, které vede Konrad Wolfenstein . Společnost funguje jako externí, kvazi-interní řešení pro průmyslové partnery a odstraňuje provozní mezery v marketingu, obsahu a prodeji – aniž by vyžadovala další zdroje na straně klienta.

Více informací zde:

• Kvazi-interní řešení: Jak Xpert.Digital uzavírá provozní mezery v marketingu a prodeji B2B – Smart Content-Driven Business

☑️ Naším obchodním jazykem je angličtina nebo němčina

☑️ NOVINKA: Korespondence ve vašem rodném jazyce!

Konrad Wolfenstein

Já a můj tým jsme rádi, že vám můžeme být k dispozici jako váš osobní poradce.

Můžete mě kontaktovat vyplněním kontaktního formuláře zde jednoduše zavolat na číslo +49 7348 4088 965. Moje e-mailová adresa je [email protected]:nebo

Těším se na náš společný projekt.

☑️ Podpora malých a středních podniků v oblasti strategie, poradenství, plánování a implementace

☑️ Vytvoření nebo restrukturalizace digitální strategie a digitalizace

☑️ Rozšíření a optimalizace mezinárodních prodejních procesů

☑️ Globální a digitální B2B obchodní platformy

☑️ Průkopnický rozvoj podnikání / Marketing / PR / Veletrhy