Нове дослідження LMU показує: як штучний інтелект насправді робить лікарів кращими | Мюнхенський університет Людвіга-Максиміліана

Законодавство ЄС змушує переосмислити: у майбутньому штучний інтелект у лікарнях повинен буде «думати вголос»

Штучний інтелект вже давно вважається рятівником у сфері охорони здоров'я, який бореться з хронічним тиском часу та гострою нестачею персоналу. Однак нове новаторське дослідження, проведене в Німеччині, показує, що те, чи рятує алгоритм життя, чи, в найгіршому випадку, навіть провокує неправильні діагнози, залежить від важливої ​​деталі, якій досі приділялося мало уваги. Штучному інтелекту просто недостатньо надавати точні результати – він також повинен бути здатним крок за кроком пояснювати лікарю процес своїх міркувань. Захопливий експеримент за участю понад 100 рентгенологів показує, чому так звані моделі «ланцюга думок» різко знижують рівень діагностичних помилок, чому класичні диференціальні діагнози раптово стають когнітивними пастками, і чому ці висновки можуть радикально змінити не лише медичну практику, але й світовий ринок штучного інтелекту та майбутні правила ЄС.

Пов'язано з цим:

• Вплив медичних пояснень з моделей великих мов на точність діагностики в радіології

Коли ШІ мислить самостійно: Як зрозумілий штучний інтелект змінює медичну діагностику

Правдоподібної відповіді недостатньо – ті, хто сліпо довіряє ШІ, наражають на небезпеку життя пацієнтів

Великі мовні моделі більше не обмежуються лабораторними експериментами. Їх можна знайти в юридичних фірмах, редакціях, консалтингових компаніях з управління – і все частіше в лікарнях. Але хоча публічні дебати часто обертаються навколо питання про те, чи штучний інтелект колись замінить лікарів, дослідники з Мюнхенського університету в Луїзіані, Університетської лікарні Луїзіанського університету в Луїзіані, Технологічного інституту Карлсруе та Байройтського університету ставлять набагато більш тонке питання, яке безпосередньо стосується повсякденної клінічної практики: за яких умов підтримка штучного інтелекту фактично покращує якість діагностики – і коли, в найгіршому випадку, вона навіть шкідлива?

Відповідь, опублікована в журналі npj Digital Medicine дослідницькою групою під керівництвом Стефана Фойєррігеля, професора Мюнхенської школи менеджменту LMU, та Боя Фрідріха Хоппе з Університетської лікарні LMU, є настільки ж очевидною, наскільки й тривожною: головне питання полягає не в тому, чи ставить ШІ правильний діагноз. А в тому, як він пояснює цей діагноз. Це відкриття є важливим, оскільки воно піднімає всю дискусію про ШІ в охороні здоров'я на новий рівень – відходячи від бінарного питання «ШІ так чи ні?» до більш нюансованого питання про те, як проектувати взаємодію людини з машиною.

Експеримент: 101 рентгенолог та чотири захворювання

Дослідження є методологічно визначним. У рандомізованому експерименті 101 рентгенологу було представлено реальні клінічні випадки, що включали радіологічну візуалізацію, зокрема результати комп'ютерної томографії та магнітно-резонансної томографії. Учасникам було запропоновано сформулювати діагноз у вільному тексті, що значно складніше, ніж простий вибір варіанта з кількома варіантами відповідей, і набагато точніше відображає клінічну реальність.

Учасників було випадковим чином розподілено на одну з чотирьох груп. Перша група працювала повністю без підтримки штучного інтелекту та слугувала контрольною групою. Друга група отримала лише одну діагностичну рекомендацію з мультимодальної мовної моделі. Третя група отримала диференціальний діагноз, тобто список можливих захворювань з оціненою ймовірністю. Нарешті, четверта група отримала так зване пояснення ланцюжка думок: модель крок за кроком розкривала свою логіку — називала відповідні ознаки зображення, пояснювала клінічні показання, обговорювала критерії виключення та робила свою логіку зрозумілою для лікаря.

Результат: різниця у дванадцять відсоткових пунктів і що за нею стоїть

Результати очевидні. Радіологи, які використовували покрокове пояснення ланцюжка думок, досягли рівня діагностичної точності на 12,2 відсоткових пункти вищого, ніж контрольна група без штучного інтелекту. Це не є незначним ефектом. У контексті повсякденної клінічної практики, де щодня генеруються тисячі звітів, ця різниця відповідає значній кількості помилкових діагнозів, яких можна було б уникнути.

З іншого боку, прості діагностичні результати та диференціальні діагнози показали значно гірші результати. Висновок щодо диференціальної діагностики є особливо показовим: у випадках, коли модель штучного інтелекту надавала неправильну оцінку, лікарі частіше дотримувалися списку, ніж якби вони поставили один простий діагноз. Диференціальна діагностика створює враження повноти. Вона представляє кілька можливостей і таким чином створює відчуття, що діагностичний простір вже повністю охоплено. Це призводить до зниження власного критичного мислення лікарів, особливо у випадку рідкісних або складних станів, які навіть не фігурують у представленому списку.

Упередженість автоматизації: недооцінений ризик у повсякденній клінічній практиці

Феномен, який так вражаюче ілюструє дослідження LMU, відомий у науковій літературі як упередження автоматизації. Воно описує схильність людей дотримуватися рекомендацій автоматизованих систем, навіть коли їхнє власне сприйняття чи досвід суперечать їм. Упередження автоматизації не є ознакою некомпетентності. Це глибоко людська когнітивна модель, що випливає з еволюційної евристики: ті, хто довіряє ефективним системам, зберігають когнітивні ресурси. У більшості повсякденних ситуацій це функціонально. Однак у медицині це може бути фатальним.

Попередні дослідження показали, що упередженість автоматизації значно більш виражена під тиском часу. Дослідження підтримки клінічних рішень у патології за допомогою штучного інтелекту виміряло, що хоча інтеграція штучного інтелекту призвела до статистично значущого загального покращення продуктивності, вона одночасно генерувала рівень упередженості автоматизації на рівні 7 відсотків – тобто випадки, коли спочатку правильні оцінки були змінені помилковими рекомендаціями штучного інтелекту. Тиск часу не збільшив частоту упередженості, але збільшив її інтенсивність. Паралелі з радіологічною практикою, де радіологам у деяких лікарнях доводиться складати понад сто звітів за зміну, очевидні.

Дослідження LMU тепер показує, що спосіб пояснення ШІ є вирішальним фактором у зменшенні цього ризику. Покрокові пояснення роблять хід міркувань моделі прозорим і дозволяють лікарю порівняти його з власним досвідом – процес, який полегшує виявлення помилок у моделі та одночасно заохочує активну когнітивну участь, а не пасивне прийняття.

Економіка пояснимості: Скільки насправді коштує хороший ШІ

З економічної точки зору, дослідження LMU відкриває важливу дискусію, яку часто ігнорують у ринкових прогнозах зростання ШІ в охороні здоров'я. Глобальний ринок штучного інтелекту в охороні здоров'я оцінювався приблизно в 28-39 мільярдів доларів США до 2025 року і, за прогнозами, зросте до понад 500 мільярдів доларів США до 2034 року, з річними темпами зростання понад 34 відсотки. Однак ці цифри в першу чергу описують ринок продуктів ШІ, а не фактичну економічну цінність, яку ці продукти створюють у клінічному застосуванні.

Саме в цьому полягає проблема. У систематичному огляді, опублікованому в 2025 році щодо економічної оцінки штучного інтелекту в радіології, проаналізовано понад 1800 публікацій і виявлено лише 21 дослідження, яке фактично кількісно оцінило витрати, економію або економічну ефективність інструментів ШІ. Переважна більшість доказів базується на змодельованих сценаріях, а не на реальних клінічних впровадженнях. Що ще серйозніше, реальні дані показують, що ШІ в радіології не автоматично економить кошти. Економічна цінність дуже залежить від контексту: вона, як правило, позитивна при великому обсязі, нестачі радіологів або ресурсомістких завданнях. Однак вона також може бути негативною — якщо недостатня специфічність призводить до більшої кількості подальших обстежень, або якщо моделі ліцензування на основі використання зводять нанівець підвищення ефективності, досягнуте при великому обсязі випадків.

Пояснення витрат на ШІ — це не просто академічна проблема розкоші, це відчутна економічна змінна. ШІ, який досягає на 12,2 відсоткових пункти вищоїsegenточності, коли його витрати пояснюються за допомогою підходу «ланцюжка думок», генерує значно вищу клінічну та економічну цінність, ніж ШІ, який просто ставить діагноз, припускаючи ту саму якість моделі. У перекладі з точки зору витрат це означає: уникнення неправильних діагнозів, зменшення кількості подальших обстежень, коротший термін лікування та нижчий рівень помилок. Переваги реальні, навіть якщо їх важко виміряти в євро, оскільки неправильні діагнози мають прямі медичні витрати, а також непрямі витрати через тривале перебування в лікарні, юридичні ризики та втрату довіри до системи охорони здоров’я.

Пояснення ШІ як стратегічної необхідності в рамках регуляторної бази

Закон ЄС про штучний інтелект, який набув чинності з серпня 2024 року, класифікує майже всі клінічні застосування штучного інтелекту – діагностичні інструменти, системи планування терапії та застосування цифрового моніторингу – як високоризикові. Це передбачає широкі зобов'язання: технічна документація, управління ризиками та якістю, постійний моніторинг та чіткі вимоги до прозорості. З серпня 2028 року, після оновленого пакету цифрових омнібусів, який Рада ЄС та Парламент попередньо узгодили 7 травня 2026 року, застосовуватимуться повні вимоги до виробників медичних виробів.

Центральне регуляторне ядро ​​цих правил чітке: ШІ високого ризику має бути зрозумілим для користувачів. Процеси прийняття рішень мають бути прозорими, а рекомендації мають бути оскаржуваними. Те, що нормативно вимагає Закон ЄС про ШІ, емпірично підтверджено дослідженням LMU: пояснювальність — це не просто вимога дотримання вимог. Це передумова безпечного використання ШІ у клінічних ситуаціях високого ризику. Таким чином, нове регулювання зобов'язує виробників систем ШІ в охороні здоров'я звертати увагу на характер і якість своєї продукції, а не лише на технічну точність своїх моделей.

Зі стратегічної точки зору, це створює цікаву ринкову динаміку. Постачальники, які серйозно ставляться до своєї пояснювальної здатності та інвестують у прозорі, схожі на ланцюжок думок, формати виводу будуть у кращому становищі з точки зору регулювання. Водночас вони демонстративно досягнуть кращих клінічних результатів. Тому конкуренція за рішення на основі штучного інтелекту в охороні здоров'я в майбутньому зміститься з питання точності технічної моделі на питання клінічної зручності використання – зміна парадигми зі значними наслідками для всієї галузі.

Тут ви дізнаєтеся, як ваша компанія може швидко, безпечно та без високих бар'єрів входу впроваджувати індивідуальні рішення на основі штучного інтелекту.

Керована платформа штучного інтелекту — це ваше комплексне та безтурботне рішення для штучного інтелекту. Замість того, щоб мати справу зі складними технологіями, дорогою інфраструктурою та тривалими процесами розробки, ви отримуєте готове рішення, адаптоване до ваших потреб, від спеціалізованого партнера — часто всього за кілька днів.

Основні переваги з першого погляду:

⚡ Швидке впровадження: від ідеї до готового до використання застосунку за лічені дні, а не місяці. Ми пропонуємо практичні рішення, які створюють негайну додану цінність.

🔒 Максимальна безпека даних: Ваші конфіденційні дані залишаються з вами. Ми гарантуємо безпечну та відповідність вимогам обробку без передачі даних третім особам.

💸 Без фінансових ризиків: Ви платите лише за результат. Повністю виключаються значні початкові інвестиції в обладнання, програмне забезпечення чи персонал.

🎯 Зосередьтеся на своєму основному бізнесі: Зосередьтеся на тому, що ви робите найкраще. Ми подбаємо про повне технічне впровадження, експлуатацію та обслуговування вашого рішення на базі штучного інтелекту.

📈 Орієнтований на майбутнє та масштабований: Ваш ШІ зростає разом з вами. Ми забезпечуємо постійну оптимізацію та масштабованість, а також гнучко адаптуємо моделі до нових вимог.

Більше інформації тут:

• Кероване рішення на основі штучного інтелекту – промислові послуги зі штучним інтелектом: ключ до конкурентоспроможності в секторах послуг, промисловості та машинобудування

Дефіцит кваліфікованих кадрів як каталізатор некритичного впровадження ШІ

Результати дослідження LMU набувають особливого значення з огляду на структурну нестачу кваліфікованих фахівців у німецькій системі охорони здоров'я. Радіологія – це спеціальність, яка в Німеччині, як і в багатьох інших європейських країнах, зазнає значного кадрового тиску. Водночас обсяг результатів візуалізації стрімко зростає через постійно зростаюче використання КТ, МРТ та інших методів візуалізації. Цей тиск створює контекст, у якому велика спокуса швидко прийняти рекомендації штучного інтелекту замість того, щоб критично їх аналізувати.

У цьому контексті упередженість автоматизації особливо небезпечна. Коли рентгенолог перебуває під тиском часу, а штучний інтелект представляє список правдоподібних діагнозів, шлях до некритичного прийняття короткий. Дослідження LMU показує, що добре розроблений пояснювальний результат ШІ може протидіяти цьому, але лише за умови активного читання та перегляду пояснень. Це вимагає інтеграції систем ШІ в клінічні робочі процеси таким чином, щоб залишалося достатньо часу для цієї критичної оцінки. Ті, хто впроваджує ШІ лише як інструмент для прискорення, не враховуючи якість взаємодії, ризикують досягти протилежного бажаному результату: швидшої, але більш схильної до помилок постановки діагнозів.

Фонд Бертельсманна оцінює, що Німеччина втрачає до 16 відсотків приросту продуктивності через брак експертизи у сфері штучного інтелекту, що еквівалентно мільярдам втрачених доходів. У секторі охорони здоров'я цей ефект ще складніше виміряти, оскільки цінність виражається не в доходах, а в результатах охорони здоров'я. Тим не менш, основна логіка та сама: потенціал штучного інтелекту може бути реалізований лише за умови, що користувачі достатньо компетентні, щоб критично оцінювати витрати на штучний інтелект, і якщо самі системи штучного інтелекту розроблені таким чином, щоб критична оцінка була можливою та заохочувала її.

Диференціальні діагнози та оманливе відчуття безпеки

Один з найтонших висновків дослідження LMU заслуговує на особливу увагу, оскільки він суперечить клінічній інтуїції. Диференціальні діагнози вважаються ознакою клінічної ретельності в медицині. Вони демонструють, що лікар враховує численні можливості та не зупиняється передчасно на діагнозі. Однак, у взаємодії із системою штучного інтелекту, саме цей тип виводу може бути проблематичним.

Основний механізм легко пояснити психологічно: список диференціальних діагнозів створює враження, що проблема вже була вичерпно розглянута. Щільність інформації в цьому виході висока, що свідчить про когнітивне полегшення. Отже, лікарі схильні менше думати, виходячи за рамки перелічених діагнозів, і менше займатися самооцінкою. Якщо модель у цей момент видає помилкові або неповні диференціальні діагнози — що, безумовно, роблять мовні моделі — ймовірність прийняття помилки вища, ніж у випадку з одним діагнозом, чітко позначеним як попередній.

Пояснення, засновані на ланцюжку думок, протидіють цьому, оскільки вони чітко визначають невизначеності, розкривають фактори виключення і таким чином повідомляють про епістемічну відкритість моделі. Лікарів запрошують ставити модель під сумнів – і тому вони краще здатні виправити її там, де вона недосконала.

Узагальнюваність: що ця знахідка означає за межами радіології

Стефан Фойєррігель, автор дослідження, прямо наголошує, що результати дослідження виходять далеко за межі радіології. Моделі великих мов все частіше використовуються для прийняття рішень у повсякденному житті та на роботі – у юриспруденції, фінансах, управлінському консалтингу та освіті. Скрізь, де люди використовують результати штучного інтелекту як основу для прийняття важливих рішень, виникають ті самі питання: чи критично я розглядаю рекомендацію, чи приймаю її з міркувань ефективності? Чи розумію я міркування, чи покладаюся на штучний інтелект, бо результат звучить правдоподібно?

Застереження щодо «помилок, що звучать переконливо», є особливо важливим. Мовні моделі здатні створювати пояснення, які виглядають структурно правильними та риторично переконливими, але фактично є неправильними. Це добре відоме явище, яке в дослідницькій літературі називають «галюцинацією», і його не можна повністю усунути простою оптимізацією роботи моделей. Хоча покрокові пояснення пропонують покращену можливість критичного аналізу, вони не повністю захищають від цього ризику. Відповідальність за остаточне рішення завжди залишається за людиною.

З економічної точки зору це можна інтерпретувати як аргумент на користь диференційованої компетентності користувачів: ті, хто хоче отримати сталу вигоду від інструментів штучного інтелекту — будь то в медицині, юриспруденції чи управлінському консалтингу — повинні не лише знати, як ними користуватися, але й як оцінювати їхні витрати. Цій компетентності можна навчитися, але вона вимагає цілеспрямованого навчання та професійного розвитку. Установи, які інвестують у цю компетентність, використовуватимуть системи штучного інтелекту ефективніше, ніж ті, які розглядають штучний інтелект як автономний інструмент прийняття рішень.

Зрозумілий ШІ та проблема довіри: системна перспектива

Довіра в медицині — це не м’який фактор, а тверда економічна цінність. Пацієнти, які довіряють своїм лікарям, частіше дотримуються рекомендацій щодо лікування, повідомляють про симптоми раніше та мають кращі результати лікування. Ця довіра тепер розширена, включивши ще один вимір: вона дедалі більше охоплює довіру до систем штучного інтелекту, що беруть участь у діагностиці та плануванні лікування.

Концепція пояснимого штучного інтелекту (ШІ), яку в літературі називають XAI (Explainable Artificial Intelligence), вирішує саме цю проблему довіри. Йдеться не про спрощення моделей, а про те, щоб зробити процеси прийняття рішень зрозумілими для відповідних груп користувачів. «Зрозумілий» – це не абсолютний термін: те, що є корисним покроковим поясненням для досвідченого рентгенолога, може бути занадто детальним або оманливим для лікаря загальної практики без спеціалізації в медичній візуалізації. Тому XAI слід розглядати не лише з технічної точки зору, але й з урахуванням користувача та контексту.

З точки зору виробників, це означає, що розробка ефективних пояснень на основі штучного інтелекту — це нетривіальний процес. Він вимагає глибокого розуміння клінічних робочих процесів та когнітивних потреб відповідних груп користувачів. Пояснення у вигляді ланцюжка думок, які чудово показали себе в дослідженні, — це не просто технічний вихідний формат, а результат ретельно розробленої взаємодії. Такий дизайн вимагає ресурсів, але він явно створює цінність — для пацієнтів, лікарів та суспільства.

Регуляторні зобов'язання та клінічна реальність: прагматичний погляд

Перехідні періоди Закону ЄС про штучний інтелект дають виробникам та операторам систем штучного інтелекту в охороні здоров'я час на адаптацію. Згідно з новими правилами Пакета цифрових омнібусів, кінцевий термін для виробників медичних виробів – серпень 2028 року. Однак цей період не слід неправильно розуміти як відтермінування, а радше як структурований перехід, під час якого результати клінічних досліджень, такі як дослідження LMU, можуть бути враховані в розробці продукту.

Зокрема, для лікарень та технічних спеціалістів це означає: оцінка систем штучного інтелекту повинна вимірювати не лише точність технічноїsegen, але й якість результатів у клінічній практиці. Заяви про ланцюжок думок та аналогічні прозорі формати результатів слід розглядати як критерії відбору під час закупівель. Навчання лікарів, які використовують інструменти штучного інтелекту, повинно чітко враховувати упередженість автоматизації та критичний огляд рекомендацій штучного інтелекту. Нарешті, системи забезпечення якості клінічної практики повинні документувати впровадження рекомендацій штучного інтелекту для виявлення систематичних помилок на ранній стадії.

Для розробників та постачальників рішень на основі штучного інтелекту в охороні здоров'я послання зрозуміле: інвестування в пояснювальну здатність — це не необов'язкове доповнення. Це вирішальний важіль, який перетворює технічно обґрунтовану модель на клінічно ефективний та регуляторно-відповідний інструмент.

Загальна тема: Як люди та машини можуть стати розумнішими разом

Дослідження LMU зрештою сприяє розгляду ширшого питання, яке виходить далеко за межі радіології та медицини: як мають бути розроблені системи штучного інтелекту, щоб вони доповнювали людське мислення, а не замінювали його або, що ще гірше, підривали? Відповідь: через прозорість, відстежуваність та активне заохочення критичного аналізу.

Це не технічно романтичний ідеал. Це емпірично доведений, економічно обґрунтований та етично імперативний принцип проектування. У системі охорони здоров'я, яка перебуває під зростаючим тиском на продуктивність, залежить від цифрових інструментів і одночасно повинна відповідати найвищим стандартам якості, питання «Як ваш штучний інтелект пояснює свої рекомендації?» незабаром може стати найважливішим питанням закупівель у клінічних умовах.

Гарна реакція штучного інтелекту не лише правильна, а й така, що її можна перевірити. Ті, хто послідовно впроваджує цей принцип у розробку, закупівлю та впровадження систем штучного інтелекту, не лише досягнуть кращих медичних результатів. Вони також здобудуть довіру, яка так необхідна для глибокої цифровізації охорони здоров’я – довіру лікарів, пацієнтів та суспільства в цілому.

Xpert.Digital — це галузевий центр B2B, що базується на даних, який очолює Konrad Wolfenstein . Компанія виступає зовнішнім, квазі-внутрішнім рішенням для промислових партнерів, усуваючи операційні прогалини в маркетингу, контенті та продажах, не вимагаючи додаткових ресурсів з боку клієнта.

Більше інформації тут:

• Квазі-власне рішення: як Xpert.Digital усуває операційні прогалини в B2B-маркетингу та продажах – Розумний контент-орієнтований бізнес

☑️ Наша ділова мова – англійська або німецька

☑️ НОВИНКА: Листування вашою рідною мовою!

 

Я та моя команда раді бути вашим особистим консультантом.

Ви можете зв'язатися зі мною, заповнивши контактну форму тут wolfenstein@xpert.digital:, або просто зателефонувавши мені за номером +49 7348 4088 965. Моя адреса електронної пошти

Я з нетерпінням чекаю нашого спільного проєкту.

 

 

☑️ Підтримка МСП у стратегії, консалтингу, плануванні та впровадженні

☑️ Створення або переорієнтація цифрової стратегії та діджиталізації

☑️ Розширення та оптимізація процесів міжнародних продажів

☑️ Глобальні та цифрові торгові платформи B2B

☑️ Розвиток бізнесу Pioneer / Маркетинг / PR / Виставки