Новое исследование Мюнхенского университета имени Людвига Максимилиана показывает: как искусственный интеллект действительно улучшает работу врачей |

Законодательство ЕС заставляет переосмыслить подход: в будущем искусственный интеллект в больницах должен будет «думать вслух»

Искусственный интеллект давно считается спасителем в здравоохранении, борющимся с хронической нехваткой времени и острой нехваткой персонала. Однако новаторское исследование из Германии показывает, что то, спасает ли алгоритм жизни или, в худшем случае, даже провоцирует ошибочные диагнозы, зависит от важнейшей детали, которой до сих пор уделялось мало внимания. Искусственному интеллекту недостаточно просто выдавать точные результаты — он также должен уметь шаг за шагом объяснять врачу свой ход рассуждений. Увлекательный эксперимент с участием более 100 рентгенологов показывает, почему так называемые модели «цепочки рассуждений» резко снижают частоту диагностических ошибок, почему классические дифференциальные диагнозы внезапно становятся когнитивными ловушками и почему эти результаты могут радикально изменить не только медицинскую практику, но и глобальный рынок ИИ, а также будущие правила ЕС.

В связи с этим:

• Влияние медицинских пояснений, полученных с помощью больших языковых моделей, на точность диагностики в радиологии

Когда ИИ мыслит самостоятельно: как объяснимый искусственный интеллект меняет медицинскую диагностику

Одного правдоподобного ответа недостаточно – те, кто слепо доверяет ИИ, подвергают опасности жизни пациентов

Крупные языковые модели больше не ограничиваются лабораторными экспериментами. Их можно найти в юридических фирмах, редакциях новостей, консалтинговых компаниях — и все чаще в больницах. Но в то время как общественные дебаты часто вращаются вокруг вопроса о том, заменит ли искусственный интеллект когда-нибудь врачей, исследователи из Мюнхенского университета им. Людвига Максимилиана, Университетской больницы Людвига Максимилиана, Карлсруэского технологического института и Байройтского университета задают гораздо более тонкий вопрос, непосредственно касающийся повседневной клинической практики: при каких условиях поддержка ИИ действительно улучшает качество диагностики — и когда, в худшем случае, она даже вредна?

Ответ, опубликованный в журнале npj Digital Medicine исследовательской группой под руководством Стефана Фойерригеля, профессора Мюнхенской школы менеджмента LMU, и Бойя Фридриха Хоппе из университетской клиники LMU, столь же ясен, сколь и отрезвляющ: главная проблема заключается не в том, дает ли ИИ правильный диагноз, а в том, как он объясняет этот диагноз. Это открытие имеет важное значение, поскольку оно поднимает всю дискуссию об ИИ в здравоохранении на новый уровень, переходя от бинарного вопроса «ИИ — да или нет?» к более тонкому вопросу о том, как проектировать взаимодействие человека и машины.

Эксперимент: 101 рентгенолог и четыре условия эксперимента

Данное исследование примечательно с методологической точки зрения. В рандомизированном эксперименте 101 рентгенологу были представлены реальные клинические случаи, связанные с радиологической визуализацией, включая результаты компьютерной томографии и магнитно-резонансной томографии. Участникам было предложено сформулировать диагноз в свободной текстовой форме, что значительно сложнее, чем просто выбрать один из вариантов ответа, и гораздо точнее отражает клиническую реальность.

Участники были случайным образом распределены на четыре группы. Первая группа работала полностью без поддержки ИИ и служила контрольной группой. Вторая группа получила только одну диагностическую рекомендацию от мультимодальной языковой модели. Третья группа получила дифференциальный диагноз, то есть список возможных заболеваний с градуированными вероятностями. Наконец, четвертая группа получила так называемое объяснение «цепочки рассуждений»: модель пошагово раскрывала свои рассуждения — она называла соответствующие признаки изображения, объясняла клинические показания, обсуждала критерии исключения и делала свою цепочку рассуждений понятной для врача.

Результат: разница в двенадцать процентных пунктов и что за этим стоит

Результаты очевидны. Рентгенологи, использовавшие пошаговое объяснение по принципу логической цепочки рассуждений, достигли точности диагностики на 12,2 процентных пункта выше, чем контрольная группа без ИИ. Это не незначительный эффект. В контексте повседневной клинической практики, где ежедневно генерируются тысячи отчетов, эта разница соответствует значительному числу ошибочных диагнозов, которых можно было бы избежать.

Простые диагностические результаты и дифференциальные диагнозы, напротив, показали значительно худшие результаты. Особенно показателен вывод относительно дифференциального диагноза: в случаях, когда модель ИИ давала неверную оценку, врачи чаще следовали списку, чем при простом диагнозе. Дифференциальный диагноз создает впечатление полноты. Он представляет множество возможностей и, таким образом, создает ощущение, что диагностическое пространство уже полностью охвачено. Это приводит к снижению критического мышления врачей – особенно в случае редких или сложных состояний, которые даже не фигурируют в представленном списке.

Смещение, вызванное автоматизацией: недооцененный риск в повседневной клинической практике

Феномен, столь наглядно иллюстрируемый исследованием Мюнхенского университета имени Людвига Максимилиана, известен в научной литературе как «предвзятость автоматизации». Он описывает тенденцию людей следовать рекомендациям автоматизированных систем, даже когда их собственное восприятие или опыт противоречат им. Предвзятость автоматизации не является признаком некомпетентности. Это глубоко человеческая когнитивная модель, вытекающая из эволюционных эвристик: те, кто доверяет эффективным системам, экономят когнитивные ресурсы. В большинстве повседневных ситуаций это функционально. Однако в медицине это может быть фатально.

Предыдущие исследования показали, что предвзятость автоматизации значительно сильнее проявляется в условиях нехватки времени. Исследование, посвященное поддержке принятия клинических решений с помощью ИИ в патологии, показало, что, хотя интеграция ИИ привела к статистически значимому общему улучшению производительности, она одновременно привела к уровню предвзятости автоматизации в 7% — то есть к случаям, когда первоначально правильные оценки были изменены ошибочными рекомендациями ИИ. Нехватка времени не увеличила частоту предвзятости, но увеличила ее интенсивность. Параллели с радиологической практикой, где в некоторых больницах радиологи должны составлять более ста заключений за смену, очевидны.

Исследование Людвига Максимилиана показывает, что способ объяснения работы ИИ является решающим фактором в снижении этого риска. Пошаговые объяснения делают логику работы модели прозрачной и позволяют врачу сравнивать ее со своим собственным опытом — процесс, который облегчает выявление ошибок в модели и одновременно способствует активному когнитивному вовлечению, а не пассивному принятию.

Экономика объяснимости: во сколько на самом деле обходится качественный ИИ?

С экономической точки зрения, исследование Людвига Максимилиана поднимает важную дискуссию, которая часто упускается из виду в прогнозах роста рынка искусственного интеллекта в здравоохранении, основанных на рыночных факторах. Объем мирового рынка искусственного интеллекта в здравоохранении оценивался примерно в 28–39 миллиардов долларов США в 2025 году и, по прогнозам, вырастет до более чем 500 миллиардов долларов США к 2034 году, при этом ежегодные темпы роста превысят 34 процента. Однако эти цифры в основном описывают рынок продуктов ИИ, а не фактическую экономическую ценность, которую эти продукты создают в клиническом применении.

Именно здесь и кроется проблема. Систематический обзор, опубликованный в 2025 году и посвященный экономической оценке ИИ в радиологии, проанализировал более 1800 публикаций и обнаружил только 21 исследование, в которых фактически количественно оценивались затраты, экономия или экономическая эффективность инструментов ИИ. Подавляющее большинство доказательств основано на смоделированных сценариях, а не на реальных клинических внедрениях. Еще более серьезно то, что реальные данные показывают, что ИИ в радиологии не приводит к автоматической экономии средств. Экономическая ценность в значительной степени зависит от контекста: она, как правило, положительна при большом объеме исследований, нехватке радиологов или ресурсоемких задачах. Однако она может быть и отрицательной — если недостаточная специфичность приводит к увеличению количества повторных исследований или если модели лицензирования на основе использования нивелируют повышение эффективности, достигаемое при большом объеме исследований.

Объяснимость затрат на ИИ — это не просто академическая проблема роскоши, а реальная экономическая переменная. ИИ, который обеспечивает на 12,2 процентных пункта более высокую точностьsegenпри объяснении его затрат с помощью логической цепочки рассуждений, генерирует значительно большую клиническую и экономическую ценность, чем ИИ, который просто предоставляет диагноз, при условии того же качества модели. В пересчете на затраты это означает: предотвращение ошибочных диагнозов, сокращение количества последующих обследований, сокращение продолжительности лечения и снижение частоты ошибок. Преимущества реальны, даже если их трудно количественно оценить в евро, поскольку ошибочные диагнозы имеют как прямые медицинские затраты, так и косвенные издержки, связанные с длительным пребыванием в больнице, юридическими рисками и потерей доверия к системе здравоохранения.

Объяснимый искусственный интеллект как стратегическая необходимость в рамках нормативно-правовой базы

Закон ЕС об искусственном интеллекте, действующий с августа 2024 года, классифицирует почти все клинические приложения ИИ — диагностические инструменты, системы планирования терапии и приложения для цифрового мониторинга — как приложения высокого риска. Это влечет за собой обширные обязательства: техническую документацию, управление рисками и качеством, непрерывный мониторинг и четкие требования к прозрачности. С августа 2028 года, после принятия обновленного пакета мер по цифровому омнибусу, предварительно согласованного Советом и Парламентом ЕС 7 мая 2026 года, будут применяться полные требования к производителям медицинских изделий.

Основная нормативная база этих правил предельно точна: высокорискованные системы ИИ должны быть понятны пользователям. Процессы принятия решений должны быть прозрачными, а рекомендации — оспариваемыми. Нормативное требование Закона ЕС об ИИ эмпирически подтверждается исследованием Мюнхенского университета имени Людвига Максимилиана: объяснимость — это не просто требование соответствия. Это необходимое условие для безопасного использования ИИ в клинических ситуациях высокого риска. Таким образом, новые правила обязывают производителей систем ИИ в здравоохранении уделять внимание характеру и качеству своей продукции, а не только технической точности своих моделей.

С точки зрения стратегии, это создает интересную динамику рынка. Поставщики, которые серьезно относятся к своим объяснительным возможностям и инвестируют в прозрачные форматы вывода, напоминающие цепочку рассуждений, будут иметь лучшие позиции с точки зрения регулирования. В то же время они смогут продемонстрировать лучшие клинические результаты. Таким образом, конкуренция за решения на основе ИИ в здравоохранении в будущем сместится от вопроса технической точности модели к вопросу клинической применимости — это парадигматический сдвиг со значительными последствиями для всей отрасли.

Новое измерение цифровой трансформации с помощью «управляемого ИИ» (искусственного интеллекта) – платформа и B2B-решение | Xpert Consulting - Изображение: Xpert.Digital

Здесь вы узнаете, как ваша компания может быстро, безопасно и без высоких барьеров для входа внедрить индивидуальные решения на основе искусственного интеллекта.

Управляемая платформа искусственного интеллекта — это комплексное и беззаботное решение для вашего бизнеса в сфере искусственного интеллекта. Вместо того чтобы возиться со сложными технологиями, дорогостоящей инфраструктурой и длительными процессами разработки, вы получаете готовое решение, адаптированное под ваши потребности, от специализированного партнера — зачастую всего за несколько дней.

Основные преимущества с первого взгляда:

⚡ Быстрая реализация: от идеи до готового к использованию приложения за считанные дни, а не месяцы. Мы предлагаем практические решения, которые создают немедленную добавленную стоимость.

🔒 Максимальная безопасность данных: Ваши конфиденциальные данные остаются с вами. Мы гарантируем безопасную и соответствующую законодательству обработку данных без их передачи третьим лицам.

💸 Отсутствие финансового риска: вы платите только за результат. Полностью исключаются высокие первоначальные инвестиции в оборудование, программное обеспечение или персонал.

🎯 Сосредоточьтесь на своем основном бизнесе: сконцентрируйтесь на том, что у вас получается лучше всего. Мы берем на себя всю техническую реализацию, эксплуатацию и обслуживание вашего решения на основе ИИ.

📈 Перспективность и масштабируемость: ваш ИИ растет вместе с вами. Мы обеспечиваем непрерывную оптимизацию и масштабируемость, а также гибко адаптируем модели к новым требованиям.

Более подробная информация здесь:

• Управляемые решения в области ИИ — Промышленные услуги ИИ: ключ к конкурентоспособности в секторах услуг, промышленности и машиностроения

Нехватка квалифицированных кадров как катализатор некритического внедрения ИИ

Результаты исследования Мюнхенского университета имени Людвига Максимилиана приобретают особое значение в свете структурной нехватки квалифицированных специалистов в немецкой системе здравоохранения. Радиология — это специальность, которая в Германии, как и во многих других европейских странах, испытывает значительную нехватку кадров. В то же время объем диагностических исследований стремительно растет из-за постоянно увеличивающегося использования КТ, МРТ и других методов визуализации. Эта нагрузка создает ситуацию, в которой велик соблазн быстро внедрить рекомендации ИИ вместо того, чтобы критически их проанализировать.

В данном контексте предвзятость автоматизации особенно опасна. Когда врач-радиолог испытывает нехватку времени, а ИИ выдает список правдоподобно звучащих диагнозов, путь к некритическому принятию диагноза краток. Исследование Мюнхенского университета имени Людвига Максимилиана показывает, что хорошо разработанные пояснительные выводы ИИ могут этому противодействовать – но только если врачи активно читают и анализируют эти пояснения. Это требует интеграции систем ИИ в клинические рабочие процессы таким образом, чтобы оставалось достаточно времени для этой критической оценки. Те, кто внедряет ИИ лишь как инструмент ускорения, не учитывая качество взаимодействия, рискуют получить прямо противоположный желаемому результат: более быстрые, но более подверженные ошибкам диагнозы.

По оценкам Фонда Бертельсманна, Германия упускает до 16 процентов прироста производительности труда из-за недостатка экспертных знаний в области ИИ, что эквивалентно миллиардам потерянных доходов. В секторе здравоохранения этот эффект еще сложнее измерить, поскольку его значение выражается не в доходах, а в результатах лечения. Тем не менее, основная логика та же: потенциал ИИ может быть реализован только в том случае, если пользователи достаточно компетентны, чтобы критически оценивать затраты на ИИ, и если сами системы ИИ спроектированы таким образом, что критическая оценка возможна и поощряется.

Дифференциальная диагностика и обманчивое чувство безопасности

Один из наиболее тонких выводов исследования Мюнхенского университета имени Людвига Максимилиана заслуживает особого внимания, поскольку он противоречит клинической интуиции. Дифференциальная диагностика считается признаком клинической осмотрительности в медицине. Она демонстрирует, что врач рассматривает множество возможностей и не ставит диагноз преждевременно. Однако при взаимодействии с системой искусственного интеллекта именно такой результат может быть проблематичным.

Основной механизм легко объясняется с психологической точки зрения: список дифференциальных диагнозов создает впечатление, что проблема уже исчерпывающе рассмотрена. Плотность информации в этом результате высока, что сигнализирует о когнитивном облегчении. Следовательно, врачи, как правило, меньше думают за пределами перечисленных диагнозов и меньше занимаются самооценкой. Если модель в этот момент выдает ошибочные или неполные дифференциальные диагнозы — что языковые модели, безусловно, делают — вероятность принятия ошибки выше, чем при наличии одного диагноза, четко обозначенного как предварительный.

Объяснения, основанные на логической цепочке рассуждений, противодействуют этому, поскольку они явно указывают на неопределенности, раскрывают исключающие факторы и, таким образом, демонстрируют эпистемическую открытость модели. Врачи получают возможность подвергать модель сомнению, что позволяет им лучше исправлять ее недостатки.

Обобщаемость: что означает это открытие за пределами радиологии

Стефан Фойерригель, ведущий автор исследования, особо подчеркивает, что полученные результаты выходят далеко за рамки радиологии. Крупные языковые модели все чаще используются для принятия решений в повседневной жизни и на работе — в юриспруденции, финансах, управленческом консалтинге и образовании. Везде, где люди используют результаты работы ИИ в качестве основы для принятия важных решений, возникают одни и те же вопросы: следует ли мне критически оценивать рекомендацию или принимать ее из соображений эффективности? Понимаю ли я логику или полагаюсь на ИИ, потому что результат кажется правдоподобным?

Особенно важно предостережение от «убедительно звучащих ошибок». Языковые модели способны создавать объяснения, которые кажутся структурно правильными и риторически убедительными, но на самом деле неверны. Это хорошо известное явление, называемое в научной литературе «галлюцинацией», и его нельзя полностью устранить простой оптимизацией производительности моделей. Хотя пошаговые объяснения предоставляют улучшенную возможность для критического анализа, они не полностью защищают от этого риска. Ответственность за окончательное решение всегда остается за человеком.

С экономической точки зрения это можно интерпретировать как аргумент в пользу дифференцированной компетентности пользователей: те, кто хочет извлечь устойчивую выгоду из инструментов ИИ — будь то в медицине, юриспруденции или управленческом консалтинге — должны не только знать, как ими пользоваться, но и как оценивать их стоимость. Эту компетентность можно приобрести, но она требует целенаправленного обучения и повышения квалификации. Учреждения, инвестирующие в эту компетентность, будут использовать системы ИИ более эффективно, чем те, которые рассматривают ИИ как инструмент автономного принятия решений.

Объяснимый искусственный интеллект и проблема доверия: системный подход

Доверие в медицине — это не мягкий фактор, а твердая экономическая ценность. Пациенты, доверяющие своим врачам, с большей вероятностью будут следовать рекомендациям по лечению, сообщать о симптомах раньше и, как показывает практика, добиваться лучших результатов лечения. Теперь это доверие расширилось и включает в себя еще одно измерение: оно все чаще охватывает доверие к системам искусственного интеллекта, участвующим в диагностике и планировании лечения.

Концепция объяснимого ИИ — в литературе называемая XAI, Explainable Artificial Intelligence (объяснимый искусственный интеллект) — как раз и решает эту проблему доверия. Речь идёт не об упрощении моделей, а о том, чтобы сделать процессы принятия решений понятными для соответствующих групп пользователей. «Понятность» — это не абсолютное понятие: то, что является полезным пошаговым объяснением для опытного радиолога, может быть слишком подробным или вводящим в заблуждение для врача общей практики без специализации в медицинской визуализации. Поэтому XAI следует рассматривать не только с технической точки зрения, но и с учётом пользователя и контекста.

С точки зрения производителей, это означает, что разработка эффективных объяснений на основе ИИ — задача нетривиальная. Она требует глубокого понимания клинических рабочих процессов и когнитивных потребностей соответствующих групп пользователей. Объяснения, основанные на логической цепочке рассуждений, которые показали лучшие результаты в исследовании, — это не просто технический формат вывода, а результат тщательно разработанного взаимодействия. Такая разработка требует ресурсов, но она, несомненно, создает ценность — для пациентов, врачей и общества.

Нормативно-правовые обязательства и клиническая реальность: прагматический подход

Переходные периоды, предусмотренные Законом ЕС об искусственном интеллекте, дают производителям и операторам систем ИИ в здравоохранении время на адаптацию. Согласно новым правилам Цифрового комплексного пакета, крайний срок для производителей медицинских изделий — август 2028 года. Однако этот период не следует понимать как отсрочку, а скорее как структурированный переходный период, в течение которого результаты клинических исследований — таких как исследование Людвига Максимилиана — могут быть учтены при разработке продукции.

В частности, это означает для больниц и медицинского персонала следующее: оценка систем ИИ должна измерять не только техническую точностьsegen, но и качество результатов в клинической практике. При отборе следует учитывать формулировки, основанные на логической цепочке рассуждений, и аналогичные прозрачные форматы вывода. Обучение врачей работе с инструментами ИИ должно явно затрагивать вопросы предвзятости автоматизации и критического анализа рекомендаций ИИ. Наконец, системы обеспечения качества клинической помощи должны документировать внедрение рекомендаций ИИ для раннего выявления систематических ошибок.

Для разработчиков и поставщиков решений на основе ИИ в здравоохранении вывод очевиден: инвестиции в объяснимость — это не дополнительная опция. Это решающий рычаг, который превращает технически обоснованную модель в клинически эффективный и соответствующий нормативным требованиям инструмент.

Главная тема: Как люди и машины могут вместе стать умнее

Исследование Людвига Максимилиана в конечном итоге вносит вклад в более широкий вопрос, выходящий далеко за рамки радиологии и медицины: как следует проектировать системы искусственного интеллекта, чтобы они дополняли человеческое мышление, а не заменяли его или — что еще хуже — подрывали его? Ответ: посредством прозрачности, отслеживаемости и активного поощрения критического анализа.

Это не просто романтический идеал с технической точки зрения. Это эмпирически доказанный, экономически обоснованный и этически императивный принцип проектирования. В системе здравоохранения, испытывающей растущее давление со стороны требований к производительности, зависящей от цифровых инструментов и одновременно требующей соответствия самым высоким стандартам качества, вопрос «Как ваш ИИ объясняет свои рекомендации?» вскоре может стать самым важным вопросом закупок в клинической практике.

Хороший ответ ИИ не только корректен, но и поддается проверке. Те, кто последовательно воплощает этот принцип в разработке, приобретении и внедрении систем ИИ, не только добьются лучших результатов в медицине, но и завоюют доверие, в котором остро нуждается глубокая цифровизация здравоохранения – доверие врачей, пациентов и общества в целом.

Практически внутреннее решение: как Xpert.Digital устраняет операционные пробелы в B2B-маркетинге и продажах – Умный бизнес, основанный на контенте - Изображение: Xpert.Digital

Xpert.Digital — это ориентированный на данные B2B-индустрионный центр, возглавляемый Konrad Wolfenstein . Компания выступает в качестве внешнего, частично внутреннего решения для отраслевых партнеров, устраняя операционные пробелы в маркетинге, контенте и продажах — без необходимости привлечения дополнительных ресурсов со стороны клиента.

Более подробная информация здесь:

• Практически внутреннее решение: как Xpert.Digital устраняет операционные пробелы в B2B-маркетинге и продажах – Smart Content-Driven Business

☑️ Язык ведения нашего бизнеса — английский или немецкий

☑️ НОВИНКА: Переписка на вашем родном языке!

Konrad Wolfenstein

Я и моя команда будем рады быть вашими личными консультантами.

Вы можете связаться со мной, заполнив контактную форму здесь [email protected]:или просто позвонив по номеру +49 7348 4088 965. Мой адрес электронной почты

Я с нетерпением жду начала нашего совместного проекта.

☑️ Поддержка малых и средних предприятий в области стратегии, консалтинга, планирования и реализации проектов

☑️ Разработка или корректировка цифровой стратегии и цифровизации

☑️ Расширение и оптимизация международных процессов продаж

☑️ Глобальные и цифровые торговые платформы B2B

☑️ Развитие бизнеса / Маркетинг / PR / Выставки от компании Pioneer