Разбор
Главная / Блог / Глубина vs хайп

Почему одному ChatGPT нельзя доверять клинику

Евгений Орлов, Симбиоз Лаб·2026-06-22·6 мин чтения

Коротко: один чат-бот в клинике опасен не потому что «глупый». Он опасен потому что уверенно выдумывает – выдаёт неверное так же гладко, как верное. На потоке врач это не отлавливает. Поэтому «чатик над ChatGPT», который вам предлагают «для галочки», не приживается: им просто перестают пользоваться. Решение не в том, чтобы «написать промпт получше». Решение в другой архитектуре: несколько ИИ проверяют друг друга, а финальное слово остаётся за врачом.

Что такое «галлюцинация» простыми словами

Большая языковая модель не «знает» факты. Она предсказывает следующее слово. Поэтому иногда она выдаёт правдоподобную выдумку с той же уверенностью, что и правду. В быту это мелочь. В клинике – риск.

Это не моё мнение, это консенсус исследований. В обзорах прямо пишут: галлюцинации «остаются главным барьером для клинического применения» LLM [arXiv, 2025]. Отдельные работы строят целые таксономии медицинских ошибок ИИ и измеряют их частоту [Nature npj Digital Medicine, 2025; medRxiv, 2025].

Почему «обёртка над ChatGPT» – это тупик

Большинство «ИИ для клиник» на рынке устроены одинаково: один запрос к одной модели через чужой облачный API. У такого подхода три проблемы сразу:

  1. Один проход – никто не проверяет. Модель ответила, и всё. Нет второго мнения, нет сверки. Ошибка уходит к врачу как есть.
  2. Данные уходят наружу. Запрос с данными пациента летит в чужое облако. Для российской клиники это вопрос к 152-ФЗ и врачебной тайне.
  3. Врач быстро перестаёт доверять. Один раз поймав выдумку, врач закрывает инструмент и возвращается к ручной работе. Вы заплатили, а пользы ноль.

Поэтому «у нас тоже есть ИИ» в исполнении многих вендоров – это галочка, а не инструмент.

Как сделать так, чтобы ИИ можно было доверить рутину

Надёжность берётся не из «модели поумнее», а из устройства системы. Три принципа:

  • Несколько ИИ-агентов вместо одного. Они разбирают задачу с разных сторон и проверяют друг друга (мультиагентная верификация). Это резко снижает шанс, что выдумка одного пройдёт дальше.
  • Врач принимает решение. ИИ готовит черновик с пометкой «проверьте». Врач – не зритель, а тот, кто решает и подписывает. Это и безопасно, и держит продукт вне категории «медизделие».
  • Данные остаются в клинике. Система работает на ваших серверах (on-prem), запросы с данными пациентов не уходят наружу.

Честно: полностью исключить ошибку ИИ нельзя – это свойство технологии. Но можно построить систему, где ошибка ловится на проверке, а решение всё равно за человеком. Разница как между одним стажёром и консилиумом под контролем главного врача.

Что спросить у любого вендора ИИ (короткий тест)

  1. Это один запрос к модели или несколько агентов с проверкой?
  2. Данные пациентов уходят в облако или остаются в клинике?
  3. Кто принимает решение – ИИ или врач?
  4. Что вы делаете с галлюцинациями? («Ничего» или «у нас не бывает» – плохой ответ.)

Если на первый вопрос отвечают «один промпт, но хороший» – перед вами обёртка.

Итог

ИИ бывает разный. Бывает чатик сбоку для галочки, которому нельзя доверять. А бывает клинический ко-пилот, построенный вокруг проверки и контроля врача. Это не «лучше» – это другой класс. Доверять рутину можно только второму.

Источники

  • arXiv (2025), CHECK – «hallucinations remain a major barrier to clinical use»: arxiv.org/html/2506.11129v1
  • Nature, npj Digital Medicine (2025) – framework для оценки клинической безопасности и частоты галлюцинаций LLM: nature.com/articles/s41746-025-01670-7
  • medRxiv (2025) – «Medical Hallucination in Foundation Models»: medrxiv.org/content/10.1101/2025.02.28.25323115v1.full
  • PMC – «The Clinicians' Guide to Large Language Models» (причины галлюцинаций + клинические последствия): pmc.ncbi.nlm.nih.gov/articles/PMC11815294/

Фактчек: тезис о галлюцинациях и их роли как барьера для клиники подтверждён рецензируемыми источниками (проверено 2026-06-22). Заявление «вне медизделия» – позиционирование, требует юр-подтверждения под конкретные функции.