Почему одному ChatGPT нельзя доверять клинику
Коротко: один чат-бот в клинике опасен не потому что «глупый». Он опасен потому что уверенно выдумывает – выдаёт неверное так же гладко, как верное. На потоке врач это не отлавливает. Поэтому «чатик над ChatGPT», который вам предлагают «для галочки», не приживается: им просто перестают пользоваться. Решение не в том, чтобы «написать промпт получше». Решение в другой архитектуре: несколько ИИ проверяют друг друга, а финальное слово остаётся за врачом.
Что такое «галлюцинация» простыми словами
Большая языковая модель не «знает» факты. Она предсказывает следующее слово. Поэтому иногда она выдаёт правдоподобную выдумку с той же уверенностью, что и правду. В быту это мелочь. В клинике – риск.
Это не моё мнение, это консенсус исследований. В обзорах прямо пишут: галлюцинации «остаются главным барьером для клинического применения» LLM [arXiv, 2025]. Отдельные работы строят целые таксономии медицинских ошибок ИИ и измеряют их частоту [Nature npj Digital Medicine, 2025; medRxiv, 2025].
Почему «обёртка над ChatGPT» – это тупик
Большинство «ИИ для клиник» на рынке устроены одинаково: один запрос к одной модели через чужой облачный API. У такого подхода три проблемы сразу:
- Один проход – никто не проверяет. Модель ответила, и всё. Нет второго мнения, нет сверки. Ошибка уходит к врачу как есть.
- Данные уходят наружу. Запрос с данными пациента летит в чужое облако. Для российской клиники это вопрос к 152-ФЗ и врачебной тайне.
- Врач быстро перестаёт доверять. Один раз поймав выдумку, врач закрывает инструмент и возвращается к ручной работе. Вы заплатили, а пользы ноль.
Поэтому «у нас тоже есть ИИ» в исполнении многих вендоров – это галочка, а не инструмент.
Как сделать так, чтобы ИИ можно было доверить рутину
Надёжность берётся не из «модели поумнее», а из устройства системы. Три принципа:
- Несколько ИИ-агентов вместо одного. Они разбирают задачу с разных сторон и проверяют друг друга (мультиагентная верификация). Это резко снижает шанс, что выдумка одного пройдёт дальше.
- Врач принимает решение. ИИ готовит черновик с пометкой «проверьте». Врач – не зритель, а тот, кто решает и подписывает. Это и безопасно, и держит продукт вне категории «медизделие».
- Данные остаются в клинике. Система работает на ваших серверах (on-prem), запросы с данными пациентов не уходят наружу.
Честно: полностью исключить ошибку ИИ нельзя – это свойство технологии. Но можно построить систему, где ошибка ловится на проверке, а решение всё равно за человеком. Разница как между одним стажёром и консилиумом под контролем главного врача.
Что спросить у любого вендора ИИ (короткий тест)
- Это один запрос к модели или несколько агентов с проверкой?
- Данные пациентов уходят в облако или остаются в клинике?
- Кто принимает решение – ИИ или врач?
- Что вы делаете с галлюцинациями? («Ничего» или «у нас не бывает» – плохой ответ.)
Если на первый вопрос отвечают «один промпт, но хороший» – перед вами обёртка.
Итог
ИИ бывает разный. Бывает чатик сбоку для галочки, которому нельзя доверять. А бывает клинический ко-пилот, построенный вокруг проверки и контроля врача. Это не «лучше» – это другой класс. Доверять рутину можно только второму.
Источники
- arXiv (2025), CHECK – «hallucinations remain a major barrier to clinical use»: arxiv.org/html/2506.11129v1
- Nature, npj Digital Medicine (2025) – framework для оценки клинической безопасности и частоты галлюцинаций LLM: nature.com/articles/s41746-025-01670-7
- medRxiv (2025) – «Medical Hallucination in Foundation Models»: medrxiv.org/content/10.1101/2025.02.28.25323115v1.full
- PMC – «The Clinicians' Guide to Large Language Models» (причины галлюцинаций + клинические последствия): pmc.ncbi.nlm.nih.gov/articles/PMC11815294/
Фактчек: тезис о галлюцинациях и их роли как барьера для клиники подтверждён рецензируемыми источниками (проверено 2026-06-22). Заявление «вне медизделия» – позиционирование, требует юр-подтверждения под конкретные функции.