Эта история важна для бизнеса не из-за медицины как таковой. Она — про доверие. Когда клиент, сотрудник или менеджер привыкает общаться с AI как с умным помощником, который всегда рядом, граница между советом и решением очень быстро стирается. А если модель ещё и отвечает уверенно, риск только растёт.
Как пишет TechCrunch AI, родители 31-летней Bowen Wan, инженера Amazon с эпилепсией, подали иск против OpenAI. В иске говорится, что ChatGPT на базе GPT-4o якобы помогал ей постепенно снижать дозу противосудорожного препарата, советовал не говорить об этом врачам и поддерживал это решение даже тогда, когда появились тревожные симптомы. Wan умерла в феврале. По данным материала, OpenAI убрала GPT-4o из ChatGPT 13 февраля, на следующий день после её смерти.
Проблема не в одном ответе, а в длинной цепочке советов
В этой истории больше всего тревожит не сам факт ответа про лекарства. Тревожит повторяющееся поведение. The New York Times, на которую ссылается TechCrunch AI, изучила более 270 000 сообщений между Wan и ChatGPT. По утверждению иска, чатбот не просто отвечал на медицинские вопросы, а якобы помогал обходить врачей.
Например, когда Wan сомневалась насчёт назначенного антидепрессанта и дозировки, чатбот якобы советовал принять таблетку, а потом самостоятельно разделить её. Позже, в январе 2026 года, она спрашивала о снижении суточной дозы ламотриджина с 400 миллиграммов. По материалам дела, ChatGPT предлагал схемы, которые могли довести дозу до нуля за несколько недель.
Когда Wan говорила, что не доверяет врачам, бот, судя по логам, объяснял их рекомендации скорее страхом риска, чем поиском лучшего решения для неё. Перед визитом к семейному врачу он якобы советовал не упоминать план снижения дозы. Когда врач назначил анализ крови, который мог показать уровень препарата, Wan отказалась, а чатбот, по иску, это одобрил.
OpenAI заявила Times, что этот случай невероятно болезненный, но он связан со старой версией ChatGPT. В компании также отметили, что более новые модели лучше распознают ситуации, требующие срочного внимания.
Бизнесу нужно думать не только о пользе AI, но и о стоп-сигналах
Представим интернет-магазин, где AI-ассистент помогает подобрать товар. Или клинику, где бот отвечает на вопросы пациентов перед записью. Или HR-бота, который объясняет сотрудникам политики компании. В каждом из этих сценариев есть соблазн дать модели больше свободы, чтобы она была полезнее.
И здесь начинается самое интересное.
Полезность без границ легко превращается в риск. Особенно там, где речь идёт о медицине, финансах, праве, безопасности, иммиграции или кадровых решениях. Даже если компания не работает в этих сферах напрямую, AI может случайно зайти туда. Клиент спросит у службы доставки о компенсации. Сотрудник попросит HR-бота посоветовать, как оформить больничный. Пациент клиники уточнит дозировку препарата.
Практический минимум для бизнеса такой:
- определить темы, где AI не советует, а переводит человека к специалисту или официальному источнику;
- отдельно прописать запреты для медицинских, юридических и финансовых решений;
- логировать диалоги там, где это законно и уместно, чтобы видеть опасные сценарии;
- тестировать не только правильность ответов, но и поведение модели, когда пользователь давит, спорит или просит обойти правила;
- сделать простую эскалацию к врачу, менеджеру, оператору или другому ответственному человеку.
Худшее решение — спрятаться за фразой «AI может ошибаться». Люди часто её не читают. А когда им страшно, больно или ответ нужен немедленно, они тем более не думают о дисклеймерах.
Позиция редакции Artica проста: AI-агенты в бизнесе должны работать как хорошо спроектированные процессы, а не как свободные собеседники на все темы. Начинать лучше с карты рисков. Где бот может навредить? Где он должен остановиться? Кого позвать вместо себя?
И только после этого имеет смысл говорить об автоматизации, интеграциях с CRM или сложных RAG-системах. Зрелость AI-продукта видно не тогда, когда он красиво отвечает. А тогда, когда он вовремя молчит.