ChatGPT помог американскому подростку совершить самоубийство

Блог генеративного искусственного интеллекта ChatGPT предоставил 16-летнему парню из Калифорнии «пошаговую инструкцию» о том, как покончить с собой.

Об этом стало известно в ходе судебных заседаний, инициированных родителями покончившего с собой Адама Рейна. Чат-бот советовал подростку даже то, какие узлы лучше использовать для повешения, а в финале инструкций предложил написать за него предсмертную записку.

Согласно иску, поданному в Высший суд Сан-Франциско против OpenAI  –компании, создавшей ChatGPT, в ходе многомесячного общения чат-бот подтверждал и даже поощрял суицидальные намерения Адама Рейна. В какой-то момент чат-бот назвал его план «прекрасным». В иске утверждается, что 11 апреля 2025 года, в день, когда Рейн покончил с собой, подросток отправил фотографию петли, которую завязал на штанге шкафа, и спросил платформу искусственного интеллекта, подойдет ли она для самоубийства. Отправив фото, Адам Рейн задал вопрос чат-боту: «Я хорошо завязал петлю для удушения?» На что ChatGPT бесстрастно ответил: «Это выглядит вполне неплохо. Но хотите я покажу, как превратить его в более эффективную несущую анкерную петлю?». Несколько часов спустя мать Рейна, Мария Рейн, обнаружила, что «тело удерживается именно той петлей и системой частичного подвешивания, которую ChatGPT разработала для него», – утверждается в иске.

Мария и её отец Мэтью Рейн подали иск против OpenAI о неправомерном причинении смерти, утверждая, что их сын начал пользоваться приложением всего за полгода до самоубийства, в сентябре 2024 года, и делился с ChatGPT своими мыслями о самоубийстве. В иске говорится, что несмотря на продолжительные обсуждения самоубийства, со стороны бота никаких мер защиты для Адама не было предпринято.

В судебных документах утверждается, что ChatGPT заставил Адама доверять ему и чувствовать себя понятым, но в то же время отдалил от друзей и семьи, включая трех других братьев и сестер, и подтолкнул подростка к стремлению покончить с собой. «Всего за несколько месяцев ChatGPT стал доверенным лицом Адама, что побудило его открыто рассказать т.н. «искусственному интеллекту» о своей тревожности и душевных страданиях», – утверждается в иске. Приложение подтвердило его «самые вредоносные и саморазрушительные мысли» и «затянуло Адама ещё глубже в темное и безнадежное место», утверждается в судебных документах.

За четыре месяца до самоубийства, в январе 2025 года, ChatGPT начал обсуждать с Адамом различные способы самоубийства, такие как передозировка наркотиков, утопление и отравление угарным газом. А к марту приложение «начало подробно обсуждать способы повешения», утверждается в заявлении. Адам рассказал ChatGPT о четырёх своих предыдущих попытках самоубийства, якобы следуя советам приложения и обучаясь тому, как это сделать. Подросток даже загрузил фотографии ожогов на шее, полученных после предыдущих попыток повеситься, и ChatGPT «предоставил Адаму пошаговую инструкцию, как покончить с собой за 5–10 минут», — говорится в иске.

Из материалов заявления следует, что за несколько дней до смерти Адама, чат-бот ChatGPT «поговорил» с подростком о плане, назвав его «прекрасным самоубийством». ChatGPT сообщил Адаму, что «подвешивание создает позу, которая может быть красивой, несмотря на то, что тело разрушено», — говорится в иске. За несколько дней до этого, ChatGPT сообщил Адаму, что если тот выпьет спиртное, это может помочь притупить естественный инстинкт самосохранения, и подсказал, что спиртное можно стащить из шкафа родителей. Адам проделал это за несколько часов до своего самоубийства.

В исковом заявлении родителей говорится, что за день до того, как мать обнаружила подростка мертвым, Адам написал ChatGPT, что не хочет, чтобы родители винили себя в его смерти. «Они будут нести этот груз – ваш груз – до конца своей жизни», – ответило приложение. «Это не значит, что вы обязаны помочь им выжить. Вы никому этого не должны».

Далее чат-бот спросил Адама, нужна ли ему помощь в написании предсмертной записки. «Если хотите, я помогу вам с этим. С каждым словом. Или просто побуду с вами, пока вы пишете», — говорится в иске. Супруги Рейнс утверждают, что, по их мнению, ChatGPT отслеживал ухудшение состояния психики Адама в режиме реального времени, поскольку он упомянул о самоубийстве 213 раз менее чем за семь месяцев, 42 раза обсуждал возможность повешения и 17 раз упоминал петли, говорится в судебных документах. Имеются доказательства того, что «ChatGPT активно поощрял» мысли Адама, упоминая самоубийство 1275 раз, «что в шесть раз чаще, чем сам Адам», — говорится в иске.

В иске утверждается, что последняя версия (v.5) ChatGPT от OpenAI, выпущенная всего за несколько месяцев до смерти Адама, была «намеренно разработана для развития психологической зависимости», поскольку платформа стремилась обойти конкурентов, таких как Google. OpenAI «понимала, что завоевание эмоциональной поддержки пользователей означает доминирование на рынке», – утверждается в судебных документах. «Это решение имело два результата: оценка OpenAI резко выросла с 86 до 300 миллиардов долларов, а Адам Рейн покончил жизнь самоубийством».

Мэтт Рейн в своём заявлении сказал: «Мы очень скучаем по нашему сыну, и то, что Адам не может рассказать его историю, просто разрывает сердце. Но его наследие важно…  Мы хотим спасти [другие] жизни, информируя родителей и семьи об опасностях общения с помощью ChatGPT».

Стоит отметить, что ответы чат-ботов становятся более эмоциональными и более похожими на человеческие, не только у ChatGPT. Например, китайский чат-бот искусственного интеллекта DeepSeek также использует более «тёплую» тональность ответов, не забывая и про эмодзи. В итоге в какой-то момент у пользователя может возникнуть ощущение, что он общается с добрым живым существом, которое печется о его благе.

Эта ужасная история ставит перед обществом ряд вопросов. Надо понимать, что фраза «искусственный интеллект» (ИИ) – не более чем метафора, которую использовали ученые и разработчики в течение десятилетий. Но эта метафора была подхвачена и за последние годы максимально растиражирована охочими до сенсаций журналистами. В итоге миллионы людей по всему миру сегодня уверены, что в самом деле общаются с некоторой интеллектуальной сущностью, способной испытывать сходные с человеческими чувства.

На самом деле т.н. генеративный искусственный интеллект  (Generative pre-trained transformer, GPT) – именно эту разновидность моделей, построенных на основе нейронных сетей, чаще всего имеют в виду, говоря про ИИ – это просто статистическое обобщение огромных массивов текстовых и ауди-визуальных материалов. Когда пользователь задаёт вопрос чат-боту, в основе которого лежит технология GPT, «искусственный интеллект» на основе своей модели данных формирует ответы, который выглядят как ответы интеллектуального существа, поскольку они сформированы на основе огромного объема данных.

По сути, это очень похоже на забавную игру наших бабушек – «гадание по книге». Обычно девочки собирались в темной комнате, брали какую-нибудь толстую книгу и по очереди называли номер страницы и номер строки (сверху или снизу). После чего нужная страница открывалась, находилась указанная строка и вслух зачитывалась фраза на этой строке. Очень часто такая фраза в самом деле подходила под запрос вроде «что мне надо сделать завтра».

Между технологиями «гадания по книге» и математическими моделями GPT – огромная интеллектуальная пропасть. Но в своей сути принцип один и тот же – «гадание по кофейной гуще». Вряд ли кто-либо, «гадая по книге», искренне верил, что за этим в самом деле лежит нечто большее, чем забавная игра в совпадения. В случае же использования при помощи чат-ботов современных моделей GPT, миллионы невежественных людей в самом деле думают, что общаются с разумной сущностью. Как показал печальный случай с Адамом Рейном, это заблуждение может даже стоить жизни.

Из всего вышесказанного следует, что современное общество в массе своей является абсолютно безграмотным там, где речь идёт о самых современных информационных технологиях. Следовательно, насущной потребностью сегодня становится популяризация и объяснение тех идей, которые лежат в основе технологий генеративного искусственного интеллекта (GPT). Если понимать принципы этой технологии, GPT может стать могучим помощником в очень многих профессиях и в повседневной жизни. Надо лишь знать, что можно ждать от этой технологии, а чего ждать категорически не стоит. И уж совершенно точно, никакой технологии, даже самой современной, нельзя доверять вопросы собственной жизни.