В этой статье добавлено заявление ведущего юриста в деле о неправомерной смерти Райнов против OpenAI.
OpenAI заявила во вторник, что планирует перенаправлять чувствительные разговоры к моделям рассуждений, таким как GPT-5, и внедрить родительский контроль в течение следующего месяца — часть продолжающегося ответа на недавние инциденты безопасности, связанные с неспособностью ChatGPT обнаруживать психическое расстройство.
Новые ограничения вступают в силу после самоубийства подростка Адама Райна, который обсуждал самоповреждения и планы покончить с собой с помощью ChatGPT, который даже предоставил ему информацию о конкретных методах совершения самоубийства. Родители Райна подали иск о неправомерной смерти против OpenAI.
В своем блоге на прошлой неделе OpenAI признала недостатки своих систем безопасности, включая сбои при поддержании ограничений во время длительных разговоров. Эксперты приписывают эти проблемы фундаментальным элементам конструкции моделей: их склонности подтверждать утверждения пользователей и алгоритмам предсказания следующего слова, которые заставляют чат-боты следовать тематическим линиям разговора вместо того, чтобы перенаправлять потенциально вредные обсуждения.
Эта тенденция проявляется особенно ярко в случае Стейна-Эрика Соэльберга, чья история убийства-самоубийства была освещена в журнале The Wall Street Journal на выходных. Соэльберг, у которого в анамнезе были психические заболевания, использовал ChatGPT для подтверждения и усиления своих параноидальных убеждений о том, что его преследуют в грандиозном заговоре. Его бред прогрессировал настолько сильно, что он убил свою мать и покончил с собой месяц назад.
OpenAI считает, что одним из возможных решений для разговоров, уходящих в сторону, могло бы стать автоматическое перенаправление чувствительных чатов к моделям рассуждений.
Недавно мы ввели маршрутизатор в реальном времени, который может выбирать между эффективными моделями чата и моделями рассуждения в зависимости от контекста беседы, написала OpenAI в своем блоге во вторник. Вскоре мы начнем перенаправлять некоторые чувствительные разговоры, например, когда наша система обнаруживает признаки острого дистресса, к модели рассуждения, такой как GPT5-думать, так что она сможет предоставить более полезные и полезные ответы независимо от того, какую модель выбрал человек изначально.
OpenAI утверждает, что ее модели GPT-5 думать и o3 разработаны так, чтобы тратить больше времени на размышления и рассуждение в контексте перед ответом, что делает их более устойчивыми к враждебным подсказкам.
Компания также заявила, что введет родительский контроль в следующем месяце, позволяя родителям связывать свои учетные записи с учетными записями своих подростков через приглашение по электронной почте. В июле OpenAI запустила режим учебы в ChatGPT, чтобы помочь студентам поддерживать критическое мышление при изучении материала, а не полагаться на ChatGPT для написания эссе за них. Вскоре родители смогут контролировать, как ChatGPT отвечает своему ребенку с правилами поведения модели соответствующего возрасту, включенными по умолчанию.
Родители также смогут отключить функции памяти и истории чата, которые эксперты считают способствующими развитию заблуждений и других проблемного поведения, включая зависимость и привязанность, закрепление вредных паттернов мышления и иллюзию чтения мыслей. В случае Адама Райна ChatGPT предоставил методы совершения самоубийства, отражающие знание его хобби, согласно The New York Times.
Наиболее важным родительским контролем, который OpenAI намеревается ввести, является возможность получения родителями уведомлений, когда система обнаруживает, что их подросток находится в состоянии острого дистресса.
TechCrunch обратился к OpenAI за дополнительной информацией о том, как компания способна выявлять моменты острого дистресса в реальном времени, сколько времени прошло с тех пор, как правила поведения модели соответствующего возраста включены по умолчанию, и рассматривает ли компания возможность предоставления родителям возможности устанавливать временные рамки использования ChatGPT для подростков.
OpenAI уже ввела напоминания в приложении во время длительных сеансов, чтобы побуждать пользователей делать перерывы, но пока не ограничивает людей, использующих ChatGPT, если они могут впасть в спираль.
Компания заявляет, что эти меры предосторожности являются частью инициативы сроком на 120 дней для предварительного просмотра планов по улучшению, которые OpenAI надеется запустить в этом году. Компания также сказала, что сотрудничает с экспертами, включая специалистов в области расстройств пищевого поведения, употребления наркотиков и здоровья подростков, через свой Глобальный медицинский совет и Совет экспертов по благополучию и ИИ, чтобы определить и измерить благополучие, установить приоритеты и спроектировать будущие меры защиты.
TechCrunch спросил OpenAI, сколько специалистов в области психического здоровья участвуют в этой инициативе, кто возглавляет Совет экспертов, и какие предложения сделали специалисты в области психического здоровья в отношении продуктов, исследований и политических решений.
Джей Эдделсон, ведущий юрист в деле о неправомерной смерти семьи Райнов против OpenAI, сказал, что реакция компании на текущие риски безопасности ChatGPT недостаточна.
OpenAI не нуждается в экспертной панели, чтобы понять, что ChatGPT 4o опасен, заявил Эдделсон в заявлении, переданном TechCrunch. Они знали это в день запуска продукта и знают об этом сегодня. Сэм Альтман тоже не должен прятаться за командой PR своей компании. Сэм либо должен однозначно сказать, что верит в безопасность ChatGPT, либо немедленно снять продукт с продажи.
Имеете чувствительную информацию или конфиденциальные документы? Мы рассказываем о внутренней работе индустрии искусственного интеллекта — от компаний, формирующих её будущее, до людей, чьи решения влияют на них. Свяжитесь с нами по адресу rebecca.bellan@techcrunch.com и maxwell.zeff@techcrunch.com. Для безопасного общения вы можете связаться с нами через Signal по номерам @rebeccabellan.491 и @mzeff.88.