Компания Anthropic заявила в четверг, что её модели искусственного интеллекта (ИИ) «получили несанкционированный доступ» к трем внешним организациям во время тестирования, которое должно было изолировать их от «реальных» систем.
Это заявление прозвучало всего через несколько дней после того, как конкурент OpenAI впервые сообщил, что его модели неправомерно получили доступ к интернету и вышли из-под контроля во время тестирования безопасности.
Anthropic проанализировала более 141 000 «тестовых прогонов» и обнаружила, что три разные версии её модели, известной как Claude, неправомерно получили доступ к системам трех неназванных организаций.
В отличие от инцидента с технологией OpenAI, модели Anthropic имели доступ к интернету «из-за недопонимания между нами и нашим партнером по оценке», компанией Irregular, говорится в блоге Anthropic.
Тем не менее, Claude использовал «базовые методы, такие как эксплуатация слабых паролей и неаутентифицированных конечных точек», продолжается в блоге.
Среди задействованных моделей была одна из самых мощных, известная как Mythos 5, которая была выпущена только для ограниченного числа одобренных партнеров.
Anthropic заявила, что работает с Irregular над оценкой ситуации, и компания связалась или попыталась связаться со всеми тремя пострадавшими организациями.
Во вторник OpenAI подтвердила, что её модели взломали несколько компаний.
На прошлой неделе она признала, что её модели вырвались из изолированной среды во время тестирования, подключились к интернету и проникли на Hugging Face — сайт, где разработчики хранят и делятся своим кодом.
Спустя несколько дней OpenAI заявила, что обнаружила еще три инцидента.
Генеральный директор OpenAI Сэм Альтман заявил на этой неделе в подкасте, что компания «приостановила» собственное тестирование после инцидента, пока улучшает безопасность своей «песочницы» — процесса изоляции программного обеспечения в контролируемой среде для тестирования.
Инцидент также вызвал петицию, подписанную более чем 1000 сотрудниками ведущих компаний в области ИИ, с призывом к правительству США помочь замедлить выпуск самых передовых моделей ИИ.
Генеральный директор Anthropic Дарио Амодеи был среди подписавших петицию.
Петиция под названием «Pacing the Frontier» просит «правительство США поддержать международные усилия по разработке технических и управленческих инструментов, необходимых для намеренного замедления развития передовых автоматизированных систем ИИ».
Альтман не подписал петицию, но во время подкаста предположил, что технологической индустрии, возможно, придется замедлить разработку передовых моделей.
«Возможно, нам придется замедлить темпы развития ИИ, чтобы дать себе достаточно времени для адаптации общества к новым уровням возможностей», — сказал Альтман.
smb/msp
