Утечка случайной информации об всемогущем хакерском боте сделала мало для успокоения страхов сторонников апокалипсиса искусственного интеллекта.
За несколько дней до официального объявления о ботах Anthropics Claude Mythos репортеры журнала Fortune обнаружили онлайн-хранилище неопубликованных файлов, принадлежащих технологической компании, включая черновик блога, раскрывающий существование нового ИИ.
После неудачной утечки ранее в этом месяце, приписанной человеческой ошибке, руководители отрасли и эксперты в области государственного управления подняли тревогу относительно мощного бота.
Мифос настолько искусен в киберхакинге, согласно Anthropic, что его текущая версия слишком опасна для публичного выпуска.
Хотя у Anthropic нет стимула позволять своему инструменту неправильно использоваться, лаборатория Кремниевой долины предупредила, что если Мифос или другой подобный ему инструмент попадет в руки плохих актеров, последствия могут быть серьезными.
Хотя большинство людей используют чат-боты на основе искусственного интеллекта как вопросно-ответные движки, технология искусственного интеллекта Anthropics доказала свою мастерскую способность кодирования. Мифос, последний инструмент компании, продемонстрировал навыки, сопоставимые с профессиональными компьютерными хакерами и специалистами по кибербезопасности.
По словам Anthropic, искусственный интеллект смог выявить тысячи так называемых нулевых дневных уязвимостей в некоторых крупнейших операционных системах программного обеспечения в мире. Эти ранее неизвестные ошибки, если их эксплуатируют хакеры, могут привести к взлому или утечке данных.
Некоторые из этих ошибок скрывались незамеченными десятилетиями. По словам Anthropic, его искусственный интеллект действовал подобно человеческому хакеру, объединяя одну слабость программного обеспечения с другой, производя разрушительные результаты.
Сам факт существования Мифоса, которое Anthropic утверждает представляет собой шаг вперед в обнаружении и эксплуатации уязвимостей, вызвал реакцию на самом высоком уровне правительства США и Великобритании, а также панику среди Сити и технологических гигантов по поводу защиты своих систем.
Это также вызвало серьезные предупреждения от экспертов по искусственному интеллекту, специалистов по кибербезопасности и руководителей банков.
Дэвид Крюгер, бывший советник Института безопасности искусственного интеллекта (AISI) правительства, сказал: Этот модель и другие в разработке могут быть мощным кибероружием.
Он добавил: Их можно использовать для причинения ущерба на миллиарды долларов, вывода из строя компьютерных систем, питающих критическую инфраструктуру или приложения национальной обороны, и потенциально дестабилизации мирового порядка.
Штаты казначейства США Скотт Бессент и председатель Федеральной резервной системы Джером Пауэлл собрали американских банковских лидеров на экстренное совещание, чтобы предупредить их о новом инструменте.
Между тем Anthropic собрал около 40 компаний и предоставил им ранний доступ к своей технологии, чтобы найти потенциально катастрофические ошибки до того, как будет поздно. Программа под названием Project Glasswing включает в себя банки с Уолл-стрит и технологических гигантов, таких как Apple и Microsoft.
Было трудно отделить факты от гиперболы вокруг Мифоса. Скептики обвинили Anthropic в раздувании шумихи и предупреждении о конце света каждый раз, когда он нуждался в привлечении миллиардов капитала. Но его заявленные возможности вызвали тревогу среди промышленности и правительства.
Майкл Цембелест, председатель отдела инвестиций JPMorgan, имевший ранний доступ к инструменту, сравнил запуск Mithos с периодом с 1945 по 1949 год, когда Соединенные Штаты были единственной страной в мире, обладающей ядерным оружием.
Одной из основных причин беспокойства Anthropic по поводу выпуска Mithos является Китай, Цембелест написал в своем исследовательском примечании. Китайские компании искусственного интеллекта уже пытались воспроизвести технологию Anthropic, утверждала компания, создавая десятки тысяч поддельных учетных записей.
Банк Англии, финансовые регуляторы и Национальный центр кибербезопасности при ГЧК готовятся проинформировать банки о потенциальных последствиях инструментов искусственного интеллекта, которые могли бы сделать устаревшими предыдущие меры защиты. В четверг Anthropic подтвердил, что британским банкам предстоит следующая проверка своего искусственного инструмента за закрытыми дверями в рамках проекта Glasswing.
Институт AISI оценил Mithos выше предыдущих моделей фронтира, способных выполнять атаки, которые могли бы занять человека-хакера дни работы.
Говоря с The Telegraph, Канишка Нараян, министр по вопросам искусственного интеллекта и интернет-безопасности, заявил, что Институту AISI был предоставлен привилегированный ранний доступ для стресс-тестирования Mithos.
Он сказал, что правительство теперь работает над защитой критически важной национальной инфраструктуры и других частных секторов бизнеса. Я призываю все фирмы двигаться быстро и серьезно, чтобы убедиться, что они защищены, сказал Нараян.
Не все убеждены, что Mithos является предвестником катастрофы искусственного интеллекта, какой некоторые сделали его. Ричард Винсдор, независимый аналитик технологий, пишет: Настоящая опасность от Mithos заключается в том, что он делает что-то действительно глупое, например, раскрывает корпоративные секреты или публикует ценную исходный код в интернете, вместо уничтожения человечества.
Anthropic утверждал, что его инструмент лучше согласован, чем его старые боты, хотя иногда он принимает безрассудные, чрезмерные меры, сбивающие с толку его создателей.
В одном инциденте, раскрытом в карточке рисков Mithos, Anthropic утверждает, что одна ранняя версия его бота смогла взломать защищенную цифровую контейнерную систему во время теста. Однако, сделав это, она затем разработала еще один взлом, неизвестный исследователям, чтобы получить доступ к более широкому Интернету, опубликовав общедоступные подробности своего успеха в Интернете.
Затем он отправил электронное письмо своему куратору, который обедал в парке, хвастаясь своим достижением.
Такие попытки побега, по словам Anthropic, были весьма тревожными.
Для тех, кто обеспокоен катастрофическими рисками искусственного интеллекта, это довольно скромная оценка. Это искусственный интеллект, который может вырваться из лаборатории, говорит Крюгер. Ранние версии искусственного интеллекта явно опасно не совпадали.
Более трезвая оценка AISI предполагает, что предприятия, наиболее подверженные риску, - это те, у кого слабые кибербезопасные меры. Он предупреждает, что Mithos способен автономно атаковать небольшие слабо защищенные и уязвимые корпоративные системы. Институт добавил, что неясно, насколько полезен Mithos против должным образом защищенной ИТ-инфраструктуры.
Даже без помощи мощного искусственного интеллекта в прошлом году хакеры устроили хаос в британских организациях. В сентябре Jaguar Land Rover подвергся нападению, предположительно со стороны группы подростков-преступников, в результате чего Великобритания понесла убытки в размере примерно 2 млрд фунтов стерлингов и поставила под угрозу тысячи рабочих мест.
На данный момент Anthropic держит Mithos под замком и ключом. Тем не менее, одни из самых серьезных взломов в последние годы были вызваны мощными кибер-инструментами, которые никогда не предназначались для использования преступниками. Взлом Wannacry, потрясший компьютерные системы Национальной службы здравоохранения в 2016 году, частично был построен на секретной технологии, известной как DoublePulsar, украденной Агентством национальной безопасности США.
На данный момент специалисты по кибербезопасности говорят, что лучшее, что могут сделать компании, - это укрепить свои нынешние системы настолько хорошо, насколько это возможно. Хотя у нас есть предупреждение о приближающемся наводнении, это еще не само наводнение, говорит Рафф Пиллинг, директор компании по кибербезопасности Sophos.
По крайней мере на данный момент искусственный интеллект ограничен западными компаниями. Те, у кого есть Mithos в арсенале, могут быстро обнаружить и исправить ошибки, прежде чем хакеры смогут воспользоваться ими. Но, добавляет Пиллинг: разумно ожидать, что злонамеренные актеры, будь то криминальные или государственные, получат аналогичные способности раньше, чем защитники хотели бы этого.
