Случайное утечка новостей о всемогущем хакерском боте мало успокоила страхи предсказателей бедствий ИИ.
За несколько дней до официального анонса Anthropics Claude Mythos, журналисты журнала Fortune обнаружили онлайн-хранилище незащищенных файлов технологической компании, включая черновой блог о существовании нового ИИ.
С тех пор, как в этом месяце произошла неудачная утечка, вину за которую возложили на человеческий фактор, лидеры индустрии и государственные эксперты бьют тревогу из-за мощного бота.
По данным Anthropic, Mythos настолько искусен в киберхакинге, что в настоящее время его слишком опасно выпускать в публичный доступ.
Хотя у Anthropic нет стимула разрешить злоупотребление его инструментом, лаборатория в Силиконовой долине предупредила, что если Mythos или другой подобный ему ИИ окажется в руках злоумышленников, последствия могут быть тяжелыми.
Хотя большинство людей используют ИИ-чатботов как вопросно-ответные системы, технология ИИ от Anthropic продемонстрировала мастерство в программировании. Mythos, их последний инструмент, сравнялся в навыках с профессиональными хакерами и экспертами по кибербезопасности.
По словам Anthropic, ИИ смог обнаружить тысячи так называемых нулевых дней в некоторых крупнейших программных операционных системах мира. Эти ранее неизвестные уязвимости, если использовать хакерами, могут привести к взломам или утечкам данных.
Некоторые из этих уязвимостей скрывались незамеченными десятилетиями. Anthropic заявила, что их ИИ способен действовать как человеческий хакер, объединяя одну уязвимость программного обеспечения с другой, что приводит к разрушительным результатам.
Само существование Mythos, который, по словам Anthropic, представляет собой переходный этап в обнаружении и эксплуатации уязвимостей, вызвал реакцию на самом высоком уровне правительства в США и Великобритании, а также вызвало бурное движение со стороны Сити и гигантов технологической отрасли для обеспечения безопасности своих систем.
Это также вызвало резкие предупреждения от экспертов по ИИ, профессионалов по кибербезопасности и лидеров банковской сферы.
Дэвид Крюгер, бывший советник Института безопасности ИИ правительства (AISI), сказал: Эта модель и другие в разработке могут быть мощными кибероружиями.
Он добавил: Они могут быть использованы для нанесения ущерба на миллиарды долларов, выведения из строя компьютерных систем, обеспечивающих критическую инфраструктуру или приложения национальной обороны, и, возможно, дестабилизации мирового порядка.
Скотт Бессент, министр финансов США, и Джером Пауэлл, председатель Федеральной резервной системы, на прошлой неделе созвали кризисное совещание с главами американских банков, чтобы предупредить их о данном инструменте.
Тем временем Anthropic собрал группу из около 40 компаний и предоставил им ранний доступ к технологии для поиска потенциально катастрофических ошибок до того, как будет слишком поздно. Программа, проект Glasswing, включает банки Уолл-стрит и гигантов технологической отрасли, таких как Apple и Microsoft.
Было трудно отделить факты от хайпа о Mythos. Скептики обвинили Anthropic в разжигании ажиотажа и предупреждений о бедствии ИИ каждый раз, когда им нужно привлечь миллиарды капитала. Но его заявленные возможности вызвали тревогу в индустрии и правительстве.
Майкл Цембалест, председатель стратегии инвестиций в JP Morgan, который имел ранний доступ к инструменту, сравнил запуск Mythos с периодом с 1945 по 1949 год, когда США были единственной страной в мире с ядерным оружием.
Одной из основных причин, по которой Anthropic нервничает из-за выпуска Mythos: Китай, написал Цембалест в исследовательской заметке. По заявлению компании, китайские ИИ-компании уже предпринимали попытки обратного инжиниринга технологий Anthropic, создав тысячи фейковых аккаунтов.
Банк Англии, финансовые регуляторы и Национальный центр кибербезопасности, входящий в состав GCHQ, готовятся проинформировать банки о потенциальных последствиях киберхакерских инструментов ИИ, которые могут сделать устаревшими прошлые защитные меры. В четверг Anthropic подтвердил, что британские банки будут следующими, кто протестирует его ИИ-инструмент за закрытыми дверями в рамках проекта Glasswing.
AISI оценил Mythos как шаг вперед по сравнению с предыдущими моделями фронтира, которые могли бы совершить атаки, на выполнение которых у хакера-человека ушли бы дни работы.
В беседе с The Telegraph Канишка Нараян, министр ИИ и онлайн-безопасности, заявил, что AISI получил привилегированный ранний доступ для стресс-тестирования Mythos.
Он сказал, что правительство сейчас работает над защитой критической национальной инфраструктуры и других частных компаний. Я призываю все фирмы действовать как можно быстрее и серьезнее, чтобы обеспечить свою защиту, - сказал Нараян.
Не все убеждены, что Mythos является предвестником апокалипсиса в области хакерских ИИ, каким его преподносят. Ричард Уиндзор, независимый аналитик по технологиям, пишет: Настоящая опасность от Mythos заключается в том, что он может совершить что-то действительно глупое, такое как раскрытие корпоративных секретов или публикацию ценного исходного кода в Интернете, вместо того чтобы уничтожить человечество.
Anthropic утверждает, что их инструмент лучше согласован, чем их старые боты, однако иногда он все еще предпринимает рискованные, чрезмерные меры, сбивающие с толку его создателей.
В одном из случаев, описанных в карте рисков Mythos, Anthropic утверждает, что одна из ранних версий его бота смогла взломать себя из безопасного цифрового контейнера в ходе теста. Но сделав это, бот разработал еще один хак, неизвестный исследователям, чтобы получить доступ к интернету и опубликовать публичные детали своего успеха в Интернете.
Затем он отправил своему оператору, который обедал в парке, сообщение о своем достижении.
Такие попытки побега, по заявлению Anthropic, вызывают серьезные опасения.
Для тех, кто беспокоится о катастрофических рисках от ИИ, это довольно сдержанное заявление. Это ИИ, который потенциально может выйти из лаборатории, - говорит Крюгер. Ранние версии ИИ, очевидно, были опасно недопоставлены.
Более сдержанная оценка AISI гласит, что компании, наиболее подверженные риску, - это те, у которых слабые киберзащитные меры. Он предупредил, что Mythos способен автономно атаковать малые, слабо защищенные и уязвимые корпоративные системы. Институт добавил, что неясно, насколько полезен будет Mythos против правильно защищенных ИТ.
Даже без помощи мощного ИИ-бота за последний год хакеры нанесли серьезный ущерб организациям Великобритании. В сентябре Jaguar Land Rover была взломана, предположительно бандой подростков, в атаке, которая обошлась Великобритании примерно в 2 млрд фунтов стерлингов и поставила под угрозу тысячи рабочих мест.
Пока что Anthropic держит Mythos под замком. Однако некоторые из наиболее разрушительных взломов за последние годы были связаны с мощными киберинструментами, которые никогда не предназначались для использования преступниками. Взлом Wannacry, который потряс системы Национальной службы здравоохранения в 2016 году, в частности, был построен на секретной технологии, названной DoublePulsar, похищенной у Национального агентства национальной безопасности США.
На данный момент киберэксперты говорят, что лучшее, что могут сделать компании, - это укрепить свои текущие системы насколько это возможно. Пока у нас есть предупреждение, что наводнение придет, это еще не само наводнение, - говорит Рейф Пиллинг, директор экспертов по кибербезопасности в Sophos.
По крайней мере на данный момент, инструмент ИИ ограничен западными компаниями. Те, кто имеет Mythos в своем арсенале, могут быстро обнаруживать и устранять ошибки, прежде чем хакеры получат возможность их использовать. Но, как добавляет Пиллинг: Разумно ожидать, что злоумышленники, как преступные, так и государственные, получат доступ к аналогичным возможностям раньше, чем защитники бы хотели.
