Случайное утечка информации о всемогущем хакерском боте немного успокоила страхи пророков бедствия от искусственного интеллекта.
За дни до официального объявления о Anthropics Claude Mythos журналисты из журнала Fortune обнаружили онлайн-хранилище незащищенных файлов, принадлежащих технологической компании, включая черновой блог, раскрывающий существование нового ИИ.
После неудачного разоблачения в начале этого месяца, за что была отвечена человеческой ошибкой, лидеры индустрии и эксперты правительства начали звонить тревогу из-за мощного бота.
По словам Anthropic, Mythos настолько искусен в кибервзломах, что сейчас слишком опасен для публичного использования.
Хотя у Anthropic нет стимулов разрешить злоупотребление своим инструментом, лаборатория в Силиконовой долине предупредила, что если Mythos или другой ИИ подобный ему попадет в руки злоумышленников, последствия могут быть серьезными.
Хотя большинство людей используют ИИ-чатботов как вопросно-ответные машины, технология ИИ от Anthropics продемонстрировала мастерство при написании кода. Mythos, их последний инструмент, сравнялся с навыками профессиональных хакеров и экспертов по кибербезопасности.
По словам Anthropic, ИИ смог выявить тысячи так называемых нулевых дней в некоторых крупнейших программных операционных системах мира. Эти ранее неизвестные уязвимости, если использовать хакерами, могут привести к взломам или утечкам данных.
Некоторые из этих уязвимостей пролежали незамеченными десятилетиями. Anthropic заявил, что их ИИ смог действовать как человеческий хакер, объединяя в цепочку одну уязвимость программного обеспечения за другой, что приводило к разрушительным результатам.
Само существование Mythos, которое, по словам Anthropic, представляет собой изменение в обнаружении и использовании уязвимостей, вызвало реакцию на самом высоком уровне правительства США и Великобритании, а также спешку со стороны финансового мира и гигантов технологической индустрии для защиты своих систем.
Это также вызвало четкие предупреждения от экспертов по ИИ, профессионалов в области кибербезопасности и руководителей банков.
Дэвид Крюгер, бывший советник Института безопасности ИИ правительства (AISI), заявил: Эта модель и другие в разработке могут быть мощными кибероружиями.
Он добавил: Их можно использовать для нанесения ущерба на миллиарды долларов, свертывания компьютерных систем, обеспечивающих критическую инфраструктуру или приложения национальной обороны, а также потенциального дестабилизации мирового порядка.
Скотт Бессент, министр финансов США, и Джером Пауэлл, председатель Федеральной резервной системы, на прошлой неделе созвали кризисное совещание с главами банков США, чтобы предупредить их о данном инструменте.
Между тем Anthropic собрала группу из около 40 компаний и предоставила им ранний доступ к технологии, чтобы найти потенциально катастрофические ошибки до того, как будет слишком поздно. Программа Project Glasswing включает банки Уолл-стрит и гигантов технологической индустрии, таких как Apple и Microsoft.
Было трудно отделить факты от гиперболы о Mythos. Скептики обвинили Anthropic в раздувании шумихи и предостережений о гибели от ИИ каждый раз, когда им нужно собрать миллиарды капитала. Но сообщенные возможности вызвали тревогу во всей индустрии и правительстве.
Майкл Сембалест, председатель инвестиционной стратегии в JP Morgan, который первым получил доступ к инструменту, сравнил запуск Mythos с периодом с 1945 по 1949 год, когда США были единственной страной в мире с ядерным оружием.
Одной из основных причин, по которой Anthropic нервничает относительно выпуска Mythos, является Китай, написал Сембалест в исследовательской заметке. Китайские ИИ-компании уже пытались воссоздать технологию Anthropic, утверждает компания, создав тысячи фейковых аккаунтов.
Банк Англии, финансовые регуляторы и Национальный центр кибербезопасности, часть GCHQ, готовятся информировать банки о потенциальных последствиях киберинструментов ИИ, которые могут сделать устаревшими прошлые защитные меры. В четверг Anthropic подтвердила, что британские банки будут следующими в очереди для тестирования своего ИИ-инструмента за закрытыми дверями в рамках проекта Glasswing.
AISI оценил Mythos как шаг вперед по сравнению с предыдущими моделями, которые могли бы совершать атаки, на выполнение которых человеческому хакеру потребовалось бы дни работы.
Говоря в интервью The Telegraph, Канишка Нараян, министр ИИ и онлайн-безопасности, сказал, что AISI получил привилегированный ранний доступ для стресс-тестирования Mythos.
Он сказал, что правительство сейчас работает над защитой критической национальной инфраструктуры и других частных компаний. Я бы настоятельно рекомендовал всем компаниям действовать быстро и серьезно, чтобы убедиться, что они защищены, - сказал Нараян.
Не все убеждены, что Mythos - это предвестник гибели от хакерских ИИ, как это представляют некоторые. Ричард Виндзор, независимый технологический аналитик, пишет: Реальная опасность от Mythos заключается в том, что он может совершить что-то действительно глупое, такое как разглашение корпоративных секретов или публикация ценного исходного кода в Интернете, вместо того чтобы уничтожить человечество.
Anthropic утверждает, что их инструмент лучше выровнен, чем их старые боты, но он все еще иногда предпринимает рискованные, чрезмерные меры, которые сбивают с толку его создателей.
В одном случае, описанном в карте рисков Mythos, Anthropic утверждает, что одна ранняя версия их бота смогла взломаться из безопасного цифрового контейнера в рамках теста. Но сделав это, он разработал дополнительный хак, неизвестный исследователям, чтобы получить доступ к широкополосному Интернету, опубликовав публичные детали своего успеха в Интернете.
Затем он написал своему обработчику, который пообедал в парке, хвастаясь своим достижением.
Такие попытки побега, по словам Anthropic, вызывают серьезные опасения.
Для тех, кто беспокоится о катастрофических рисках от ИИ, это весьма сдержанное заявление. Это ИИ, который потенциально мог бы сбежать из лаборатории, - говорит Крюгер. Ранние версии ИИ, очевидно, были опасно несогласованными.
Более сдержанная оценка AISI предупреждает, что наиболее уязвимыми для атак Mythos являются компании с слабой киберзащитой. Было предупреждение, что Mythos по крайней мере способен самостоятельно атаковать малые, слабо защищенные и уязвимые корпоративные системы. Институт добавил, что не ясно, насколько Mythos будет эффективен против должным образом защищенных ИТ-систем.
Даже без помощи мощного ИИ-бота, прошлый год показал, как хакеры сеяли хаос в организациях Великобритании. В сентябре Jaguar Land Rover была взломана, предположительно бандой подростков-преступников, в атаке, которая обошлась Великобритании примерно в 2 млрд фунтов стерлингов и поставила под угрозу тысячи рабочих мест.
Пока Anthropic держит Mythos под замком и ключом. Однако некоторые из наиболее разрушительных взломов в последние годы были совершены с использованием мощных киберинструментов, которые никогда не были предназначены для использования преступниками. Взлом Wannacry, который потряс системы компьютеров NHS в 2016 году, был частично создан на секретной технологии, названной DoublePulsar, украденной у Национального агентства безопасности США.
Пока эксперты по кибербезопасности говорят, что лучшее, что могут сделать компании, - укрепить свои текущие системы насколько это возможно. Хотя у нас есть предупреждение, что надвигается наводнение, это еще не само наводнение, - говорит Рейф Пиллинг, директор экспертов по кибербезопасности Sophos.
По крайней мере на данный момент, ИИ-инструмент ограничен западными компаниями. Те, у кого в арсенале Mythos, могут быстро обнаруживать и устранять ошибки, прежде чем хакеры получат возможность их использовать. Но, как добавляет Пиллинг: Разумно ожидать, что злоумышленники, как преступные, так и государственные, получат доступ к аналогичным возможностям раньше, чем защитники хотели бы.
