ДЕ—МОЙН, Айова (AP) - Стоимость создания продукта искусственного интеллекта, такого как ChatGPT, может быть трудно измерить.
Но одна вещь, в которой OpenAI, поддерживаемый Microsoft, нуждался для своей технологии, - это много воды, взятой из водораздела рек Раккун и Де-Мойн в центральной Айове, для охлаждения мощного суперкомпьютера, поскольку это помогало обучать системы искусственного интеллекта имитировать человеческое письмо.
Стремясь извлечь выгоду из повального увлечения генеративным искусственным интеллектом, ведущие разработчики технологий, включая Microsoft, OpenAI и Google, признали, что растущий спрос на их инструменты искусственного интеллекта сопряжен с огромными затратами - от дорогих полупроводников до увеличения потребления воды.
Но они часто скрывают подробности. Мало кто в Айове знал о ее статусе места рождения самой продвинутой модели большого языка OpenAI, GPT-4, до того, как топ-менеджер Microsoft сказал в своей речи, что она “была буквально создана рядом с кукурузными полями к западу от Де-Мойна”.
Построение большой языковой модели требует анализа закономерностей в огромном массиве текста, написанного человеком. Все эти вычисления потребляют много электроэнергии и выделяют много тепла. Чтобы поддерживать прохладу в жаркие дни, центрам обработки данных необходимо закачивать воду — часто в градирню за пределами зданий размером со склад.
В своем последнем экологическом отчете Microsoft сообщила, что с 2021 по 2022 год глобальное потребление воды выросло на 34% (почти до 1,7 миллиарда галлонов, или более 2500 бассейнов олимпийского размера), что является резким увеличением по сравнению с предыдущими годами, которое сторонние исследователи связывают с исследованиями в области искусственного интеллекта.
“Справедливо сказать, что большая часть роста обусловлена ИИ”, включая “значительные инвестиции в генеративный ИИ и партнерство с OpenAI”, - сказал Шаолей Рен, исследователь из Калифорнийского университета в Риверсайде, который пытался рассчитать воздействие на окружающую среду продуктов генеративного ИИ, таких как ChatGPT.
В статье, которая должна быть опубликована позже в этом году, команда Рена подсчитала, что ChatGPT выпивает 500 миллилитров воды (примерно столько же, сколько в 16-унционной бутылке с водой) каждый раз, когда вы задаете ему серию из 5-50 подсказок или вопросов. Ассортимент варьируется в зависимости от того, где расположены его серверы, и времени года. Оценка включает косвенное потребление воды, которое компании не измеряют — например, для охлаждения электростанций, снабжающих центры обработки данных электроэнергией.
“Большинство людей не знают об использовании ресурсов, лежащих в основе ChatGPT”, - сказал Рен. “Если вы не осведомлены об использовании ресурсов, то мы никак не сможем помочь сохранить ресурсы”.
Google сообщила о 20%-ном росте потребления воды за тот же период, что Ren также в значительной степени приписывает своей работе с искусственным интеллектом. Всплеск активности Google не был равномерным - он был устойчивым в Орегоне, где использование воды привлекло внимание общественности, и удвоился за пределами Лас-Вегаса. В Айове также ощущалась жажда, и в центры обработки данных Council Bluffs поступало больше питьевой воды, чем где-либо еще.
Отвечая на вопросы Associated Press, Microsoft заявила в заявлении на этой неделе, что инвестирует в исследования для измерения энергетического и углеродного следа искусственного интеллекта, "одновременно работая над способами повышения эффективности больших систем, как в обучении, так и в применении”.
“Мы продолжим следить за нашими выбросами, ускорять прогресс, увеличивая использование чистой энергии для питания центров обработки данных, закупая возобновляемые источники энергии и прилагая другие усилия для достижения наших целей в области устойчивого развития - снижения выбросов углекислого газа, воды и нулевых отходов к 2030 году”, - говорится в заявлении компании.
OpenAI повторила эти комментарии в своем собственном заявлении в пятницу, заявив, что она “серьезно задумывается" о наилучшем использовании вычислительных мощностей.
“Мы признаем, что обучение больших моделей может быть энергоемким и водоемким процессом", - говорится в нем, и работаем над повышением эффективности.
Microsoft инвестировала свой первый 1 миллиард долларов в OpenAI, базирующийся в Сан-Франциско, в 2019 году, более чем за два года до того, как стартап представил ChatGPT и вызвал всеобщее восхищение достижениями в области искусственного интеллекта. В рамках сделки софтверный гигант предоставит вычислительные мощности, необходимые для обучения моделей искусственного интеллекта.
Чтобы выполнить хотя бы часть этой работы, две компании обратились к Уэст-Де-Мойну, штат Айова, городу с населением 68 000 человек, где Microsoft уже более десяти лет создает центры обработки данных для обеспечения своих облачных вычислений. Его четвертый и пятый центры обработки данных должны открыться там позже в этом году.
“Они создают их так быстро, как только могут”, - сказал Стив Гаер, который был мэром города, когда в нем появилась Microsoft. Гаер сказал, что компанию привлекла приверженность города строительству общественной инфраструктуры, и она внесла “ошеломляющую” сумму денег в виде налоговых платежей, которые поддерживают эти инвестиции.
“Но, вы знаете, они были довольно скрытны в отношении того, что они там делают”, - добавил он.
Microsoft впервые заявила, что разрабатывает один из самых мощных суперкомпьютеров в мире для OpenAI в 2020 году, отказавшись в то время сообщить AP о его местонахождении, но описав его как “единую систему” с более чем 285 000 ядер из обычных полупроводников и 10 000 графических процессоров — своего рода чип, который стал критически важным к рабочим нагрузкам искусственного интеллекта.
Эксперты заявили, что может иметь смысл "предварительно обучить" модель искусственного интеллекта в одном месте из-за больших объемов данных, которые необходимо передавать между вычислительными ядрами.
Только в конце мая президент Microsoft Брэд Смит сообщил, что компания построила свой “продвинутый суперкомпьютерный центр обработки данных с искусственным интеллектом” в Айове исключительно для того, чтобы OpenAI мог обучать то, что стало ее моделью четвертого поколения GPT-4. Эта модель теперь поддерживает премиум-версии ChatGPT и некоторые собственные продукты Microsoft и ускорила дискуссию о сдерживании социальных рисков, связанных с искусственным интеллектом.
“Это было сделано этими выдающимися инженерами в Калифорнии, но на самом деле это было сделано в Айове”, - сказал Смит.
В некотором смысле Западный Де-Мойн является относительно эффективным местом для обучения мощной системы искусственного интеллекта, особенно по сравнению с центрами обработки данных Microsoft в Аризоне, которые потребляют гораздо больше воды при тех же вычислительных требованиях.
“Итак, если вы разрабатываете модели искусственного интеллекта в Microsoft, то вам следует запланировать свое обучение в Айове, а не в Аризоне", - сказал Рен. "С точки зрения подготовки, нет никакой разницы. С точки зрения потребления воды или энергии, существует большая разница”.
Большую часть года погода в Айове достаточно прохладная, чтобы Microsoft могла использовать наружный воздух для поддержания нормальной работы суперкомпьютера и отвода тепла из здания. Только когда температура превышает 29,3 градуса по Цельсию (около 85 градусов по Фаренгейту), он забирает воду, говорится в публичном сообщении компании.
Там все еще может быть много воды, особенно летом. По данным West Des Moines Water Works, в июле 2022 года, за месяц до того, как OpenAI заявила, что завершила обучение GPT-4, Microsoft закачала около 11,5 миллионов галлонов воды в свой кластер центров обработки данных в Айове. Это составило около 6% всей воды, используемой в округе, который также обеспечивает питьевой водой жителей города.
В 2022 году в документе West Des Moines Water Works говорилось, что он и городское правительство “рассмотрят будущие проекты центров обработки данных" от Microsoft только в том случае, если эти проекты смогут “продемонстрировать и внедрить технологию, позволяющую значительно снизить пиковое потребление воды по сравнению с текущими уровнями”, чтобы сохранить водоснабжение для жилых и других коммерческих нужд..
Microsoft заявила в четверг, что работает напрямую с water works, чтобы учесть ее отзывы. В письменном заявлении the water works говорится, что компания была хорошим партнером и работала с местными чиновниками, чтобы сократить потребление воды, сохраняя при этом свои потребности.
—-
О'Брайен сообщил об этом из Провиденса, штат Род-Айленд.
——
Associated Press и OpenAI заключили лицензионное соглашение, которое позволяет использовать часть текстовых архивов AP для обучения большой языковой модели технической компании. AP получает нераскрытую плату за использование своего контента.
