Авторы: Кэти Пол, Кристал Ху, Стивен Неллис и Анна Тонг
(Рейтер) - Когда лето 2022 года подходило к концу, генеральный директор Meta Марк Цукерберг собрал своих лучших помощников для пятичасового анализа вычислительных мощностей компании, сосредоточив внимание на ее способности выполнять передовые работы в области искусственного интеллекта, согласно служебной записке компании, датированной сентябрем. 20, рассмотренный агентством Reuters.
У них была сложная проблема: несмотря на громкие инвестиции в исследования в области искусственного интеллекта, гигант социальных сетей не спешил внедрять дорогостоящие аппаратные и программные системы, ориентированные на искусственный интеллект, для своего основного бизнеса, что ограничивало его способность идти в ногу с масштабными инновациями, даже несмотря на то, что он все больше полагался на искусственный интеллект для поддержки своего роста. к памятке прилагаются заявления компании и интервью с 12 людьми, знакомыми с изменениями, которые говорили на условиях анонимности, чтобы обсудить внутренние вопросы компании.
"У нас есть значительный пробел в наших инструментах, рабочих процессах, когда дело доходит до разработки для искусственного интеллекта. Нам нужно вложить сюда значительные средства", - говорится в меморандуме, написанном новым главой инфраструктуры Сантошем Джанардханом, который был размещен на внутренней доске объявлений Meta в сентябре и о котором сообщается сейчас впервые.
Поддержка работы с искусственным интеллектом потребует от Meta "фундаментального изменения дизайна нашей физической инфраструктуры, наших программных систем и нашего подхода к обеспечению стабильной платформы", - добавлено в нем.
Уже более года Meta участвует в масштабном проекте по приведению в порядок своей инфраструктуры искусственного интеллекта. Хотя компания публично признала, что "немного догоняет" тенденции в области аппаратного обеспечения для искусственного интеллекта, ранее не сообщалось о деталях капитального ремонта, включая сокращение мощностей, смену руководства и отказ от проекта чипов для искусственного интеллекта.
Отвечая на вопрос о меморандуме и реструктуризации, представитель Meta Джон Карвилл сказал, что компания "имеет проверенный послужной список в создании и развертывании современной инфраструктуры в больших масштабах в сочетании с глубоким опытом в исследованиях и разработке искусственного интеллекта".
"Мы уверены в нашей способности продолжать расширять возможности нашей инфраструктуры для удовлетворения наших краткосрочных и долгосрочных потребностей, поскольку мы привносим новые возможности на базе искусственного интеллекта в наше семейство приложений и потребительских продуктов", - сказал Карвилл. Он отказался комментировать, отказалась ли Meta от своего чипа искусственного интеллекта.
Джанардхан и другие руководители не удовлетворили просьбы об интервью, сделанные через компанию.
Согласно раскрытым данным компании, капитальные затраты Meta увеличились примерно на 4 миллиарда долларов в квартал - почти вдвое по сравнению с 2021 годом - и привели к приостановке или отмене ранее запланированного строительства центров обработки данных в четырех местах.
График: Увеличение капитальных вложений Meta - https://www.reuters.com/graphics/METAPLATFORMS-ARTIFICIALINTELLIGENCE/dwvkdldgkpm/chart.png
Эти инвестиции совпали с периодом серьезных финансовых трудностей для Meta, которая с ноября увольняет сотрудников в масштабах, невиданных со времен краха доткомов.
Тем временем поддерживаемый Microsoft OpenAI ChatGPT стал самым быстрорастущим потребительским приложением в истории после своего дебюта 30 ноября, вызвав гонку вооружений среди технологических гигантов по выпуску продуктов, использующих так называемый генеративный ИИ, который, помимо распознавания шаблонов в данных, как и другие ИИ, создает письменные и визуальный контент в ответ на запросы.
Генеративный ИИ поглощает огромные вычислительные мощности, усиливая остроту проблемы с пропускной способностью Meta, сообщили пять источников.
ОТСТАВАНИЕ
Ключевой источник проблем, по словам этих пяти источников, можно проследить до запоздалого использования Meta графического процессора, или GPU, для работы с искусственным интеллектом.
Графические процессоры уникально хорошо подходят для обработки данных искусственным интеллектом, поскольку они могут выполнять большое количество задач одновременно, сокращая время, необходимое для обработки миллиардов фрагментов данных.
Однако графические процессоры также дороже других чипов, при этом производитель чипов Nvidia Corp контролирует 80% рынка и сохраняет лидирующие позиции в сопутствующем программном обеспечении, сообщили источники.
Nvidia не ответила на запрос о комментариях к этой истории.
Вместо этого до прошлого года Meta в основном управляла рабочими нагрузками ИИ, используя парк стандартных центральных процессоров (CPU) компании, чипов "рабочей лошадки" вычислительного мира, которые десятилетиями заполняли центры обработки данных, но плохо выполняли работу ИИ.
Согласно двум из этих источников, компания также начала использовать свой собственный чип, разработанный собственными силами, для inference - процесса искусственного интеллекта, в котором алгоритмы, обученные на огромных объемах данных, выносят суждения и генерируют ответы на запросы.
По словам двух человек, к 2021 году этот двусторонний подход оказался медленнее и менее эффективным, чем подход, основанный на графических процессорах, которые также были более гибкими при запуске различных типов моделей, чем чип Meta.
Meta отказалась комментировать производительность своего чипа искусственного интеллекта.
По словам четырех источников, по мере того, как Цукерберг разворачивал компанию в сторону метавселенной - набора цифровых миров, поддерживаемых дополненной и виртуальной реальностью, - нехватка производственных мощностей замедляла ее способность внедрять искусственный интеллект для реагирования на угрозы, такие как появление конкурента социальных сетей TikTok и изменения конфиденциальности рекламы под руководством Apple.
Эти проблемы привлекли внимание бывшего члена правления Meta Питера Тиля, который ушел в отставку в начале 2022 года без объяснения причин.
На заседании совета директоров перед своим уходом Тиль сказал Цукербергу и его руководителям, что они были удовлетворены основным бизнесом Meta в социальных сетях, слишком сосредоточившись на метавселенной, что, по его словам, сделало компанию уязвимой перед вызовом со стороны TikTok, согласно двум источникам, знакомым с биржей.
Мета отказалась комментировать этот разговор.
НАВЕРСТЫВАНИЕ УПУЩЕННОГО
По словам одного из источников, после прекращения масштабного выпуска собственного чипа вывода Meta, который был запланирован на 2022 год, руководители вместо этого изменили курс и разместили в том же году заказы на графические процессоры Nvidia на миллиарды долларов.
Meta отказалась комментировать этот заказ.
К тому времени Meta уже на несколько шагов отставала от таких конкурентов, как Google, которая в 2015 году начала внедрять собственную версию графических процессоров, созданную на заказ, под названием TPU.
Руководители также той весной приступили к реорганизации подразделений искусственного интеллекта Meta, назначив в процессе двух новых руководителей инженерных подразделений, включая Джанардхана, автора сентябрьской записки.
Более дюжины руководителей покинули Meta во время многомесячных потрясений, согласно их профилям в LinkedIn и источнику, знакомому с уходами, почти полной сменой руководства инфраструктуры искусственного интеллекта.
Meta next приступила к переоборудованию своих центров обработки данных для размещения поступающих графических процессоров, которые потребляют больше энергии и выделяют больше тепла, чем центральные процессоры, и которые должны быть тесно сгруппированы с использованием специализированных сетей между ними.
Рисунок: Статус центра обработки данных Meta в США - https://www.reuters.com/graphics/METAPLATFORMS-ARTIFICIALINTELLIGENCE/mopakdkmzpa/chart.png
Согласно меморандуму Джанардхана и четырем источникам, знакомым с проектом, детали которого ранее не разглашались, для управления теплом кластеров требовалась в 24-32 раза большая пропускная способность сети и новые системы жидкостного охлаждения, что потребовало их "полной перестройки".
По мере того, как работа шла полным ходом, Meta строила внутренние планы начать разработку нового и более амбициозного собственного чипа, который, подобно графическому процессору, был бы способен как обучать модели искусственного интеллекта, так и выполнять логический вывод. По словам двух источников, проект, о котором ранее не сообщалось, планируется завершить примерно в 2025 году.
Карвилл, представитель Meta, сказал, что строительство дата-центра, которое было приостановлено из-за перехода на новые проекты, возобновится позже в этом году. Он отказался комментировать проект chip.
КОМПРОМИССЫ
Наращивая мощность своего графического процессора, Meta пока мало что может показать, поскольку конкуренты, такие как Microsoft и Google, продвигают публичные запуски коммерческих продуктов с генеративным искусственным интеллектом.
Финансовый директор Сьюзан Ли признала в феврале, что Meta не выделяет большую часть своих текущих вычислений на генеративную работу, заявив, что "в основном все наши возможности искусственного интеллекта уходят на рекламу, каналы и ролики", формат коротких видео, подобный TikTok, который популярен среди молодых пользователей.
Согласно четырем источникам, Meta не уделяла приоритетного внимания созданию генеративных продуктов искусственного интеллекта до запуска ChatGPT в ноябре. По их словам, несмотря на то, что ее исследовательская лаборатория FAIR, или Facebook AI Research, публикует прототипы технологии с конца 2021 года, компания не была сосредоточена на преобразовании своих хорошо зарекомендовавших себя исследований в продукты.
По мере роста интереса инвесторов ситуация меняется. В феврале Цукерберг объявил о создании новой команды генеративного искусственного интеллекта высшего уровня, которая, по его словам, "ускорит" работу компании в этой области.
Технический директор Эндрю Босворт также заявил в этом месяце, что генеративный ИИ - это та область, где они с Цукербергом проводят больше всего времени, прогнозируя, что Meta выпустит продукт в этом году.
Два человека, знакомых с новой командой, сказали, что ее работа находится на ранних стадиях и сосредоточена на создании базовой модели, базовой программы, которая позже может быть доработана и адаптирована для различных продуктов.
Карвилл, представитель Meta, сказал, что компания уже более года создает генеративные продукты искусственного интеллекта в разных командах. Он подтвердил, что работа ускорилась за месяцы, прошедшие с момента прибытия ChatGPT.
(Репортаж Кэти Пол, Кристал Ху, Стивена Неллиса и Анны Тонг; дополнительный репортаж Джеффри Дастина; монтаж Кеннета Ли и Клаудии Парсонс)
