Автор: Стивен Неллис
(Рейтер) - Google из Alphabet Inc во вторник опубликовала новые подробности о суперкомпьютерах, которые она использует для обучения своих моделей искусственного интеллекта, заявив, что эти системы одновременно быстрее и энергоэффективнее, чем аналогичные системы от Nvidia Corp.
Google разработала свой собственный чип под названием Tensor Processing Unit, или TPU. Эти чипы используются более чем в 90% работ компании по обучению искусственному интеллекту - процессу передачи данных через модели, чтобы сделать их полезными для таких задач, как ответы на запросы с помощью текста, похожего на человеческий, или генерация изображений.
Google TPU сейчас выпускается в четвертом поколении. Google во вторник опубликовала научную статью, в которой подробно описывается, как она объединила более 4000 чипов в суперкомпьютер, используя собственные оптические переключатели, разработанные на заказ, для подключения отдельных машин.
Улучшение этих связей стало ключевым моментом конкуренции среди компаний, создающих суперкомпьютеры с искусственным интеллектом, потому что так называемые большие языковые модели, которые используют такие технологии, как Bard от Google или ChatGPT от OpenAI, резко увеличились в размерах, что означает, что они слишком велики для хранения на одном чипе.
Вместо этого модели должны быть разделены на тысячи чипов, которые затем должны работать вместе в течение недель или более для обучения модели. Модель PaLM от Google - крупнейшая на сегодняшний день публично раскрытая языковая модель - была обучена путем ее разделения на двух суперкомпьютерах с 4000 чипами в течение 50 дней.
Google заявила, что ее суперкомпьютеры позволяют легко перенастраивать соединения между чипами "на лету", помогая избежать проблем и повысить производительность.
"Коммутация цепей позволяет легко обходить вышедшие из строя компоненты", - написали в блоге о системе сотрудник Google Норм Джуппи и выдающийся инженер Google Дэвид Паттерсон. "Эта гибкость даже позволяет нам изменять топологию межсоединения суперкомпьютера, чтобы ускорить производительность модели ML (машинного обучения)".
Хотя Google только сейчас публикует подробности о своем суперкомпьютере, он работает внутри компании с 2020 года в дата-центре в округе Мэйс, штат Оклахома. Google сообщила, что стартап Midjourney использовал систему для обучения своей модели, которая генерирует свежие изображения после ввода нескольких слов текста.
В документе Google говорится, что для систем сопоставимого размера ее суперкомпьютер в 1,7 раза быстрее и в 1,9 раза энергоэффективнее, чем система на базе чипа Nvidia A100, который появился на рынке одновременно с TPU четвертого поколения.
Google заявила, что не сравнивает свое четвертое поколение с текущим флагманским чипом Nvidia H100, поскольку H100 появился на рынке после чипа Google и изготовлен по более новой технологии.
Google намекнула, что, возможно, работает над новым TPU, который будет конкурировать с Nvidia H100, но не предоставила никаких подробностей, а Джуппи сообщил Reuters, что у Google есть "здоровая линейка будущих чипов".
(Репортаж Стивена Неллиса из Сан-Франциско; монтаж Мэтью Льюиса)
