Investing.com -- Гонка за искусственным интеллектом входит в новую фазу, с резким поворотом от масштабирования обучающих данных к стратегическому увеличению моделей после обучения.
Последние раскрытия вокруг модели Grok 4 от xAI показывают структурный сдвиг в способах разблокировки прироста интеллекта, не путем увеличения размера модели или подачи большего количества данных, а путем крупных инвестиций в вычисления после обучения.
До конца 2024 года большинство прорывов в области искусственного интеллекта были обусловлены законами масштабирования Чинчиллы - обучение все более крупных моделей на все более крупных наборах данных.
Это изменилось с моделью o1 от OpenAI и теперь ускоряется моделью Grok 4, по мнению Barclays.
Модель Grok 4 использует примерно те же вычисления перед обучением, что и ее предшественник, но достигает значительно более высоких уровней интеллекта благодаря увеличению в десять раз обучения с подкреплением после начальной фазы обучения.
В отличие от предварительного обучения, которое опирается на самостоятельное обучение на огромных текстовых корпусах, обучение через подкрепление после обучения позволяет моделям улучшаться путем проб и ошибок, используя отобранные задачи.
В случае Grok 4 это изменение не только улучшило рассуждения и решение проблем, но сделало это без увеличения числа параметров модели, сохраняя более низкие издержки на вывод при увеличении качества выходных данных.
Имеются значительные последствия. Аналитик из Barclays сказал, что больше не стоит полагаться на увеличение сырых токенов данных для предварительного обучения для достижения более высокой производительности и интеллекта.
Вместо этого модели, способные планировать, рассуждать и взаимодействовать с инструментами в сложных средах. Одна из проверок показывает, что Grok 4 превосходит другие ведущие модели и человеков в управлении симулированным бизнесом торговых автоматов, тестировании экономического рассуждения и приспособляемости.
Эта эволюция имеет явные последствия для спроса на вычисления и капитальные затраты.
В то время как ранее модели генерировали ответы за один шаг, агентные модели теперь рассуждают цепочками, выдавая 15 раз более интенсивные вычисления на токен.
Таким образом, послетренировочный процесс может быть не только путем к более умным моделям, но также обосновывать огромные инвестиции в инфраструктуру, предпринимаемые гипермасштабировщиками.
В области, долгое время определяемой масштабированием предварительного обучения, послетренировочный процесс может быть местом, где настоящий интеллект.
Похожие статьи
Как масштабирование послетренировочного процесса предлагает прирост в искусственном интеллекте
Растущие риски? Умные деньги избегли более чем 46% снижения на этих высокофлаерских именах
Экономист Apollo предупреждает: пузырь искусственного интеллекта теперь больше, чем технологическое помешательство 1990-х годов