В выходные дни мастер Minecraft совершил впечатляющий подвиг: встроил работающий механизм языкового моделирования внутри популярной песочницы. Захватывающая деталь: вся проводка была выполнена с использованием системы красного камня Minecraft—без командных блоков, без модов (за исключением помощи рендеринга), только логика схемы, построенная из внутриигровых материалов.
Результатом стал забавный, мучительно медленный, но увлекательный чат-бот в стиле GPT внутри блочного мира, созданный с помощью цифрового красного камня и аналоговой логики.
Чтобы понять трюк, необходимо знать, что такое красный камень. В Minecraft красный камень является аналогом проводки и электронных компонентов игры: источники питания, повторители, компараторы, логические ворота, задержки сигнала—все построено из блоков. Цепочки красного камня имитируют цифровое поведение (включено/выключено, операции логики) внутри игрового мира.
Игроки давно строили калькуляторы, блоки памяти и даже процессоры внутри Minecraft с помощью красного камня, а теперь они продвигают его дальше в область искусственного интеллекта. Сэммиури, человек, который построил хак GPT, даже создал рекурсивную версию Minecraft внутри Minecraft с помощью красного камня.
В этом проекте создатель сначала обучил небольшую языковую модель вне игры (на Python) с использованием набора данных под названием TinyChat. Эта модель имеет примерно 5,087,280 параметров, размерность вложения 240, словарный запас около 1,920 токенов, шесть слоев и окно контекста из 64 токенов. Большинство весов квантованы до 8 бит, хотя веса вложений и нормализация слоя используют более высокую точность. Строительная конструкция из красного камня охватывает приблизительно 1,020 x 260 x 1,656 блоков (всего около 439 миллионов блоков). Для съемки масштаба создатель использовал мод Distant Horizons, позволяющий визуализировать удаленные структуры в гигантском мире.
При вводе запроса (посредством внутриигрового интерфейса) цепи красного камня выполняют шаг за шагом операцию вывода, включая поиск вложений, проходы прямой передачи, матричные умножения и приближения функции мягкого максимума. Согласно демонстрационному видео, сложная конструкция из красного камня собиралась месяцами.
Но система работает крайне медленно. Даже при искусственно увеличенной частоте кадров (~40,000 быстрее обычного, через MCHPRS), время отклика составляет несколько часов. При стандартной скорости Minecraft некоторые оценивают, что для генерации ответа потребовалось бы более девяти лет.
Тем не менее, цель проекта заключается не в полезности, а в демонстрации. По сути, эта конструкция представляет собой игривое доказательство того, что нейронное рассуждение может быть переосмыслено практически в любой логической среде. Это напоминание о том, насколько многоуровневыми являются наши программные и аппаратные стеки: архитектура, среда и скорость представляют отдельные измерения. Другими словами, это техническая художественная работа, предмет для обсуждения: важно вычисление, а не обязательно место его выполнения.
Это имеет значение?
Очевидно, что это непрактично, но интересно потому, что демонстрирует нечто глубокое: что логика и вычисления в стиле нейронов могут быть перенесены на необычные среды—здесь виртуальные цепи красного камня. Это игривое доказательство универсальности вычислений, образовательная и художественная демонстрация, бросающая вызов нашим предположениям относительно того, где и как может работать интеллект.
Он заставляет нас задуматься: что действительно важно в модели—архитектура, среда, скорость—и какие еще странные среды стоит попробовать (оптика, ДНК, механические системы)?
«Minecraft» заблокировал криптовалюты и NFT, но интеграция Worldcoin допустима, утверждает Microsoft
В интернете проект вызвал оживленные дискуссии. Toms Hardware опубликовал статью, подробно описывающую количество блоков, логику красного камня и компромиссы производительности. На Hacker News комментаторы восхищались инженерией, однако также поднимали вопросы ограничений: при обычной частоте красного камня ответ занял бы чуть больше девяти лет. Между тем, в субреддите Minecraft фанаты и скептики обсуждали, насколько достижение является зрелищем вместо технического вклада.
Некоторые наблюдатели утверждают, что проект скорее напоминает мем, нежели научное исследование. Действительно, реальное обучение происходило вне игры; Minecraft лишь выполняет этап вывода. Это скорее показательная демонстрация, чем практическая модель. Но именно это придает ей шарм и смысл.
