NitroGen: 1000 игр, один ИИ и мощь NVIDIA — будущее гейминга наступило

NitroGen — новая модель искусственного интеллекта от NVIDIA, способная играть в более чем 1000 видеоигр, обучаясь исключительно на видеозаписях геймплея. Корпорация представила открытую фундаментальную модель, которая анализирует кадры игрового процесса и генерирует команды геймпада в реальном времени, демонстрируя прорыв в области воплощённого ИИ и робототехники.

Niархитектура и принцип работы нового игрового ИИ

Модель NitroGen представляет собой унифицированную систему «зрение-действие», обученную на 40 000 часов публично доступных видеозаписей игрового процесса, охватывающих более 1000 различных игр. В отличие от традиционных игровых ботов, ограниченных одной конкретной игрой, NitroGen использует технологию поведенческого клонирования для освоения универсальных игровых навыков.

Архитектура модели включает два ключевых компонента. Vision Transformer (SigLip2) обрабатывает входящие RGB-кадры размером 256×256 пикселей. Затем диффузионный трансформер (DiT) генерирует последовательности действий для геймпада, включая положение джойстиков и состояние кнопок. Общее количество параметров модели составляет около 493 миллионов.

Имитационное обучение: как NitroGen учится играть

Ключевая инновация проекта NitroGen заключается в методе сбора обучающих данных. Исследователи использовали видеозаписи стримеров с YouTube и Twitch, на которых отображается оверлей геймпада в реальном времени. Специально разработанный алгоритм автоматически распознаёт положение контроллера на экране и извлекает действия игрока покадрово.

Для локализации геймпада применяется сопоставление ключевых точек с использованием алгоритмов SIFT и XFeat. Обученная модель сегментации восстанавливает положение джойстиков и состояние кнопок с точностью корреляции 0,84 R² для джойстиков и 0,96 для кнопок. Область оверлея маскируется в обучающих кадрах, чтобы модель не могла «подсматривать» действия напрямую.

Универсальность NitroGen: от платформеров до RPG

Набор обучающих данных NitroGen охватывает широкий спектр игровых жанров. Action-RPG составляют 34,9% от общего объёма данных, платформеры — 18,4%, экшн-приключения — 9,2%. Оставшийся объём распределён между гонками, roguelike, 2D и 3D играми различных типов.

При тестировании на ранее невиданных играх модель NitroGen продемонстрировала улучшение показателя успешности выполнения задач до 52% по сравнению с моделями, обученными с нуля. Это свидетельствует о способности системы переносить приобретённые навыки между различными игровыми вселенными с разной физикой и механиками.

NitroGen и робототехника: связь с проектом GR00T

Архитектура NitroGen основана на модели GR00T N1.5, изначально разработанной NVIDIA для управления гуманоидными роботами. По словам Джима Фана, директора по робототехнике NVIDIA, исследователи обнаружили, что архитектура робототехнического управления успешно переносится на игровые задачи с минимальными модификациями.

Это открытие имеет фундаментальное значение для развития воплощённого ИИ. Видеоигры предоставляют идеальную тестовую среду: визуально насыщенные миры с разнообразными задачами, охватывающими широкий спектр сложности и временных горизонтов. Освоение универсального игрового управления приближает создание агентов, способных действовать в реальном физическом мире.

Практические применения технологии NitroGen

NVIDIA позиционирует NitroGen как исследовательский проект, однако потенциальные применения выходят далеко за рамки лаборатории. Разработчики игр могут использовать модель для автоматизированного тестирования сборок и обнаружения багов. Исследователи ИИ получают открытую платформу для изучения обобщённого воплощённого интеллекта.

Создатели контента могут генерировать демонстрационные прохождения без участия человека. Для людей с ограниченными возможностями технология открывает новые способы взаимодействия с играми. Все компоненты проекта — веса модели, датасет и код — опубликованы в открытом доступе на Hugging Face.

Ограничения и перспективы развития NitroGen

Текущая версия NitroGen оптимизирована для игр с управлением геймпадом и менее эффективна для жанров, требующих мыши и клавиатуры — стратегий в реальном времени и MOBA. Модель фокусируется на быстрых моторных реакциях («геймерском инстинкте»), а не на долгосрочном стратегическом планировании.

NVIDIA рассматривает NitroGen как первый шаг к созданию универсальных воплощённых агентов, способных действовать в произвольных физических и виртуальных мирах. Долгосрочная цель — системы, для которых управление роботом станет столь же естественным, как управление игровым персонажем.

---

Вам также может быть интересно:

• Модель Rnj-1 от Essential AI: революция в кодинге!
• Жидкий робот 2025: как создали 5 реальных технологий из Терминатора
• Робот строитель: новости в строительной индустрии 2025 года

Источники:

• NVIDIA NitroGen — Hugging Face
• NitroGen: A Foundation Model for Generalist Gaming Agents
• Tom’s Hardware: Nvidia-led NitroGen is a generalist video gaming AI