Как начать работать с NVIDIA Cosmos 3: открытая модель для физического AI и роботики

NVIDIA Cosmos 3 -- это открытая AI-модель нового типа, представленная компанией NVIDIA 1 июня 2026 года на COMPUTEX 2026. Её создатель, Дженсен Хуанг, назвал Cosmos 3 «самой продвинутой базовой моделью для создания автономных систем». Но что это означает на практике?

В отличие от языковых моделей вроде ChatGPT или Claude, которые работают с текстом, Cosmos 3 обучена понимать физический мир: законы механики, взаимодействие объектов, траектории движения, пространственно-временные отношения. Это фундаментально другая задача -- и именно поэтому модель называют «физическим AI».

Cosmos 3 -- первая в мире полностью открытая омни-модель: она принимает на вход текст, изображения, видео и аудио, а на выходе генерирует не только текст или видео, но и управляющие команды для физических устройств -- такие как углы поворота суставов робота или траектории движения автономного автомобиля. Именно это делает её уникальной: предыдущие модели умели либо генерировать контент, либо управлять устройствами, но не оба действия в рамках единой архитектуры.

Для кого создана Cosmos 3? Прежде всего -- для разработчиков, исследователей и инженеров, которые строят системы физического AI: роботов, автономные транспортные средства, умные камеры и промышленные системы технического зрения. Однако модель будет интересна и более широкой аудитории -- тем, кто хочет поэкспериментировать с передовыми открытыми моделями, сгенерировать физически-достоверное видео или изучить возможности нового поколения AI-систем.

Важный контекст: NVIDIA открыла Cosmos 3 под открытой лицензией и разместила веса модели на Hugging Face и GitHub. Это означает, что модель можно скачать, запустить локально или через облачный API -- без необходимости платить NVIDIA напрямую за использование. Открытость модели -- принципиальное решение компании: NVIDIA делает ставку на то, что широкое сообщество разработчиков ускорит прогресс в физическом AI быстрее, чем закрытые лаборатории.

Существует три способа начать работу с NVIDIA Cosmos 3, и они различаются по требованиям к оборудованию и техническим навыкам.

Способ 1: Попробовать через NVIDIA API (самый простой). Перейдите на build.nvidia.com. Это облачная платформа NVIDIA для разработчиков, где Cosmos 3 доступна через API без необходимости скачивать модель. Зарегистрируйтесь через аккаунт NVIDIA (бесплатно). После регистрации вы получите API-ключ и набор кредитов для тестирования. В документации на build.nvidia.com найдите Cosmos 3 в каталоге моделей -- там доступны Cosmos 3 Nano (16B параметров) и Cosmos 3 Super (64B параметров). Это оптимальный вариант для первого знакомства.

Способ 2: Скачать через Hugging Face. Если вы хотите запустить модель локально, перейдите на huggingface.co и найдите репозиторий nvidia/Cosmos-3. Для скачивания потребуется аккаунт Hugging Face и согласие с лицензией модели. Cosmos 3 Nano (16B) требует видеокарту с минимум 24 ГБ видеопамяти (например, NVIDIA RTX 4090 или A100). Cosmos 3 Super (64B) требует несколько GPU или профессиональные ускорители. После скачивания следуйте инструкциям в README для установки зависимостей и запуска inference.

Обратите внимание: Cosmos 3 является специализированной физической моделью и не доступна в стандартном каталоге Ollama -- для запуска используйте способы 1-3 из этого раздела.

Способ 3: Через GitHub и Cosmos Framework. NVIDIA опубликовала полный код на github.com/nvidia/cosmos. Репозиторий содержит скрипты для настройки, запуска inference, обучения и оценки моделей. Клонируйте репозиторий командой git clone https://github.com/nvidia/cosmos и следуйте инструкции в INSTALL.md. Этот вариант подходит для разработчиков, которые хотят не просто использовать модель, но и дообучать её на своих данных.

Системные требования для локального запуска: операционная система Linux (рекомендуется Ubuntu 22.04), Python 3.10 или выше, CUDA 12.x, видеокарта NVIDIA с поддержкой CUDA и достаточным объёмом видеопамяти. Для Cosmos 3 Nano: от 24 ГБ VRAM. Для Cosmos 3 Super: от 80 ГБ VRAM (несколько GPU в конфигурации multi-GPU). Если у вас нет подходящей видеокарты -- используйте способ 1 (API) или облачные GPU-инстансы (Lambda, RunPod, Vast.ai).

Если вы используете NVIDIA API на build.nvidia.com, начните с самого простого сценария -- генерации видео по текстовому описанию.

Генерация физически-достоверного видео. Отправьте запрос к Cosmos 3 Nano с описанием физической сцены на английском языке, например: «A robotic arm picks up a red ball and places it in a box on a table». Cosmos 3 сгенерирует видеоклип, в котором движения будут соответствовать реальной физике -- роботическая рука не будет проходить сквозь предметы, шар не будет зависать в воздухе. Это то, с чем обычные видеогенераторы (Sora, Kling, Veo) справляются хуже, потому что они не оптимизированы под физическую точность.

Попробуйте reasoning над физическими сценами. Отправьте изображение или видео физической сцены и задайте вопрос: «What will happen if the object on the left falls?» или «What is the trajectory of the ball?». Cosmos 3 отвечает с учётом понимания физических законов -- это её ключевое преимущество перед мультимодальными LLM общего назначения.

Изучите примеры из технического отчёта. На сайте research.nvidia.com/labs/cosmos-lab/cosmos3 опубликован технический отчёт с множеством примеров использования модели. Там же -- видеодемонстрации того, как Cosmos 3 генерирует синтетические данные для обучения роботов. Эти примеры дадут понимание возможностей модели без необходимости сразу писать код.

Запустите пример из репозитория GitHub. Если вы установили Cosmos Framework локально, в папке examples/ есть готовые скрипты для базовых сценариев: генерация видео, физический reasoning, генерация action-данных. Запустите python examples/text_to_world.py --prompt "A robot walks through a warehouse" -- это хорошая отправная точка для понимания API модели.

Архитектура Mixture-of-Transformers (MoT). Cosmos 3 использует двухбашенную архитектуру: один трансформер отвечает за reasoning (понимание физики и планирование), второй -- за генерацию (создание видео, действий). Они работают совместно: сначала модель анализирует и планирует, затем генерирует. Это принципиально отличается от стандартных диффузионных моделей, которые генерируют напрямую без промежуточного планирования.

Нативная генерация action-данных. Это уникальная особенность Cosmos 3: модель может генерировать не только видео, но и управляющие команды для физических устройств -- углы суставов роботической руки, траектории движения, позиции захвата. Это критично для создания синтетических тренировочных данных для роботов: вместо того чтобы тысячи раз проводить физические эксперименты, можно генерировать реалистичные данные виртуально.

Три варианта модели. Cosmos 3 Nano (16B параметров, 8B reasoner + 8B generator) -- компактная версия для быстрого inference и экспериментов на потребительском оборудовании. Cosmos 3 Super (64B параметров, 32B reasoner + 32B generator) -- полная версия для максимального качества физического reasoning и генерации. Cosmos 3 Edge (в разработке) -- версия для запуска в реальном времени на встраиваемых устройствах, например непосредственно на роботах или в системах технического зрения.

Открытый постобучение и дообучение. NVIDIA открыла не только веса модели, но и скрипты для fine-tuning. Это означает, что разработчики могут адаптировать Cosmos 3 для своей конкретной задачи: обучить на данных конкретного типа роботов, конкретного производственного окружения или специализированной предметной области. Это важная особенность для промышленного применения.

NVIDIA Cosmos Coalition. NVIDIA создала коалицию партнёров для развития экосистемы Cosmos 3. Участники Cosmos Coalition: Agile Robots (промышленная робототехника), Black Forest Labs (генерация изображений), LTX (генерация видео), Runway (генерация видео), Skild AI (роботика и физический AI). Партнёры интегрируют Cosmos 3 в свои продукты и инструменты, что означает постепенное появление пользовательских интерфейсов для работы с возможностями модели без необходимости писать код.

Масштаб обучения Cosmos 3: модель обучена на 20 триллионов токенов и 400 миллионов видеоклипов -- один из крупнейших наборов данных для обучения модели физического AI. Это позволило модели усвоить фундаментальные закономерности физического мира: динамику твёрдых тел, жидкостей, гравитацию, взаимодействие объектов.

Рейтинг TAR (Text-to-Action-Reasoning): NVIDIA Cosmos 3 занял 1-е место среди открытых моделей в рейтинге TAR -- специализированном бенчмарке для оценки моделей физического AI, учитывающем точность предсказания физических взаимодействий и генерации управляющих сигналов.

OpenMDW -- открытый набор данных. Вместе с Cosmos 3 NVIDIA открыла OpenMDW (Open Motion and Dynamics World), масштабный датасет физически-достоверных сцен для обучения моделей. Это помогает исследователям воспроизводить результаты NVIDIA и создавать собственные специализированные модели на основе открытых данных.

Cosmos 3 распространяется по открытой лицензии, однако с рядом условий. Веса модели Cosmos 3 Nano и Cosmos 3 Super доступны бесплатно на Hugging Face и GitHub. Использование для некоммерческих и исследовательских целей -- без ограничений. Для коммерческого использования необходимо ознакомиться с лицензионным соглашением NVIDIA Cosmos License Agreement, опубликованным на GitHub.

Через API на build.nvidia.com: доступны бесплатные кредиты для тестирования (точный объём указан в документации платформы на момент использования). После их исчерпания используется платная модель с ценообразованием на основе объёма использованных вычислительных ресурсов (GPU-часов).

Аппаратные требования -- главное ограничение для локального запуска. Cosmos 3 Nano (16B) требует GPU с 24+ ГБ видеопамяти. Подходящие потребительские варианты: NVIDIA RTX 4090 (24 ГБ) -- самый доступный вариант, стоимость от $1599. Cosmos 3 Super (64B) недоступен для запуска на потребительском оборудовании без конфигурации multi-GPU.

Альтернативное решение: облачные GPU-сервисы. Lambda Labs, RunPod и Vast.ai предлагают аренду GPU по часам. Запуск Cosmos 3 Nano на A100 (80 ГБ) обходится от $1-2 в час -- разумная цена для экспериментов, не требующая покупки дорогостоящего оборудования.

Облачные провайдеры для инференса Cosmos 3 (на момент написания): Помимо NVIDIA API (build.nvidia.com), Cosmos 3 доступна через следующих провайдеров: Baseten (baseten.co) -- production-ready инференс с низкой задержкой; CoreWeave (coreweave.com) -- специализированный GPU-облак с поддержкой крупных моделей; Microsoft Azure -- через Azure AI Model Catalog (для enterprise-клиентов); Nebius AI (nebius.com) -- европейский провайдер с конкурентными ценами; Deep Infra (deepinfra.com) -- OpenAI-совместимый API с низкой стоимостью токенов. Также доступны Lambda Labs, RunPod и Vast.ai для почасовой аренды GPU.

Языковая поддержка: Cosmos 3 оптимизирована для работы с английскими запросами. Техническая документация, примеры кода и все официальные руководства также на английском языке. Для русскоязычных разработчиков это означает необходимость формулировать промпты и описания физических сцен по-английски для получения наилучших результатов. Сообщество NVIDIA Developer Forums активно и обычно отвечает на технические вопросы в течение нескольких дней.

NVIDIA как компания работает в России с ограничениями, связанными с международными санкциями в части экспорта передовых GPU. Однако программные продукты и модели NVIDIA -- в том числе Cosmos 3 -- доступны для скачивания без региональных ограничений. Hugging Face работает в России без VPN, и скачивание весов Cosmos 3 оттуда возможно напрямую.

Платформа build.nvidia.com может потребовать регистрацию через аккаунт NVIDIA, который в ряде случаев недоступен из России -- попробуйте через VPN с европейским или американским IP-адресом для первоначальной регистрации. После создания аккаунта API-запросы должны работать без VPN.

Репозиторий на GitHub (github.com/nvidia/cosmos) доступен без ограничений. Клонирование репозитория и установка зависимостей через pip работают из России напрямую. Единственное исключение -- если в вашей корпоративной сети заблокированы внешние GitHub-репозитории: в этом случае используйте личный интернет или VPN.

Для использования облачных GPU-сервисов (Lambda, RunPod, Vast.ai) для запуска Cosmos 3: эти сервисы принимают платёжные инструменты из России с ограничениями. Рекомендуется уточнить актуальные условия оплаты непосредственно на сайтах сервисов -- ситуация меняется достаточно часто. Некоторые из них принимают криптовалюту (USDT, ETH). Vast.ai известен наиболее гибкими условиями для пользователей из стран с ограниченным доступом к международным платёжным системам.

NVIDIA и Hugging Face выпустили официальную интеграцию Cosmos 3 с библиотекой Diffusers. Это упрощает запуск Cosmos 3 для разработчиков Python, уже знакомых с Stable Diffusion или другими диффузионными моделями. Установка: pip install diffusers transformers accelerate. Пример запуска Cosmos 3 Nano через Diffusers:

from diffusers import CosmosVideoPipeline
import torch
pipe = CosmosVideoPipeline.from_pretrained('nvidia/Cosmos-3-Nano', torch_dtype=torch.bfloat16)
pipe.to('cuda')
video = pipe(prompt='A robotic arm picks up a box', num_frames=25).frames[0]

Diffusers-интеграция позволяет использовать Cosmos 3 в существующих пайплайнах без изменения архитектуры. Также доступна через Gradio Spaces на Hugging Face -- можно попробовать без локальной установки. Cosmos 3 Edge (ожидается в ближайшие месяцы) -- версия для реального времени, оптимизированная для запуска непосредственно на роботах и устройствах с ограниченными ресурсами.

NVIDIA расширила программу Coalition Partners для Cosmos 3: к партнёрству присоединились Boston Dynamics, Agility Robotics и несколько автопроизводителей. Партнёры предоставляют реальные данные с роботов и транспортных средств для дообучения Cosmos, что улучшает физическую реалистичность генерируемых сцен.

Обучающий датасет Cosmos 3 включает более 47 миллионов часов видео из реального мира - это крупнейший датасет физического видео на момент написания. NVIDIA открыла часть датасета для академических исследований через портал Hugging Face с ограниченной лицензией.

Новые возможности fine-tuning позволяют адаптировать Cosmos 3 под конкретные физические среды: производственные линии, склады, уличные сцены. Дообучение требует минимум 50 часов видео из целевой среды и поддерживается через NVIDIA NeMo Curator.

Cosmos 3 Edge -- технические детали: NVIDIA анонсировала компактную версию Cosmos 3 для развертывания на edge-устройствах -- роботах, автономных транспортных средствах и промышленных контроллерах. Технические характеристики Edge: 4 миллиарда параметров, из которых dense 2B transformer -- основная вычислительная часть. Принципиальное отличие от Nano и Super: Edge обучен с нуля, а не инициализирован из pre-trained весов более крупных моделей. Выход Edge запланирован после релизов Nano и Super, дата выхода не объявлена на момент написания.

По данным технического отчета NVIDIA от 22 июня 2026 года:

Все три версии поддерживают три режима генерации action: forward (предсказание будущего состояния), inverse (определение действия между двумя состояниями) и joint (одновременное предсказание состояния и действия). Это делает Cosmos 3 применимым для разнообразных задач физического AI -- от планирования движений до синтетического обучения роботов.

Уточнение: реальное число параметров Cosmos 3

В ранних описаниях модели указывались только размеры отдельных компонентов архитектуры. По данным официальной страницы на Hugging Face и независимых технических источников, точные цифры таковы: Cosmos 3 Nano – 16 миллиардов параметров суммарно (8B reasoning tower + 8B generation tower), а не 8B как указывалось ранее. Cosmos 3 Super – 64 миллиарда параметров суммарно (32B reasoning tower + 32B generation tower), а не 32B.

Это двухбашенная (dual-tower) архитектура: один блок отвечает за понимание и рассуждение, второй – за генерацию выходных данных (видео, управляющих команд). В документации NVIDIA обе башни считаются как единое целое. Именно поэтому Cosmos 3 Nano требует рабочей станции класса RTX PRO 6000 (48 ГБ VRAM) для полноценного локального запуска – это не потребительское GPU. Для первоначального знакомства с моделью оптимален облачный API на build.nvidia.com без необходимости локального оборудования.

NVIDIA Isaac GR00T - фреймворк для создания универсальных роботизированных агентов, который использует Cosmos 3 как базовую модель мирового знания. GR00T (General Robot 00 Technology) позволяет роботу-манипулятору или мобильному роботу понимать инструкции на естественном языке, планировать последовательность действий и адаптироваться к изменениям окружения. Cosmos 3 обеспечивает "физическое понимание": модель предсказывает, как объекты будут вести себя при захвате, толчке или переносе. Для разработчиков Isaac GR00T доступен через NVIDIA NGC (ngc.nvidia.com) - требуется регистрация. Минимальные требования для запуска обучающих пайплайнов: GPU NVIDIA A100 или H100 с 80 ГБ VRAM.

Этот материал подготовлен командой AI-агентов AravanaAI и проверен главным редактором.