Как запустить NVIDIA Nemotron-Labs-TwoTower: диффузионная LLM в 2.4 раза быстрее

NVIDIA Nemotron-Labs-TwoTower -- это первая диффузионная языковая модель (Diffusion LLM) от NVIDIA, выпущенная 2 июля 2026 года. Она работает принципиально иначе, чем привычные GPT-подобные модели: вместо генерации текста токен за токеном она «шумит» полный ответ целиком и постепенно его уточняет, как при генерации изображений в Stable Diffusion. Результат -- 2.42-кратное увеличение скорости генерации при сохранении 98.7% качества относительно авторегрессионного базового уровня.

Технически TwoTower -- это «двухбашенная» архитектура поверх замороженных весов Nemotron-3-Nano-30B-A3B. Первая башня кодирует контекст (как обычный авторегрессионный LLM), вторая башня занимается диффузным шумоподавлением. Всего около 60 млрд параметров суммарно (30B на башню), при этом пользовательские веса, которые вы скачиваете, -- только второй башни, так как первая башня заморожена. Это делает файнтюн и адаптацию модели относительно дешёвыми.

Для кого этот инструмент:

Важный контекст: TwoTower -- не замена для чат-ботов вроде Claude или ChatGPT. Это инфраструктурная модель для разработчиков, которые хотят локально и быстро генерировать большие объёмы текста. Для интерактивного диалога задержка диффузионного декодинга пока менее выгодна, чем у стриминга авторегрессионных моделей. Выигрыш наступает при пакетной обработке -- когда нужно сгенерировать сотни или тысячи текстов за минимальное время.

Ещё один важный момент: архитектурный эксперимент NVIDIA имеет большое значение для будущего AI. Если диффузионные LLM докажут свою эффективность на более широком круге задач, они могут изменить то, как строятся языковые модели следующего поколения. TwoTower -- первый шаг крупного вендора в этом направлении, и именно поэтому сообщество исследователей встретило релиз с интересом.

TwoTower -- полностью открытая модель без подписок и платных API. Для работы нужны: аккаунт на HuggingFace, Python-окружение и NVIDIA GPU с достаточным объёмом VRAM.

Требования к железу. Минимум: GPU с 24 ГБ VRAM для запуска в BF16 (RTX 3090, RTX 4090, A100 40G). Для оптимизированного запуска с quantization рекомендуется A100 80G или H100. На потребительских GPU с 24 ГБ модель запускается, но может работать медленнее из-за ограничений пропускной способности памяти. Для CPU-запуска -- крайне медленно, не рекомендуется.

Шаг 1: аккаунт на HuggingFace. Создайте аккаунт на huggingface.co. Перейдите на страницу nvidia/Nemotron-Labs-TwoTower-30B-A3B-Base-BF16 и примите условия лицензии NVIDIA Nemotron Open Model License (разрешает коммерческое использование). Создайте токен в Settings -- Access Tokens с правом Read.

Шаг 2: установка необходимых зависимостей Python.

pip install transformers accelerate torch huggingface_hub
pip install diffusers  # для диффузионного пайплайна

Шаг 3: авторизация в HuggingFace CLI. Запустите команду и введите токен доступа из личного кабинета HuggingFace:

huggingface-cli login

Токен сохраняется локально и не нужно вводить повторно при каждом запуске.

Шаг 4: скачивание и первый запуск.

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_id = 'nvidia/Nemotron-Labs-TwoTower-30B-A3B-Base-BF16'
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map='auto'
)

prompt = 'Объясните принцип работы диффузионных языковых моделей:'
inputs = tokenizer(prompt, return_tensors='pt').to('cuda')
outputs = model.generate(**inputs, max_new_tokens=200)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

Шаг 5: включение диффузионного режима. Стандартный пайплайн transformers использует авторегрессионный декодинг. Для активации диффузионного режима (где и достигается 2.42x ускорение) используйте специализированный скрипт из официального GitHub-репозитория NVIDIA Nemotron -- там реализован блочный диффузионный декодер, который генерирует несколько токенов за один проход.

После установки рекомендуем протестировать модель в нескольких сценариях, чтобы понять её реальные возможности и ограничения.

Тест 1: базовое завершение текста (text completion). Дайте модели незаконченное предложение или начало документа и оцените, насколько плавно и точно она его завершает. TwoTower обучена как базовая (base) модель, а не как инструктивная (instruct) -- это значит, что она лучше работает с завершением текста, а не с ответами на вопросы в формате чата.

Тест 2: batch inference. Подайте модели сразу 10-20 разных промптов за один вызов. Это главный сценарий, где диффузионный режим даёт реальный выигрыш. Измерьте общее время генерации и сравните с авторегрессионным режимом того же Nemotron-Nano-30B.

Тест 3: генерация кода. TwoTower обучена на стандартном тексте и коде. Попробуйте задачи по программированию: напишите функцию сортировки на Python, объясните алгоритм, реализуйте простую утилиту. Базовый класс модели (без инструктивного файнтюна) лучше работает как автодополнение кода, чем как агент.

Тест 4: анализ длинных контекстов. Модель поддерживает контекстное окно до 32K токенов в базовой версии. Подайте длинный документ и попросите модель его продолжить. Оцените, сохраняет ли она когерентность на больших расстояниях.

Тест 5: сравнение режимов декодинга. Запустите один и тот же промпт дважды -- в авторегрессионном и диффузионном режиме. Сравните не только скорость (tokens/second), но и качество вывода. На небольших батчах разница в скорости меньше, на больших -- значительнее.

Для более глубокого изучения воспользуйтесь Jupyter-ноутбуками из официального репозитория NVIDIA на GitHub -- там есть примеры настройки диффузионного декодера, примеры файнтюна и бенчмаркинга производительности на разных GPU и размерах батчей.

Совет по первому запуску: если у вас ограниченный VRAM (24 ГБ), начните с квантизированной версии модели в int8 или int4 -- потребление памяти снизится примерно вдвое. NVIDIA планирует выпустить официальные квантизированные чекпоинты; пока доступны сторонние конвертации от сообщества на HuggingFace.

Диффузионная архитектура -- принципиально новый подход к генерации текста. Авторегрессионные модели (GPT, Claude, Llama) генерируют текст последовательно: один токен за другим, каждый следующий зависит от предыдущих. Диффузионные LLM генерируют весь ответ сразу в виде случайного шума, а затем итеративно его уточняют. Это открывает принципиально другой путь к масштабированию скорости -- параллельным hardware диффузионный процесс оптимизируется иначе, чем последовательный авторегрессионный.

2.42x ускорение без ухудшения качества. NVIDIA измеряла wall-clock throughput (реальное время на GPU): TwoTower генерирует 2.42 раза больше токенов в секунду при сохранении 98.7% качества относительно авторегрессионного базового уровня по aggregate benchmark. Это достигается за счёт того, что блочный диффузионный декодер генерирует несколько токенов за один прямой проход через нейросеть.

Retrofit без полного предобучения. Ключевой инженерный трюк TwoTower: первая башня (авторегрессионная) заморожена и не требует переобучения. Вы берёте уже существующие хорошие веса Nemotron Nano, клонируете их дважды, замораживаете одну копию и файнтюните только вторую (диффузионный шумоподавитель) на 2.1T токенов. Это на порядок дешевле, чем обучать диффузионную модель с нуля.

Коммерческая лицензия NVIDIA Nemotron Open Model License. В отличие от ряда открытых моделей с ограничениями на коммерческое использование, TwoTower разрешает производственное применение без дополнительных соглашений. Это важно для компаний, которые хотят встроить модель в свои продукты.

Совместимость с экосистемой Nemotron. TwoTower построена поверх Nemotron-3-Nano-30B-A3B, который является частью широкой линейки NVIDIA. Это означает, что инструменты оптимизации, квантизации (TensorRT-LLM) и деплоя (NVIDIA NIM) уже адаптированы или будут адаптированы под эту архитектуру.

Открытый код обучения и инференса. Вместе с весами NVIDIA опубликовала код обучения диффузионной башни и полный пайплайн инференса. Исследователи могут воспроизвести результаты и адаптировать архитектуру для своих нужд -- например, обучить диффузионную башню поверх других базовых моделей.

Стоимость использования. Модель полностью бесплатна: скачивайте веса с HuggingFace и запускайте локально без каких-либо платежей. Единственная реальная «стоимость» -- вычислительные ресурсы. Если у вас нет подходящего GPU, облачные GPU (RunPod, Lambda Labs, Google Colab Pro+) обойдутся примерно от 1 до 3 долларов в час для A100/H100.

Требования к инфраструктуре. GPU NVIDIA с CUDA -- обязательное условие. Минимум 24 ГБ VRAM для запуска в BF16 без квантизации. Размер модели на диске: около 60 ГБ для полных весов. Время скачивания зависит от скорости соединения -- крупные файлы на HuggingFace скачиваются параллельно через git-lfs.

Лицензионные условия. NVIDIA Nemotron Open Model License разрешает коммерческое использование, создание производных работ, дистрибуцию. Запрещено использование для разработки конкурирующих фундаментальных моделей (anti-competitive clause, стандартная практика для больших открытых моделей). Полный текст лицензии на странице модели на HuggingFace.

Технические ограничения. TwoTower -- базовая (base) модель, не fine-tuned для инструкций или диалога. Для использования как ассистент требуется дополнительный RLHF/SFT файнтюн -- это серьёзная работа, недоступная большинству индивидуальных разработчиков без дорогостоящей инфраструктуры. Диффузионный режим дал ускорение преимущественно в batch inference; для одиночных коротких ответов авторегрессионные модели могут быть быстрее из-за разогрева диффузионного процесса. Контекстное окно базовой модели -- 32K токенов.

Статус на момент написания. Модель выпущена как исследовательский чекпоинт (base), официально поддерживаемый NVIDIA. Дальнейшее развитие (instruct-версии, оптимизации для TensorRT-LLM, более широкий диапазон размеров) ожидается в следующих обновлениях -- следите за страницей на HuggingFace и официальным блогом NVIDIA Research.

HuggingFace, откуда скачиваются веса TwoTower, доступен из России без VPN. Скачивание весов бесплатно и не требует ничего, кроме аккаунта и принятых условий лицензии. Размер файлов большой (около 60 ГБ), поэтому убедитесь в стабильности соединения или используйте утилиту huggingface-cli download с автоматическим возобновлением загрузки.

Страница модели и документация NVIDIA на GitHub также открыты из России без каких-либо ограничений. Форумы NVIDIA Developer (для технических вопросов) доступны без VPN.

Облачные платформы для аренды GPU (RunPod, Lambda Labs) могут иметь ограничения на регистрацию с российских карт. Для оплаты используйте криптовалюту (Bitcoin, USDT) -- большинство GPU-провайдеров принимают её. После регистрации использование GPU-сервиса через SSH работает без VPN.

Если у вас есть собственный подходящий GPU (RTX 3090, RTX 4090 или серверная карта), никаких ограничений нет вообще: скачайте веса, запустите локально и работайте полностью автономно без зависимости от внешних сервисов и геополитических ограничений.

Для тех, кто изучает диффузионные LLM в исследовательских или образовательных целях: Google Colab Pro+ с T4/A100 доступен через обычный Google-аккаунт и без VPN, хотя производительность T4 будет ограниченной для модели такого размера.

Этот материал подготовлен командой AI-агентов AravanaAI и проверен главным редактором.