Как начать пользоваться TwelveLabs: AI-поиск и анализ видео

TwelveLabs - это платформа видеоинтеллекта, которая позволяет искать в видеоархивах по смыслу, а не по тегам и ключевым словам. Вы вводите запрос на естественном языке - "момент, когда докладчик говорит о маркетинговой стратегии" или "сцена, где собака бежит по пляжу" - и система находит нужные фрагменты в библиотеке из тысяч часов видео за секунды. Никаких меток, никакой ручной разметки.

В июле 2026 компания привлекла 100 миллионов долларов в раунде Series B при участии Amazon, NEA и NAVER Ventures. Это сделало TwelveLabs одним из самых капитализированных стартапов в нише видеоИИ и подтвердило, что рынок поиска и анализа видео считается следующей крупной волной после текстового AI.

Платформа строится на двух ключевых моделях. Marengo 3.0 - это система понимания видео: она превращает каждый кадр, каждый звук и каждое слово в семантический вектор, по которому можно делать поиск. Pegasus 1.5 - это система рассуждений поверх видео: она строит временные сегменты, извлекает сущности, создаёт резюме, отвечает на вопросы по видео в режиме диалога.

Для кого предназначен инструмент. Медиакомпании и телеканалы, которым нужно искать в архивах тысяч часов видеозаписей. Юридические компании, работающие с видеодоказательствами. Команды маркетинга и брендинга, которые хотят находить нужные моменты в большом объёме пользовательского контента. Образовательные платформы, которые хотят сделать лекции и вебинары доступными для поиска. Разработчики, встраивающие видеопоиск в собственные приложения через API. Контент-команды, работающие с большими объёмами видео и тратящие часы на ручной просмотр.

TwelveLabs - это прежде всего платформа для разработчиков и команд с реальными видеоархивами. Для случайного просмотра коротких клипов инструмент избыточен. Но если у вас есть хотя бы десяток часов видеозаписей, которые нужно сделать доступными для поиска, TwelveLabs окупает время на интеграцию уже за первую неделю.

TwelveLabs - облачная платформа, не требующая установки. Работа происходит через веб-интерфейс на twelvelabs.io и через API. Для начала работы нужен только браузер.

Шаг 1. Перейдите на twelvelabs.io и нажмите Get Started Free. Регистрация возможна через Google аккаунт (рекомендуется для простоты) или через электронную почту с паролем. После подтверждения email аккаунт активируется мгновенно.

Шаг 2. После входа вы попадаете в Dashboard - главный экран платформы. Здесь отображаются ваши индексы (Indexes), задачи обработки видео (Tasks) и API ключи. На старте вам предоставляется бесплатный тариф с лимитом обработки видео - точные цифры указаны в разделе Billing вашего аккаунта.

Шаг 3. Создайте первый индекс. Нажмите Create Index в левом меню. Индекс в TwelveLabs - это аналог базы данных для набора видео. Один индекс может содержать от нескольких роликов до тысяч часов видео. Задайте имя индекса (например, "Онлайн-курсы 2026" или "Архив вебинаров") и выберите модель: для большинства задач подходит Marengo 3.0. Если нужен диалог с видео и извлечение структурированных данных, включите также Pegasus 1.5.

Шаг 4. Загрузите видео в индекс. Кликните Upload Videos. Поддерживаются форматы MP4, MOV, AVI, MKV и большинство других популярных форматов. Загрузка осуществляется напрямую через браузер или по URL видеофайла на внешнем сервере. Для больших объёмов видео (более 100 файлов) рекомендуется использовать API с пакетной загрузкой - это быстрее, чем браузерный интерфейс.

Шаг 5. Дождитесь окончания индексирования. После загрузки TwelveLabs анализирует видео: распознаёт речь, описывает визуальные сцены, строит семантические векторы для каждого фрагмента. Время обработки зависит от длины видео: обычно 1-2 минуты анализа на каждые 10 минут видео. Прогресс виден в разделе Tasks.

Шаг 6. Для доступа через API перейдите в раздел API Keys и создайте ключ. Ключ нужен для интеграции TwelveLabs в ваши собственные приложения или скрипты на Python, JavaScript или любом другом языке с поддержкой HTTP.

После того как хотя бы одно видео прошло индексирование, переходите в раздел Search. Здесь вы увидите строку поиска и выпадающий список с вашими индексами.

Выберите индекс с загруженными видео и введите первый запрос. Начните с простого: если загрузили запись вебинара, спросите "момент, когда говорят о ценах" или "фрагмент с вопросами аудитории". TwelveLabs вернёт список найденных фрагментов с временными метками и скриншотом из каждого момента. Кликните на результат - откроется видеоплеер с воспроизведением ровно с нужного момента.

Попробуйте более сложные запросы. "Момент, когда докладчик улыбается" - система работает с эмоциями. "Сцена с демонстрацией экрана ноутбука" - работает с визуальными объектами. "Фрагмент, где упоминают конкурентов" - работает со смыслом сказанного, а не просто транскрипцией. Все эти запросы отвечают одинаково быстро вне зависимости от длины видео в индексе.

Функция Generate (генерация текста из видео). Откройте раздел Generate и выберите видео из индекса. Вы можете попросить: "Напиши резюме этого видео", "Составь список ключевых тезисов", "Создай главы с таймкодами". Это работает через Pegasus 1.5, который не просто пересказывает транскрипцию, но анализирует визуальный контекст и структуру повествования. Результат можно экспортировать как JSON или текст.

Попробуйте Conversation (диалог с видео). В разделе Conversation выберите видео и начните задавать вопросы в чате: "Что показывают на слайде на 15-й минуте?", "Какие три главных вывода из этого видео?", "Есть ли в видео упоминание цены продукта?". Pegasus 1.5 отвечает на основе полного понимания видеоконтента, включая то, что показано на экране, и то, что произнесено вслух.

Если вы разработчик, откройте документацию на docs.twelvelabs.io. Там есть готовые примеры на Python и JavaScript для поиска, индексирования и генерации. Стандартная интеграция занимает несколько часов: загрузить видео через API, дождаться задачи индексирования, запустить поисковый запрос, обработать результат. SDK для Python поддерживает асинхронные операции и автоматическое отслеживание статуса задач.

Мультимодальный поиск через Marengo 3.0. Модель понимает сразу три потока данных из видео: визуальный ряд (что происходит на экране), аудио (что говорят и какие звуки слышны) и транскрипцию речи (точный текст диалога). При поиске все три потока используются одновременно: запрос "момент с аплодисментами" найдёт фрагменты как по звуку хлопков, так и по видео движущихся ладоней. Это недоступно в системах, работающих только с транскрипцией или только с метаданными.

Точность на больших архивах. Marengo 3.0 индексирует каждую секунду видео, а не только ключевые кадры. Это значит, что даже короткая реплика, произнесённая вскользь в середине часового вебинара, будет найдена поиском. В тестах на корпусах из тысяч часов видео TwelveLabs показывает точность поиска на уровне выше 90%, что примерно соответствует качеству ручной разметки профессиональными архивистами.

Pegasus 1.5 и диалог с видео. После индексирования видео превращается в "базу знаний", с которой можно разговаривать. Pegasus генерирует не просто транскрипт - он понимает структуру повествования, выделяет ключевые моменты, отвечает на фактические вопросы по содержанию. Это открывает новые сценарии: поиск по юридическим записям суда, анализ учебных видео, мониторинг брендовых упоминаний в пользовательских видео на YouTube или TikTok.

API-первая архитектура. TwelveLabs изначально создан для встраивания в чужие продукты. SDK для Python, JavaScript и Java, вебхуки для уведомлений об окончании задач, потоковая загрузка для видео в реальном времени. Один из ключевых сценариев - медиамониторинг: компания загружает новостные сюжеты из эфира и сразу делает их доступными для поиска. Другой сценарий - образовательная платформа, делающая все лекции доступными через умный поиск без ручной разметки.

Поддержка языков. TwelveLabs поддерживает речь на более чем 30 языках, включая русский. Точность транскрипции для русского языка высокая, что делает платформу полезной для российских медиаarchive и образовательных платформ. Поиск можно осуществлять как на языке оригинала, так и на другом языке: если видео на русском, можно искать на английском, и система найдёт нужный фрагмент через семантическое сопоставление.

TwelveLabs предлагает бесплатный тариф с лимитом индексирования видео - это удобно для тестирования и небольших проектов. Точные лимиты и цены платных тарифов нужно проверять на twelvelabs.io, поскольку тарифная сетка периодически обновляется. На момент написания в 2026 году платные тарифы включали стартовый план для индивидуальных разработчиков и корпоративный план с SLA и поддержкой. Стоимость обычно рассчитывается по часам проиндексированного видео.

Ключевые ограничения. Максимальная длина одного видео на бесплатном тарифе ограничена (уточняйте актуальные значения в документации). Поддерживаемые форматы: MP4, MOV, AVI, MKV, WebM. Максимальный размер одного файла - 2 ГБ при загрузке через браузер; для более крупных файлов нужна загрузка по URL или через API. Количество индексов на бесплатном аккаунте также ограничено.

Время индексирования. TwelveLabs не работает в режиме реального времени - видео нужно загрузить и подождать обработки. Для стримов и прямых трансляций доступна отдельная функция live indexing в API, но на бесплатном тарифе она недоступна. Скорость обработки: примерно 1-2 минуты на 10 минут видео при нормальной нагрузке на серверы.

Коммерческое использование. Проиндексированные видео и результаты поиска можно использовать в коммерческих проектах в рамках условий тарифного плана. Важно: TwelveLabs не использует загруженные пользователями видео для обучения своих моделей - это явно указано в политике конфиденциальности. Для корпоративных клиентов доступен Business Associate Agreement (BAA), что важно для медицинских и юридических организаций.

TwelveLabs работает в России без VPN. Сайт twelvelabs.io доступен, веб-интерфейс загружается без ограничений, API работает напрямую. Сервис не вводил геоблокировку для российских IP-адресов и не числится в реестре Роскомнадзора.

Единственная сложность - оплата. TwelveLabs принимает международные карты Visa и Mastercard. Российские карты с привязкой к банкам под санкциями не проходят оплату. Для оплаты из России подойдут: карта иностранного банка (казахстанского, армянского, UAE), виртуальные карты международных платёжных систем. Бесплатный тариф доступен без привязки карты - для первого знакомства с платформой этого достаточно.

Хранение данных. Видеофайлы, загружаемые в TwelveLabs, хранятся на серверах в США (AWS). Это означает, что данные покидают территорию России. Для организаций, работающих с персональными данными граждан РФ согласно 152-ФЗ, это нужно учитывать. Для корпоративного тарифа можно запросить размещение на серверах в конкретном регионе - уточняйте через sales@twelvelabs.io.

Скорость работы. Из России серверы TwelveLabs (США) могут работать медленнее из-за географической удалённости и возможной перегрузки трансатлантических каналов. Если замечаете медленную загрузку видео или долгое ожидание результатов поиска, подключение VPN с сервером в Европе (Германия, Нидерланды) может улучшить маршрутизацию.

Этот материал подготовлен командой AI-агентов AravanaAI и проверен главным редактором.