Как начать пользоваться AnythingLLM: локальный AI-workspace для работы с документами

AnythingLLM - это бесплатный open-source инструмент, который позволяет общаться с вашими документами через AI без передачи данных в облако. Вы загружаете PDF-файлы, Word-документы, текстовые файлы, ссылки на веб-страницы или целые сайты - и получаете AI-помощника, который знает только то, что вы ему предоставили, и отвечает со ссылками на конкретные источники. Это называется RAG - Retrieval-Augmented Generation, то есть AI с доступом к вашей базе знаний.

В отличие от Ollama или LM Studio, которые просто запускают языковые модели на вашем компьютере, AnythingLLM - это полноценное рабочее пространство поверх этих моделей. Он добавляет векторную базу данных для хранения документов, систему рабочих пространств (workspaces), поддержку нескольких пользователей, встроенных AI-агентов и интеграции с различными источниками данных. Проще говоря: Ollama запускает мозг, AnythingLLM делает из него умного помощника с памятью.

Инструмент существует в двух вариантах. Desktop App - нативное приложение для Windows, macOS и Linux, которое устанавливается как обычная программа и не требует никаких технических знаний. Self-hosted версия разворачивается через Docker для командного использования - тогда несколько человек могут работать с одной базой знаний через браузер. Есть также облачная версия AnythingLLM Cloud для тех, кто не хочет запускать ничего локально.

Для кого это полезно: юристы и консультанты, которые работают с большими объемами документации и хотят быстро находить ответы по контрактам или отчетам; разработчики, которые хотят иметь AI-помощника по своей кодовой базе или технической документации; аналитики с корпоративными данными, которые нельзя передавать в ChatGPT или Claude; небольшие команды, которым нужна общая база знаний с AI-доступом без дорогих корпоративных подписок. Если вы когда-либо хотели «поговорить» с вашим архивом документов и получить точные ответы со ссылками на страницы, AnythingLLM - именно для этого.

AnythingLLM полностью бесплатен в desktop и self-hosted вариантах. На GitHub проект набрал более 50 тысяч звезд - это один из самых популярных open-source AI-проектов 2025-2026 годов. Разрабатывается компанией Mintplex Labs.

Для Desktop App зайдите на сайт anythingllm.com и нажмите «Download». Выберите версию для вашей операционной системы: Windows (установщик .exe), macOS (файл .dmg) или Linux (AppImage или .deb). Скачайте файл и запустите установщик. На macOS: откройте .dmg, перетащите AnythingLLM в Applications, запустите. На Windows: дважды кликните .exe и следуйте инструкциям. Установка занимает 2-3 минуты, приложение весит около 300-400 МБ.

При первом запуске AnythingLLM спросит, какую LLM вы хотите использовать. Если у вас уже установлен Ollama с моделями - выберите «Ollama» в выпадающем списке и укажите адрес http://localhost:11434. Если Ollama нет, установите его сначала: скачайте с ollama.com, запустите, затем в терминале выполните команду ollama pull llama3.2 для загрузки небольшой модели. Процесс скачивания займет несколько минут в зависимости от скорости интернета.

Второй вариант подключения LLM - использование облачных API. Если у вас есть ключ API от OpenAI, Anthropic, Google или других провайдеров, выберите соответствующий вариант и вставьте ключ. AnythingLLM умеет работать с OpenAI, Anthropic Claude, Google Gemini, Mistral, Groq, Cohere, Together AI, Perplexity и многими другими - более 25 провайдеров. Разные воркспейсы могут использовать разные провайдеры одновременно.

Для установки Self-hosted версии через Docker: убедитесь, что Docker Desktop установлен и запущен. Скопируйте команду docker run из официальной документации на docs.useanything.com и выполните её в терминале. AnythingLLM запустится на порту 3001 и откроется через браузер на localhost:3001. При первом запуске создайте аккаунт администратора, затем настройте LLM-провайдера в разделе Settings. Вся конфигурация хранится в папке, которую вы указываете при запуске Docker - данные сохраняются между перезапусками.

Векторная база данных встроена в AnythingLLM по умолчанию - используется LanceDB, которая работает без дополнительной настройки сразу после установки. Для более требовательных сценариев в настройках можно переключиться на Chroma, Weaviate, Qdrant, Milvus или Pinecone.

После настройки LLM-провайдера вы увидите основной интерфейс: левая панель со списком воркспейсов, центральная область для чата. Нажмите «New Workspace» и дайте ему название - например, «Проект А» или «Юридические документы». Воркспейс - это изолированное пространство со своей базой знаний и историей чата. Можно создать несколько воркспейсов для разных проектов или тем.

Загрузите первый документ. Нажмите на иконку скрепки или кнопку Upload Document внутри воркспейса. Поддерживаются форматы PDF, DOCX, TXT, Markdown, CSV, JSON, EPUB, HTML и многие другие. После загрузки AnythingLLM автоматически обрабатывает документ: разбивает его на смысловые фрагменты (chunks), создает векторные представления каждого фрагмента и сохраняет в базу. Для PDF на 50 страниц при использовании локальной модели это занимает 15-30 секунд. После обработки документ готов к запросам.

Задайте первый вопрос в чате: «Что написано о сроках проекта в этом документе?» или «Найди все упоминания суммы контракта». AnythingLLM ищет наиболее релевантные фрагменты в загруженных документах и передает их в LLM вместе с вашим вопросом. В ответе вы увидите не только текст, но и ссылки на источники - какой документ, какой раздел или страница. Это принципиальное отличие от обычного чата с AI, где модель отвечает из своей «памяти» тренировочных данных, что часто ведет к галлюцинациям.

Попробуйте добавить веб-страницу: в меню загрузки найдите вкладку «Link» и вставьте URL. AnythingLLM скачает содержимое страницы и добавит его в базу знаний воркспейса. Полезно для добавления технической документации с сайтов, новостных статей или любых веб-материалов без ручного копирования.

В настройках воркспейса (шестеренка рядом с его названием) найдите раздел Chat Settings. Здесь два ключевых параметра: режим работы «Chat» (AI использует только ваши документы) или «Query» (AI ищет в документах, но может добавлять информацию из общих знаний модели); а также количество фрагментов документов, которые передаются в запрос (больше фрагментов - точнее ответы, но медленнее). Для конфиденциальных данных всегда используйте режим Chat.

Встроенные AI-агенты. AnythingLLM поддерживает агентный режим, где AI выполняет действия, а не просто отвечает. В чате напишите @agent перед запросом - это активирует агента. Доступные инструменты: поиск в интернете, запуск Python-кода, чтение файлов на компьютере, вызов внешних API, работа с базами данных. Набор инструментов настраивается в разделе Agent Skills в настройках. Агенты особенно полезны для автоматизации повторяющихся задач.

Поддержка нескольких LLM-провайдеров. AnythingLLM работает с более чем 25 провайдерами. Разные воркспейсы могут использовать разные модели - например, воркспейс с конфиденциальными данными работает с локальной Llama 3.2 без выхода в интернет, а другой воркспейс использует GPT-5 через API для задач, требующих максимального качества. Переключение между провайдерами занимает секунды.

Многопользовательский режим. В self-hosted версии можно создавать аккаунты с разными уровнями доступа: администратор, менеджер, пользователь. Каждый пользователь видит только те воркспейсы, к которым у него есть доступ. Это позволяет командам делиться базой знаний без потери контроля над тем, кто что видит.

Встраивание AI-чата на сайт. AnythingLLM генерирует код виджета для встраивания AI-чата на основе вашего воркспейса на любую веб-страницу. Так можно создать AI-помощника для посетителей сайта, который отвечает строго по вашей документации. Настраивается через раздел Embed в настройках воркспейса.

MCP-интеграция. AnythingLLM поддерживает протокол Model Context Protocol, что позволяет подключать внешние инструменты напрямую к AI-агенту: базы данных, CRM-системы, системы управления задачами, Slack, GitHub и многие другие. Список поддерживаемых MCP-серверов постоянно растет.

Приватность данных. В desktop и self-hosted режиме все данные остаются на вашем компьютере или сервере. Ничего не отправляется во внешние сервисы, кроме запросов к выбранному LLM-провайдеру. При использовании только локальных моделей через Ollama - абсолютная приватность, ни один байт ваших документов не покидает устройство.

Desktop App и self-hosted версия AnythingLLM полностью бесплатны - никаких ограничений на количество документов, воркспейсов или пользователей в self-hosted. Проект распространяется под лицензией MIT, то есть его можно использовать бесплатно в том числе в коммерческих проектах без каких-либо ограничений.

Единственная платная опция - AnythingLLM Cloud, облачный сервис от разработчиков, где всё уже настроено и не нужно поднимать инфраструктуру самостоятельно. Цены на облачный вариант начинаются от нескольких долларов в месяц и зависят от объема обрабатываемых данных. Актуальные тарифы смотрите на anythingllm.com.

Расходы при использовании AnythingLLM складываются только из стоимости LLM-провайдера. Если вы используете локальные модели через Ollama - это полностью бесплатно (только электроэнергия). Если подключаете OpenAI или Anthropic API - платите по их тарифам за токены. AnythingLLM не берет никакой комиссии.

Технические ограничения: для комфортной работы с большими объемами документов рекомендуется минимум 16 ГБ оперативной памяти. Для локальных LLM через Ollama: 8 ГБ RAM достаточно для моделей 7B параметров, 16-32 ГБ нужно для моделей 13-70B. GPU значительно ускоряет работу, но не обязателен. Без GPU модель на 7B параметров генерирует около 10-20 токенов в секунду на современном процессоре - медленнее облачных сервисов, но вполне рабочая скорость для большинства задач.

AnythingLLM в desktop и self-hosted версии работает полностью локально и не требует подключения к серверам разработчиков после скачивания приложения. VPN для работы инструмента не нужен. Сайт anythingllm.com и репозиторий на GitHub открываются из России без ограничений. Скачать установщик можно напрямую.

Если вы используете облачные LLM-провайдеры (OpenAI, Anthropic, Google), то их API-запросы идут через интернет, и действуют те же ограничения, что и при прямом доступе к этим сервисам. OpenAI и Anthropic недоступны из России без VPN или прокси. Однако это не ограничение самого AnythingLLM - просто используйте локальные модели через Ollama, и вопрос VPN не возникает вообще.

Для скачивания обновлений AnythingLLM и моделей Ollama VPN не требуется. Файлы моделей скачиваются с серверов Hugging Face, Meta, Alibaba и других платформ, которые доступны из России. Модели Llama 4, Qwen 3, Gemma 4 - все они доступны для скачивания напрямую без обхода блокировок.

Рекомендованная связка для российских пользователей, которые хотят полной приватности без VPN: AnythingLLM Desktop + Ollama + модель Qwen 2.5 (7B или 14B) или Llama 3.2. Это полностью локальная цепочка: никакие данные не покидают ваш компьютер, не нужны зарубежные карты и аккаунты в иностранных сервисах. Qwen 2.5 особенно хорошо работает с документами на русском языке.

AnythingLLM v1.15.0: Magic Features – AI для всей операционной системы

В апреле 2026 года вышла версия AnythingLLM v1.15.0, которая принципиально меняет позиционирование продукта. Если раньше AnythingLLM работал только внутри своего окна, теперь он стал системным AI-ассистентом, доступным в любом приложении на вашем компьютере. Эта группа функций называется Magic Features.

Три ключевых нововведения Magic Features: Echo – голосовой ввод (voice-to-text), который работает в любом текстовом поле любого приложения, не только в AnythingLLM; Text Actions – доступ к полным агентным возможностям AnythingLLM из любого приложения через системное меню; Magic Tab – автодополнение текста с помощью вашей локальной AI-модели прямо во время набора, аналогично GitHub Copilot, но для любого контекста и без передачи данных в облако.

Эти изменения переводят AnythingLLM из категории «RAG-воркспейс для работы с документами» в категорию «полноценная системная AI-оболочка». Продукт теперь конкурирует не только с локальными RAG-инструментами, но и с системными AI-ассистентами вроде Microsoft Copilot – при этом оставаясь бесплатным и open-source с полным контролем над данными.

AnythingLLM позволяет подключить Telegram-бота к вашему воркспейсу - команда может задавать вопросы по документам прямо из Telegram без открытия браузера. Настройка: в Settings откройте раздел Integrations - Telegram Bot. Введите токен бота (получите у @BotFather), укажите Workspace для работы бота и задайте разрешённые команды. После сохранения бот автоматически отвечает на сообщения, используя документы выбранного воркспейса. Поддерживаются как личные чаты, так и групповые. Удобно для команд: у каждого участника уже есть Telegram, никакого дополнительного ПО не нужно.

Document Generation - встроенный инструмент AnythingLLM для создания структурированных документов на основе ваших данных. В разделе Workspace выберите нужные документы и нажмите Generate Document. AnythingLLM создаст черновик: отчёт по загруженным данным, резюме серии документов, договор на основе шаблона. Формат вывода настраивается: Markdown, PDF или DOCX. Черновик можно редактировать прямо в интерфейсе или экспортировать для финальной доработки. Особенно полезно для юристов и аналитиков, которым нужно регулярно создавать однотипные документы на основе меняющихся данных.

Этот материал подготовлен командой AI-агентов AravanaAI и проверен главным редактором.