Перейти к содержимому
RouterNodul

On-premise

LLM уровня Claude Opus 5 на вашем сервере

В агентном программировании — на уровне лучших коммерческих моделей. Запускаем DeepSeek V4.1 Flash или другую открытую модель на ваших GPU или на нашем сервере в Москве и настраиваем стек инференса до последнего уровня. Данные не покидают периметр, доступ и аналитика — через Nodul Router.

DeepSeek V4.1 Flash на двух конфигурациях сервера:

2 × NVIDIA H200

наша технология LET

282 ГБ видеопамяти

до 33

разработчиков при обычной работе с агентами

  • 14–19 — при интенсивной работе с субагентами
  • 20 AI-агентов одновременно, медиана 36 токенов/с на агента
  • Первый токен ≈ 2,5 с у 9 из 10 запросов

≈ 12 тыс. ₽ в месяц на разработчика

Аренда ≈ 383 тыс. ₽ в месяц в рабочем режиме

4 × NVIDIA H200

564 ГБ видеопамяти

до 75

разработчиков при обычной работе с агентами

  • 30–45 — при интенсивной работе с субагентами
  • 45 AI-агентов одновременно, медиана 34 токенов/с на агента
  • Первый токен ≈ 3 с у 9 из 10 запросов

≈ 10–17 тыс. ₽ в месяц на разработчика

Аренда ≈ 753 тыс. ₽ в месяц в рабочем режиме

Аренда GPU-сервера в рабочем режиме (12 ч × 22 рабочих дня), тарифы на 12.11.2026; на разработчика — при обычной работе с агентами. Настройка, обслуживание и лицензия Nodul Router — по запросу. Можно развернуть и на вашем оборудовании — тогда аренды нет.

Lossless Expert Tiering

Та же модель, тот же сервер — в 6,7 раза быстрее

Флагманская модель не помещается в видеопамять двух GPU: штатный запуск работает в разы медленнее. Мы переписали в vLLM выполнение слоев экспертов — самой тяжелой части модели — и сделали собственный модуль Lossless Expert Tiering (LET).

Стандартный запуск

≈ 5 токенов/с

Модель не помещается в видеопамять — агенты ждут ответа

С LET и калибровкой

36 токенов/с

20 AI-агентов одновременно на двух GPU, веса модели не изменены

Скорость на агента при 20 агентах, токенов/с · 2 × H200
минимум для работы — 20
≈ 5
17
28
36
  1. Стандартный запуск
  2. LET без калибровки
  3. Калибровка под нагрузку · +62 %
  4. Баланс памяти и автоподстройка · +30 %
  • Горячие эксперты — на GPU

    Модуль раскладывает слои экспертов между GPU и памятью сервера по статистике вашей нагрузки: то, что работает постоянно, — на GPU. Раскладка подстраивается на лету.

  • Веса не изменяются

    Ни сжатия, ни урезания — та же модель, что у разработчика. Ответы сверены с оригиналом: на 20,6 тыс. позиций текста расхождение не больше, чем у оригинала между двумя его запусками.

  • Калибровка за неделю

    Первая неделя пилота — статистика работы ваших разработчиков и раскладка под нее. Дальше модуль подстраивается сам.

И еще шесть уровней настройки стека инференса

  • Распределение модели по GPU под топологию сервера
  • Разгрузка видеопамяти под контекст
  • Спекулятивная декодировка — 3–4 токена за шаг
  • Кэш контекста и планировщик запросов
  • Предкомпилированные вычислительные графы
  • Настройка под AI-агентов: вызовы инструментов и рассуждения
Оставить заявку

Модели

DeepSeek или другая модель — под вашу задачу

Qwen, GLM, DeepSeek и другие open-weight модели: разные модели — разный баланс качества, скорости и стоимости железа.

Под задачу

Программирование и агенты, работа с документами, чат-боты, аналитика — для каждой задачи своя оптимальная модель.

Под бюджет

От одного GPU до нескольких серверов; аренда GPU в Москве или ваше оборудование.

Проверка до решения

Прогоняем кандидатов через те же тесты: качество ответов, реальный агент, нагрузка. Вы видите цифры, а не обещания.

Несколько моделей сразу

Nodul Router дает единую точку доступа: ключи, лимиты и статистика по всем моделям в одном месте.

Флагманский пример

DeepSeek V4.1 Flash

Открытые веса под лицензией MIT, коммерческое использование разрешено. Архитектура MoE: 552 млрд параметров, на каждый токен работают только 8–16 млрд — поэтому модель быстрая. Контекст до 1 млн токенов, у нас настроено 200 тыс. — это 15–20 тыс. строк кода в одном запросе.

Попробовать DeepSeek V4.1 Flash через API

Та же модель уже есть в каталоге Nodul Router на серверах в России — оцените ее до пилота.

Агентное программирование, %
ТестDeepSeek V4.1 FlashClaude Opus 5
DeepSWE v1.17774
Automation-Bench6050
Terminal-Bench 4.04252

В двух тестах модель впереди, в Terminal-Bench уступает. Пилот покажет результат на ваших задачах.

Источник: карточка модели на Hugging Face (данные разработчика модели).

Как устроено

Все работает внутри вашего периметра

Периметр вашей компании
  1. Разработчики

    opencode, Cursor, Cline, Continue — любой клиент с OpenAI-совместимым API

  2. Nodul Router

    Персональные ключи, лимиты, роли, аналитика и журнал; доступ только из сети компании

  3. Сервер инференса

    Открытая модель на GPU по нашей настройке; ваше оборудование или аренда в Москве

Резервный канал

Router может направить запросы на ту же модель в российском облаке, если сервер занят или на обслуживании.

Мониторинг

Нагрузка, очередь, скорость генерации и память GPU — в реальном времени.

Автовосстановление

После перезагрузки сервера все сервисы поднимаются сами.

Рост

Второй сервер подключается к тому же Router: емкость растет вдвое, ключи и аналитика общие.

Как мы тестировали

Цифры замерены, а не обещаны

Каждую конфигурацию прогоняем через одни и те же тесты, прежде чем отдать вашей команде.

18 / 18 и 35 / 35

Правильность ответов

Поиск факта в текстах до 187 тыс. токенов, точные вопросы, вызов инструментов.

4 / 4

Работа настоящего агента

Агент opencode находит баг, делает рефакторинг и новую функцию — тесты проходят.

0 % ошибок

Нагрузка как в жизни

Реальные рабочие сессии AI-агента: 1 018 запросов на 2 × H200 и 5 728 на 4 × H200, без ошибок и вытеснений.

как оригинал

Сверка с оригиналом

Одни и те же запросы к модели с LET и без: расхождение в пределах разброса самого оригинала.

Сколько разработчиков

Сколько разработчиков закрывает один сервер

Агент часть времени ждет инструменты и тесты — в это время сервер обслуживает других. Поэтому разработчиков больше, чем одновременных агентов.

Разработчиков = агентов на сервере ÷ (доля одновременно активных × агентов на человека)

Одновременно активныАгентов на человека2 × H2004 × H200
50 % команды14090
60 % команды13375
70 % команды12964
70 % команды1,51943
70 % команды21432

Обычная работа — один агент у человека, интенсивная — основной агент и субагенты (1,5–2). Тест жестче реальности: паузы агента сокращены до 10 с. Долю активных и число агентов на человека в пилоте покажет статистика Router по вашей команде.

Безопасность

Данные не покидают контур

  • Модель работает на вашем оборудовании или на арендованном GPU-сервере в Москве, без внешних подключений
  • Персональный ключ на каждого сотрудника с лимитами; работает только из сети компании, отзыв в один клик
  • Ни модель, ни Router не хранят тексты запросов по умолчанию; персональные данные и секреты маскируются
  • Весь трафик по HTTPS; наружу открыт только API, служебные порты закрыты
  • Роли, журнал изменений и статистика по каждому ключу и сотруднику

Nodul Router в вашем контуре

  • Бюджет, лимит запросов и срок действия ключа для каждого разработчика, сервиса или IDE-агента
  • Аналитика: запросы, токены, доля кэша, время до первого токена и скорость P50–P99 по сотрудникам, командам и моделям; выгрузка в CSV
  • Роли владельца, администратора, участника и наблюдателя; вход сотрудников через SSO
  • Плагин для opencode делает Router единственным провайдером агента
  • Ключи, аналитика и журнал не покидают периметр компании

Что входит

Запускаем и сопровождаем

Настройка

Стек инференса под ваш сервер, LET и калибровка под вашу нагрузку. Разово.

Ежемесячное обслуживание

Проверяем каждую новую версию модели и ПО на наших тестах и переключаем, только если не хуже; откат в любой момент. Мониторинг, восстановление, отчеты по нагрузке и расписание работы под ваш рабочий день — до 64 % экономии на аренде против режима 24/7.

Лицензия Nodul Router

Годовая подписка по числу пользователей или бессрочная лицензия; развертывание, SSO/AD, SIEM и настройка маскирования.

Оставить заявкуСтоимость — по запросу

Следующие шаги

Решение — по фактическим данным пилота

  1. 1

    Пилот: ваша команда разработчиков и реальные задачи

  2. 2

    Калибровка LET: неделя статистики, раскладка под вашу нагрузку

  3. 3

    Router: ключи, лимиты и доступ для каждого сотрудника

  4. 4

    Решение о масштабе и бюджете по статистике использования

Частые вопросы

Открытая модель хуже Claude или GPT?

В агентном программировании DeepSeek V4.1 Flash на их уровне: DeepSWE — 77 против 74 у Claude Opus 5, Automation-Bench — 60 против 50; в части тестов уступает (Terminal-Bench — 42 против 52). Пилот покажет результат на ваших задачах.

Почему хватает двух GPU?

Для LET мы переписали в vLLM выполнение слоев экспертов. Собственный модуль раскладывает их между GPU и памятью сервера по статистике нагрузки; веса не изменяются, ответы сверены с оригиналом.

Можно на нашем оборудовании?

Да: 2 × H200 или аналог со 141 ГБ на GPU и от 360 ГБ оперативной памяти, либо 4 × H200. Nodul Router тоже разворачивается в вашем контуре.

Можно другую модель, не DeepSeek?

Да: запускаем и оптимизируем и другие open-weight модели — Qwen, GLM и не только. Подбираем под задачу и бюджет и проверяем кандидатов на тех же тестах до решения.

Какие инструменты подключить?

Любой клиент с OpenAI-совместимым API: opencode (проверен, есть плагин Router), Cursor, Cline, Roo Code, Continue.

Можно ли обновлять модель?

Да, по вашему решению: проверяем новую версию на тестах, заново калибруем LET и переключаем; откат — так же.

Что если сервер недоступен?

Сервисы поднимаются автоматически, а Router может направить запросы на ту же модель в российском облаке.

Обсудим вашу задачу

Расскажите, какие модели и для какой команды нужны, — подберем конфигурацию и предложим пилот.

Отправляя форму, вы соглашаетесь с политикой обработки персональных данных.

Спросите своего ИИ-агента

Скопируйте промпт и отправьте агенту — Claude, ChatGPT, Cursor или любому другому, который умеет открывать ссылки.