# LLM уровня Claude Opus 5 на вашем сервере

В агентном программировании — на уровне лучших коммерческих моделей. Запускаем DeepSeek V4.1 Flash или другую открытую модель на ваших GPU или на нашем сервере в Москве и настраиваем стек инференса до последнего уровня. Данные не покидают периметр, доступ и аналитика — через Nodul Router.

## Конфигурации сервера

DeepSeek V4.1 Flash на двух конфигурациях сервера:

### 2 × NVIDIA H200 (наша технология LET), 282 ГБ видеопамяти

- до 33 разработчиков при обычной работе с агентами
- 14–19 — при интенсивной работе с субагентами
- 20 AI-агентов одновременно, медиана 36 токенов/с на агента
- Первый токен ≈ 2,5 с у 9 из 10 запросов
- Аренда ≈ 383 тыс. ₽ в месяц в рабочем режиме
- ≈ 12 тыс. ₽ в месяц на разработчика

### 4 × NVIDIA H200, 564 ГБ видеопамяти

- до 75 разработчиков при обычной работе с агентами
- 30–45 — при интенсивной работе с субагентами
- 45 AI-агентов одновременно, медиана 34 токенов/с на агента
- Первый токен ≈ 3 с у 9 из 10 запросов
- Аренда ≈ 753 тыс. ₽ в месяц в рабочем режиме
- ≈ 10–17 тыс. ₽ в месяц на разработчика

Аренда GPU-сервера в рабочем режиме (12 ч × 22 рабочих дня), тарифы на 12.11.2026; на разработчика — при обычной работе с агентами. Настройка, обслуживание и лицензия Nodul Router — по запросу. Можно развернуть и на вашем оборудовании — тогда аренды нет.

## Та же модель, тот же сервер — в 6,7 раза быстрее

Флагманская модель не помещается в видеопамять двух GPU: штатный запуск работает в разы медленнее. Мы переписали в vLLM выполнение слоев экспертов — самой тяжелой части модели — и сделали собственный модуль Lossless Expert Tiering (LET).

- Стандартный запуск: ≈ 5 токенов/с — Модель не помещается в видеопамять — агенты ждут ответа
- С LET и калибровкой: 36 токенов/с — 20 AI-агентов одновременно на двух GPU, веса модели не изменены

- **Горячие эксперты — на GPU.** Модуль раскладывает слои экспертов между GPU и памятью сервера по статистике вашей нагрузки: то, что работает постоянно, — на GPU. Раскладка подстраивается на лету.
- **Веса не изменяются.** Ни сжатия, ни урезания — та же модель, что у разработчика. Ответы сверены с оригиналом: на 20,6 тыс. позиций текста расхождение не больше, чем у оригинала между двумя его запусками.
- **Калибровка за неделю.** Первая неделя пилота — статистика работы ваших разработчиков и раскладка под нее. Дальше модуль подстраивается сам.

И еще шесть уровней настройки стека инференса:

- Распределение модели по GPU под топологию сервера
- Разгрузка видеопамяти под контекст
- Спекулятивная декодировка — 3–4 токена за шаг
- Кэш контекста и планировщик запросов
- Предкомпилированные вычислительные графы
- Настройка под AI-агентов: вызовы инструментов и рассуждения

## DeepSeek или другая модель — под вашу задачу

Qwen, GLM, DeepSeek и другие open-weight модели: разные модели — разный баланс качества, скорости и стоимости железа.

- **Под задачу.** Программирование и агенты, работа с документами, чат-боты, аналитика — для каждой задачи своя оптимальная модель.
- **Под бюджет.** От одного GPU до нескольких серверов; аренда GPU в Москве или ваше оборудование.
- **Проверка до решения.** Прогоняем кандидатов через те же тесты: качество ответов, реальный агент, нагрузка. Вы видите цифры, а не обещания.
- **Несколько моделей сразу.** Nodul Router дает единую точку доступа: ключи, лимиты и статистика по всем моделям в одном месте.

## Флагманский пример: DeepSeek V4.1 Flash

Открытые веса под лицензией MIT, коммерческое использование разрешено. Архитектура MoE: 552 млрд параметров, на каждый токен работают только 8–16 млрд — поэтому модель быстрая. Контекст до 1 млн токенов, у нас настроено 200 тыс. — это 15–20 тыс. строк кода в одном запросе.

| Тест | DeepSeek V4.1 Flash | Claude Opus 5 |
| --- | --- | --- |
| DeepSWE v1.1 | 77 % | 74 % |
| Automation-Bench | 60 % | 50 % |
| Terminal-Bench 4.0 | 42 % | 52 % |

В двух тестах модель впереди, в Terminal-Bench уступает. Пилот покажет результат на ваших задачах. Источник: карточка модели на Hugging Face (данные разработчика модели).

Та же модель уже есть в каталоге Nodul Router на серверах в России — оцените ее до пилота. [Попробовать DeepSeek V4.1 Flash через API](https://router.nodul.ru/models/deepseek/deepseek-v4.1-flash.md)

## Все работает внутри вашего периметра

- **Разработчики.** opencode, Cursor, Cline, Continue — любой клиент с OpenAI-совместимым API
- **Nodul Router.** Персональные ключи, лимиты, роли, аналитика и журнал; доступ только из сети компании
- **Сервер инференса.** Открытая модель на GPU по нашей настройке; ваше оборудование или аренда в Москве

- **Резервный канал.** Router может направить запросы на ту же модель в российском облаке, если сервер занят или на обслуживании.
- **Мониторинг.** Нагрузка, очередь, скорость генерации и память GPU — в реальном времени.
- **Автовосстановление.** После перезагрузки сервера все сервисы поднимаются сами.
- **Рост.** Второй сервер подключается к тому же Router: емкость растет вдвое, ключи и аналитика общие.

## Цифры замерены, а не обещаны

Каждую конфигурацию прогоняем через одни и те же тесты, прежде чем отдать вашей команде.

- **Правильность ответов: 18 / 18 и 35 / 35.** Поиск факта в текстах до 187 тыс. токенов, точные вопросы, вызов инструментов.
- **Работа настоящего агента: 4 / 4.** Агент opencode находит баг, делает рефакторинг и новую функцию — тесты проходят.
- **Нагрузка как в жизни: 0 % ошибок.** Реальные рабочие сессии AI-агента: 1 018 запросов на 2 × H200 и 5 728 на 4 × H200, без ошибок и вытеснений.
- **Сверка с оригиналом: как оригинал.** Одни и те же запросы к модели с LET и без: расхождение в пределах разброса самого оригинала.

## Сколько разработчиков закрывает один сервер

Агент часть времени ждет инструменты и тесты — в это время сервер обслуживает других. Поэтому разработчиков больше, чем одновременных агентов.

Разработчиков = агентов на сервере ÷ (доля одновременно активных × агентов на человека)

Обычная работа — один агент у человека, интенсивная — основной агент и субагенты (1,5–2). Тест жестче реальности: паузы агента сокращены до 10 с. Долю активных и число агентов на человека в пилоте покажет статистика Router по вашей команде.

## Данные не покидают контур

- Модель работает на вашем оборудовании или на арендованном GPU-сервере в Москве, без внешних подключений
- Персональный ключ на каждого сотрудника с лимитами; работает только из сети компании, отзыв в один клик
- Ни модель, ни Router не хранят тексты запросов по умолчанию; персональные данные и секреты маскируются
- Весь трафик по HTTPS; наружу открыт только API, служебные порты закрыты
- Роли, журнал изменений и статистика по каждому ключу и сотруднику

### Nodul Router в вашем контуре

- Бюджет, лимит запросов и срок действия ключа для каждого разработчика, сервиса или IDE-агента
- Аналитика: запросы, токены, доля кэша, время до первого токена и скорость P50–P99 по сотрудникам, командам и моделям; выгрузка в CSV
- Роли владельца, администратора, участника и наблюдателя; вход сотрудников через SSO
- Плагин для opencode делает Router единственным провайдером агента
- Ключи, аналитика и журнал не покидают периметр компании

## Запускаем и сопровождаем

- **Настройка.** Стек инференса под ваш сервер, LET и калибровка под вашу нагрузку. Разово.
- **Ежемесячное обслуживание.** Проверяем каждую новую версию модели и ПО на наших тестах и переключаем, только если не хуже; откат в любой момент. Мониторинг, восстановление, отчеты по нагрузке и расписание работы под ваш рабочий день — до 64 % экономии на аренде против режима 24/7.
- **Лицензия Nodul Router.** Годовая подписка по числу пользователей или бессрочная лицензия; развертывание, SSO/AD, SIEM и настройка маскирования.

Стоимость — по запросу

## Решение — по фактическим данным пилота

1. Пилот: ваша команда разработчиков и реальные задачи
2. Калибровка LET: неделя статистики, раскладка под вашу нагрузку
3. Router: ключи, лимиты и доступ для каждого сотрудника
4. Решение о масштабе и бюджете по статистике использования

## Частые вопросы

**Открытая модель хуже Claude или GPT?**

В агентном программировании DeepSeek V4.1 Flash на их уровне: DeepSWE — 77 против 74 у Claude Opus 5, Automation-Bench — 60 против 50; в части тестов уступает (Terminal-Bench — 42 против 52). Пилот покажет результат на ваших задачах.

**Почему хватает двух GPU?**

Для LET мы переписали в vLLM выполнение слоев экспертов. Собственный модуль раскладывает их между GPU и памятью сервера по статистике нагрузки; веса не изменяются, ответы сверены с оригиналом.

**Можно на нашем оборудовании?**

Да: 2 × H200 или аналог со 141 ГБ на GPU и от 360 ГБ оперативной памяти, либо 4 × H200. Nodul Router тоже разворачивается в вашем контуре.

**Можно другую модель, не DeepSeek?**

Да: запускаем и оптимизируем и другие open-weight модели — Qwen, GLM и не только. Подбираем под задачу и бюджет и проверяем кандидатов на тех же тестах до решения.

**Какие инструменты подключить?**

Любой клиент с OpenAI-совместимым API: opencode (проверен, есть плагин Router), Cursor, Cline, Roo Code, Continue.

**Можно ли обновлять модель?**

Да, по вашему решению: проверяем новую версию на тестах, заново калибруем LET и переключаем; откат — так же.

**Что если сервер недоступен?**

Сервисы поднимаются автоматически, а Router может направить запросы на ту же модель в российском облаке.

## Обсудим вашу задачу

Расскажите, какие модели и для какой команды нужны, — подберем конфигурацию и предложим пилот.

Форма заявки — на https://router.nodul.ru/on-premise (ее заполняет человек).

---
HTML-версия: https://router.nodul.ru/on-premise
Оглавление сайта для ИИ-агентов: https://router.nodul.ru/llms.txt · все для решения о покупке: https://router.nodul.ru/llms-full.txt · прайс-лист: https://router.nodul.ru/models/prices.md
