Terminal-Bench 4.0
Terminal-Bench проверяет, как модель в роли агента доводит до конца долгую работу в терминале. Она получает задание в изолированной песочнице, сама выполняет команды и сдает готовый результат. Версия 4.0 — новый набор из 66 задач, ни одна из них не повторяет задачи версии 2.1. Это уже не только программирование: примерно три четверти задач относятся к науке, машинному обучению, операционной работе, проектированию железа, безопасности и медиа. Каждая задача заканчивается проверяемым итогом: работающим сервисом, доказательством, CAD-моделью, отчетом. По оценке авторов, на типичную задачу у эксперта ушло бы около четырех часов.
Проверка строгая: задачу засчитывают, только если итог проходит весь набор проверок, частичных баллов нет. Поэтому цифры 4.0 заметно ниже, чем в прошлых версиях, и сравнивать их с результатами 2.x и 3.0 нельзя.
Чем тест ограничен. Результат зависит от агента, в котором запускали модель, и от уровня рассуждений. Задачи не повторяют ваш стек и ваш репозиторий, поэтому перед выбором модели проверьте ее на своих задачах.
- моделей с результатом
- 60
- с независимым замером
- 55
- с цифрой разработчика
- 26
Как измеряли
Vals AI запускает все модели в одном минимальном агенте mini-SWE-agent. У модели есть единственный инструмент — bash, ограничений по числу шагов и стоимости нет, на задачу дается до 8 часов. Каждую модель прогоняют по всему набору три раза, по одной попытке на задачу, и показывают среднее; погрешность — стандартная ошибка по трем прогонам. Условия у всех одинаковые, поэтому эти цифры можно сравнивать между собой. Минимальный агент показывает, на что способна сама модель без фирменной обвязки разработчика.
Таблица Vals AI на ноябрь 2026 · Методология на сайте источника
| 050100 % | ||||||
|---|---|---|---|---|---|---|
| Claude Opus 5.5(откроется в новой вкладке) | Независимо: 65,15 % (Vals AI, ноябрь 2026). По данным разработчика: 66,4 % (сентябрь 2026) | 65,15 | 66,4 | +1,25 | 296 ₽ / 1 480 ₽~2,96 / ~14,80 PnP | ноябрь 2026 |
| Claude Sonnet 5.5(откроется в новой вкладке) | Независимо: 64,14 % (Vals AI, ноябрь 2026). По данным разработчика: 70,6 % (сентябрь 2026) | 64,14 ±1,01 | 70,6 | +6,46 | 148 ₽ / 740 ₽~1,48 / ~7,40 PnP | ноябрь 2026 |
| Kimi K3.1 Pro(откроется в новой вкладке) | Независимо: 63,64 % (Vals AI, ноябрь 2026). По данным разработчика: 65,7 % (октябрь 2026) | 63,64 ±1,75 | 65,7 | +2,06 | 144 ₽ / 968 ₽~1,44 / 9,68 PnP | ноябрь 2026 |
| GPT-6 Astra(откроется в новой вкладке) | Независимо: 59,6 % (Vals AI, ноябрь 2026). По данным разработчика: 57,9 % (сентябрь 2026) | 59,6 ±4,4 | 57,9 | −1,7 | 740 ₽ / 3 699 ₽~7,40 / ~36,99 PnP | ноябрь 2026 |
| Claude Fable 5.1(откроется в новой вкладке) | Независимо: 58,08 % (Vals AI, ноябрь 2026). По данным разработчика: 55,8 % (сентябрь 2026) | 58,08 ±3,31 | 55,8 | −2,28 | 740 ₽ / 3 699 ₽~7,40 / ~36,99 PnP | ноябрь 2026 |
| Gemini 4 Argon(откроется в новой вкладке) | Независимо: 57,58 % (Vals AI, ноябрь 2026). По данным разработчика: 57,4 % (октябрь 2026) | 57,58 ±2,31 | 57,4 | −0,18 | 148 ₽ / 740 ₽~1,48 / ~7,40 PnP | ноябрь 2026 |
| GPT-6.1 Sol(откроется в новой вкладке) | Независимо: 55,05 % (Vals AI, ноябрь 2026) | 55,05 ±1,82 | — | — | 148 ₽ / 740 ₽~1,48 / ~7,40 PnP | ноябрь 2026 |
| Gemini 4 Hydrogen(откроется в новой вкладке) | Независимо: 54,04 % (Vals AI, ноябрь 2026) | 54,04 ±3,31 | — | — | 165 ₽ / 825 ₽1,65 / 8,25 PnP | ноябрь 2026 |
| Claude Opus 5(откроется в новой вкладке) | Независимо: 53,53 % (Vals AI, ноябрь 2026). По данным разработчика: 52,3 % (сентябрь 2026) | 53,53 ±1,34 | 52,3 | −1,23 | 370 ₽ / 1 850 ₽~3,70 / ~18,50 PnP | ноябрь 2026 |
| GPT-6.1 Terra(откроется в новой вкладке) | Независимо: 49,49 % (Vals AI, ноябрь 2026). По данным разработчика: 50,3 % (октябрь 2026) | 49,49 ±1,82 | 50,3 | +0,81 | 73,98 ₽ / 370 ₽~0,74 / ~3,70 PnP | ноябрь 2026 |
| Muse Wonder(откроется в новой вкладке) | Независимо: 49,49 % (Vals AI, ноябрь 2026) | 49,49 ±2,2 | — | — | 440 ₽ / 2 200 ₽4,4 / 22 PnP | ноябрь 2026 |
| GPT-6 Sol(откроется в новой вкладке) | Независимо: 44,44 % (Vals AI, ноябрь 2026) | 44,44 ±3,54 | — | — | 148 ₽ / 740 ₽~1,48 / ~7,40 PnP | ноябрь 2026 |
| Claude Fable 5(откроется в новой вкладке) | Независимо: 41,41 % (Vals AI, ноябрь 2026). По данным разработчика: 42 % (сентябрь 2026) | 41,41 ±1,34 | 42 | +0,59 | 740 ₽ / 3 699 ₽~7,40 / ~36,99 PnP | ноябрь 2026 |
| Hy4(откроется в новой вкладке) | Независимо: 39,39 % (Vals AI, ноябрь 2026) | 39,39 ±0,88 | — | — | 91,74 ₽ / 276 ₽~0,92 / ~2,76 PnP | ноябрь 2026 |
| GLM 5.3(откроется в новой вкладке) | Независимо: 38,89 % (Vals AI, ноябрь 2026) | 38,89 ±1,82 | — | — | 69,30 ₽ / 218 ₽~0,70 / ~2,18 PnP | ноябрь 2026 |
| Qwen3.8 Max (0902)(откроется в новой вкладке) | Независимо: 38,89 % (Vals AI, ноябрь 2026) | 38,89 | — | — | 178 ₽ / 533 ₽~1,78 / ~5,33 PnP | ноябрь 2026 |
| GPT-5.6 Sol(откроется в новой вкладке) | Независимо: 37,88 % (Vals AI, ноябрь 2026). По данным разработчика: 37,3 % (сентябрь 2026) | 37,88 | 37,3 | −0,58 | 296 ₽ / 1 480 ₽~2,96 / ~14,80 PnP | ноябрь 2026 |
| GLM 5.3 Flash(откроется в новой вкладке) | Независимо: 37,37 % (Vals AI, ноябрь 2026) | 37,37 | — | — | 11,10 ₽ / 36,99 ₽~0,12 / ~0,37 PnP | ноябрь 2026 |
| Claude Haiku 5.5(откроется в новой вкладке) | Независимо: 36,36 % (Vals AI, ноябрь 2026). По данным разработчика: 39,2 % (октябрь 2026) | 36,36 | 39,2 | +2,84 | 7,40 ₽ / 36,99 ₽~0,08 / ~0,37 PnP | ноябрь 2026 |
| DeepSeek V4.1 Flash 1017(откроется в новой вкладке) | Независимо: 31,82 % (Vals AI, ноябрь 2026). По данным разработчика: 42,3 % (октябрь 2026) | 31,82 | 42,3 | +10,48 | 7,23 ₽ / 29,18 ₽~0,08 / ~0,30 PnP | ноябрь 2026 |
| Step 5 Preview(откроется в новой вкладке) | Независимо: 31,82 % (Vals AI, ноябрь 2026). По данным разработчика: 33,3 % (октябрь 2026) | 31,82 | 33,3 | +1,48 | 110 ₽ / 297 ₽1,1 / 2,97 PnP | ноябрь 2026 |
| MiMo-V2.6-Pro(откроется в новой вкладке) | Независимо: 31,31 % (Vals AI, ноябрь 2026) | 31,31 | — | — | 38,61 ₽ / 77,21 ₽~0,39 / ~0,78 PnP | ноябрь 2026 |
| Grok 4.7(откроется в новой вкладке) | Независимо: 28,79 % (Vals AI, ноябрь 2026). По данным разработчика: 37,6 % (сентябрь 2026) | 28,79 | 37,6 | +8,81 | 178 ₽ / 533 ₽~1,78 / ~5,33 PnP | ноябрь 2026 |
| MiniMax M3.1 Flash(откроется в новой вкладке) | Независимо: 25,25 % (Vals AI, ноябрь 2026) | 25,25 | — | — | 16,50 ₽ / 66,00 ₽~0,17 / 0,66 PnP | ноябрь 2026 |
| MiMo-V2.6-Flash(откроется в новой вкладке) | Независимо: 24,24 % (Vals AI, ноябрь 2026) | 24,24 | — | — | 12,43 ₽ / 24,85 ₽~0,13 / ~0,25 PnP | ноябрь 2026 |
| Claude Opus 4.8(откроется в новой вкладке) | Независимо: 23,23 % (Vals AI, ноябрь 2026) | 23,23 | — | — | 370 ₽ / 1 850 ₽~3,70 / ~18,50 PnP | ноябрь 2026 |
| GPT-5.6 Terra(откроется в новой вкладке) | Независимо: 22,73 % (Vals AI, ноябрь 2026). По данным разработчика: 21,5 % (октябрь 2026) | 22,73 | 21,5 | −1,23 | 148 ₽ / 888 ₽~1,48 / ~8,88 PnP | ноябрь 2026 |
| Ember-1(откроется в новой вкладке) | Независимо: 20,71 % (Vals AI, ноябрь 2026) | 20,71 | — | — | 330 ₽ / 1 650 ₽3,3 / 16,5 PnP | ноябрь 2026 |
| DeepSeek V4.1 Flash(откроется в новой вкладке) | Независимо: 19,7 % (Vals AI, ноябрь 2026). По данным разработчика: 31,2 % (сентябрь 2026) | 19,7 | 31,2 | +11,5 | 3,69 ₽ / 14,74 ₽~0,04 / ~0,15 PnP | ноябрь 2026 |
| Gemini 3.8 Flash(откроется в новой вкладке) | Независимо: 19,7 % (Vals AI, ноябрь 2026). По данным разработчика: 19,1 % (сентябрь 2026) | 19,7 | 19,1 | −0,6 | 55,48 ₽ / 278 ₽~0,56 / ~2,78 PnP | ноябрь 2026 |
| DeepSeek V4 Flash 0731(откроется в новой вкладке) | Независимо: 18,69 % (Vals AI, ноябрь 2026) | 18,69 | — | — | 4,88 ₽ / 33,00 ₽~0,05 / 0,33 PnP | ноябрь 2026 |
| Grok 4.6(откроется в новой вкладке) | Независимо: 17,17 % (Vals AI, ноябрь 2026). По данным разработчика: 20,3 % (сентябрь 2026) | 17,17 | 20,3 | +3,13 | 178 ₽ / 533 ₽~1,78 / ~5,33 PnP | ноябрь 2026 |
| Kimi K3(откроется в новой вкладке) | Независимо: 17,17 % (Vals AI, ноябрь 2026) | 17,17 | — | — | 49,50 ₽ / 1 110 ₽~0,50 / ~11,10 PnP | ноябрь 2026 |
| DeepSeek V4 Pro 0813(откроется в новой вкладке) | Независимо: 14,14 % (Vals AI, ноябрь 2026) | 14,14 | — | — | 82,00 ₽ / 246 ₽~0,82 / ~2,46 PnP | ноябрь 2026 |
| GPT-6 Luna(откроется в новой вкладке) | Независимо: 13,64 % (Vals AI, ноябрь 2026) | 13,64 | — | — | 7,40 ₽ / 36,99 ₽~0,08 / ~0,37 PnP | ноябрь 2026 |
| Inkling 2 Small(откроется в новой вкладке) | Независимо: 12,63 % (Vals AI, ноябрь 2026). По данным разработчика: 13,1 % (ноябрь 2026) | 12,63 | 13,1 | +0,47 | 33,00 ₽ / 110 ₽0,33 / 1,1 PnP | ноябрь 2026 |
| Gemini 3.7 Flash(откроется в новой вкладке) | Независимо: 12,12 % (Vals AI, ноябрь 2026). По данным разработчика: 11,2 % (сентябрь 2026) | 12,12 | 11,2 | −0,92 | 55,48 ₽ / 278 ₽~0,56 / ~2,78 PnP | ноябрь 2026 |
| GPT-5.6 Luna(откроется в новой вкладке) | Независимо: 11,62 % (Vals AI, ноябрь 2026) | 11,62 | — | — | 14,80 ₽ / 88,77 ₽~0,15 / ~0,89 PnP | ноябрь 2026 |
| DeepSeek V4 Pro 0423(откроется в новой вкладке) | Независимо: 11,11 % (Vals AI, ноябрь 2026) | 11,11 | — | — | 48,88 ₽ / 97,76 ₽~0,49 / ~0,98 PnP | ноябрь 2026 |
| Claude Sonnet 5(откроется в новой вкладке) | Независимо: 10,61 % (Vals AI, ноябрь 2026). По данным разработчика: 10,3 % (сентябрь 2026) | 10,61 | 10,3 | −0,31 | 148 ₽ / 740 ₽~1,48 / ~7,40 PnP | ноябрь 2026 |
| Muse Spark 1.3(откроется в новой вкладке) | Независимо: 10,61 % (Vals AI, ноябрь 2026) | 10,61 | — | — | 138 ₽ / 468 ₽~1,38 / ~4,68 PnP | ноябрь 2026 |
| Grok 4.5(откроется в новой вкладке) | Независимо: 8,59 % (Vals AI, ноябрь 2026) | 8,59 | — | — | 178 ₽ / 533 ₽~1,78 / ~5,33 PnP | ноябрь 2026 |
| Hy4 preview(откроется в новой вкладке) | Независимо: 8,08 % (Vals AI, ноябрь 2026) | 8,08 | — | — | 91,74 ₽ / 276 ₽~0,92 / ~2,76 PnP | ноябрь 2026 |
| Muse Spark Open(откроется в новой вкладке) | Независимо: 6,57 % (Vals AI, ноябрь 2026) | 6,57 | — | — | 138 ₽ / 468 ₽~1,38 / ~4,68 PnP | ноябрь 2026 |
| Gemini 3.5 Flash(откроется в новой вкладке) | Независимо: 6,06 % (Vals AI, ноябрь 2026) | 6,06 | — | — | 111 ₽ / 666 ₽~1,11 / ~6,66 PnP | ноябрь 2026 |
| Muse Spark 1.2(откроется в новой вкладке) | Независимо: 6,06 % (Vals AI, ноябрь 2026) | 6,06 | — | — | 138 ₽ / 468 ₽~1,38 / ~4,68 PnP | ноябрь 2026 |
| Beam 1.0 501B A23B(откроется в новой вкладке) | Независимо: 4,04 % (Vals AI, ноябрь 2026) | 4,04 | — | — | 44,00 ₽ / 132 ₽0,44 / 1,32 PnP | ноябрь 2026 |
| Gemini 3.1 Pro Preview(откроется в новой вкладке) | Независимо: 2,52 % (Vals AI, ноябрь 2026) | 2,52 | — | — | 148 ₽ / 888 ₽~1,48 / ~8,88 PnP | ноябрь 2026 |
| GPT-5.4 Mini(откроется в новой вкладке) | Независимо: 2,52 % (Vals AI, ноябрь 2026) | 2,52 | — | — | 66,56 ₽ / 400 ₽~0,67 / ~4,00 PnP | ноябрь 2026 |
| MiniMax M3(откроется в новой вкладке) | Независимо: 1,01 % (Vals AI, ноябрь 2026) | 1,01 | — | — | 26,63 ₽ / 107 ₽~0,27 / ~1,07 PnP | ноябрь 2026 |
| Inkling(откроется в новой вкладке) | Независимо: 0,51 % (Vals AI, ноябрь 2026) | 0,51 | — | — | 110 ₽ / 446 ₽1,1 / ~4,46 PnP | ноябрь 2026 |
| MiMo-V2.5-Pro(откроется в новой вкладке) | Независимо: 0,51 % (Vals AI, ноябрь 2026) | 0,51 | — | — | 38,61 ₽ / 77,21 ₽~0,39 / ~0,78 PnP | ноябрь 2026 |
| Inkling Small(откроется в новой вкладке) | Независимо: 0 % (Vals AI, ноябрь 2026) | 0 | — | — | 49,50 ₽ / 132 ₽~0,50 / 1,32 PnP | ноябрь 2026 |
| Nemotron 3.5 Super VL(откроется в новой вкладке) | Независимо: 0 % (Vals AI, ноябрь 2026) | 0 | — | — | 16,50 ₽ / 55,00 ₽~0,17 / 0,55 PnP | ноябрь 2026 |
Только по данным разработчика
Цифру опубликовал разработчик модели. Условия запуска — агент, уровень рассуждений, число попыток — он выбирает сам и раскрывает не всегда; где они указаны, они подписаны у строки.
| 050100 % | ||||||
|---|---|---|---|---|---|---|
| Pareto 26.10(откроется в новой вкладке) | По данным разработчика: 50,8 % (октябрь 2026) | — | 50,8 | — | 88,00 ₽ / 352 ₽0,88 / 3,52 PnP | октябрь 2026 |
| Ling 3.1 Flash(откроется в новой вкладке)агент LingCode | По данным разработчика: 46,03 % (октябрь 2026) | — | 46,03 | — | 6,60 ₽ / 19,80 ₽~0,07 / ~0,20 PnP | октябрь 2026 |
| Muse Ember(откроется в новой вкладке)уровень max | По данным разработчика: 40,9 % (ноябрь 2026) | — | 40,9 | — | 11,00 ₽ / 55,00 ₽0,11 / 0,55 PnP | ноябрь 2026 |
| Mistral Large 4(откроется в новой вкладке) | По данным разработчика: 28,3 % (октябрь 2026) | — | 28,3 | — | 77,00 ₽ / 231 ₽0,77 / 2,31 PnP | октябрь 2026 |
| Claude Haiku 4.5(откроется в новой вкладке) | По данным разработчика: 0 % (октябрь 2026) | — | 0 | — | 73,98 ₽ / 370 ₽~0,74 / ~3,70 PnP | октябрь 2026 |

