Перейти к содержимому
RouterNodul

Terminal-Bench 4.0

Terminal-Bench проверяет, как модель в роли агента доводит до конца долгую работу в терминале. Она получает задание в изолированной песочнице, сама выполняет команды и сдает готовый результат. Версия 4.0 — новый набор из 66 задач, ни одна из них не повторяет задачи версии 2.1. Это уже не только программирование: примерно три четверти задач относятся к науке, машинному обучению, операционной работе, проектированию железа, безопасности и медиа. Каждая задача заканчивается проверяемым итогом: работающим сервисом, доказательством, CAD-моделью, отчетом. По оценке авторов, на типичную задачу у эксперта ушло бы около четырех часов.

Проверка строгая: задачу засчитывают, только если итог проходит весь набор проверок, частичных баллов нет. Поэтому цифры 4.0 заметно ниже, чем в прошлых версиях, и сравнивать их с результатами 2.x и 3.0 нельзя.

Чем тест ограничен. Результат зависит от агента, в котором запускали модель, и от уровня рассуждений. Задачи не повторяют ваш стек и ваш репозиторий, поэтому перед выбором модели проверьте ее на своих задачах.

моделей с результатом
60
с независимым замером
55
с цифрой разработчика
26

Как измеряли

Vals AI запускает все модели в одном минимальном агенте mini-SWE-agent. У модели есть единственный инструмент — bash, ограничений по числу шагов и стоимости нет, на задачу дается до 8 часов. Каждую модель прогоняют по всему набору три раза, по одной попытке на задачу, и показывают среднее; погрешность — стандартная ошибка по трем прогонам. Условия у всех одинаковые, поэтому эти цифры можно сравнивать между собой. Минимальный агент показывает, на что способна сама модель без фирменной обвязки разработчика.

Таблица Vals AI на ноябрь 2026 · Методология на сайте источника

Независимое измерениеПо данным разработчика
Terminal-Bench 4.0: Vals AI
050100 %
Claude Opus 5.5(откроется в новой вкладке)Независимо: 65,15 % (Vals AI, ноябрь 2026). По данным разработчика: 66,4 % (сентябрь 2026)65,1566,4+1,25296 ₽ / 1 480 ₽~2,96 / ~14,80 PnPноябрь 2026
Claude Sonnet 5.5(откроется в новой вкладке)Независимо: 64,14 % (Vals AI, ноябрь 2026). По данным разработчика: 70,6 % (сентябрь 2026)64,14 ±1,0170,6+6,46148 ₽ / 740 ₽~1,48 / ~7,40 PnPноябрь 2026
Kimi K3.1 Pro(откроется в новой вкладке)Независимо: 63,64 % (Vals AI, ноябрь 2026). По данным разработчика: 65,7 % (октябрь 2026)63,64 ±1,7565,7+2,06144 ₽ / 968 ₽~1,44 / 9,68 PnPноябрь 2026
GPT-6 Astra(откроется в новой вкладке)Независимо: 59,6 % (Vals AI, ноябрь 2026). По данным разработчика: 57,9 % (сентябрь 2026)59,6 ±4,457,9−1,7740 ₽ / 3 699 ₽~7,40 / ~36,99 PnPноябрь 2026
Claude Fable 5.1(откроется в новой вкладке)Независимо: 58,08 % (Vals AI, ноябрь 2026). По данным разработчика: 55,8 % (сентябрь 2026)58,08 ±3,3155,8−2,28740 ₽ / 3 699 ₽~7,40 / ~36,99 PnPноябрь 2026
Gemini 4 Argon(откроется в новой вкладке)Независимо: 57,58 % (Vals AI, ноябрь 2026). По данным разработчика: 57,4 % (октябрь 2026)57,58 ±2,3157,4−0,18148 ₽ / 740 ₽~1,48 / ~7,40 PnPноябрь 2026
GPT-6.1 Sol(откроется в новой вкладке)Независимо: 55,05 % (Vals AI, ноябрь 2026)55,05 ±1,82——148 ₽ / 740 ₽~1,48 / ~7,40 PnPноябрь 2026
Gemini 4 Hydrogen(откроется в новой вкладке)Независимо: 54,04 % (Vals AI, ноябрь 2026)54,04 ±3,31——165 ₽ / 825 ₽1,65 / 8,25 PnPноябрь 2026
Claude Opus 5(откроется в новой вкладке)Независимо: 53,53 % (Vals AI, ноябрь 2026). По данным разработчика: 52,3 % (сентябрь 2026)53,53 ±1,3452,3−1,23370 ₽ / 1 850 ₽~3,70 / ~18,50 PnPноябрь 2026
GPT-6.1 Terra(откроется в новой вкладке)Независимо: 49,49 % (Vals AI, ноябрь 2026). По данным разработчика: 50,3 % (октябрь 2026)49,49 ±1,8250,3+0,8173,98 ₽ / 370 ₽~0,74 / ~3,70 PnPноябрь 2026
Muse Wonder(откроется в новой вкладке)Независимо: 49,49 % (Vals AI, ноябрь 2026)49,49 ±2,2——440 ₽ / 2 200 ₽4,4 / 22 PnPноябрь 2026
GPT-6 Sol(откроется в новой вкладке)Независимо: 44,44 % (Vals AI, ноябрь 2026)44,44 ±3,54——148 ₽ / 740 ₽~1,48 / ~7,40 PnPноябрь 2026
Claude Fable 5(откроется в новой вкладке)Независимо: 41,41 % (Vals AI, ноябрь 2026). По данным разработчика: 42 % (сентябрь 2026)41,41 ±1,3442+0,59740 ₽ / 3 699 ₽~7,40 / ~36,99 PnPноябрь 2026
Hy4(откроется в новой вкладке)Независимо: 39,39 % (Vals AI, ноябрь 2026)39,39 ±0,88——91,74 ₽ / 276 ₽~0,92 / ~2,76 PnPноябрь 2026
GLM 5.3(откроется в новой вкладке)Независимо: 38,89 % (Vals AI, ноябрь 2026)38,89 ±1,82——69,30 ₽ / 218 ₽~0,70 / ~2,18 PnPноябрь 2026
Qwen3.8 Max (0902)(откроется в новой вкладке)Независимо: 38,89 % (Vals AI, ноябрь 2026)38,89——178 ₽ / 533 ₽~1,78 / ~5,33 PnPноябрь 2026
GPT-5.6 Sol(откроется в новой вкладке)Независимо: 37,88 % (Vals AI, ноябрь 2026). По данным разработчика: 37,3 % (сентябрь 2026)37,8837,3−0,58296 ₽ / 1 480 ₽~2,96 / ~14,80 PnPноябрь 2026
GLM 5.3 Flash(откроется в новой вкладке)Независимо: 37,37 % (Vals AI, ноябрь 2026)37,37——11,10 ₽ / 36,99 ₽~0,12 / ~0,37 PnPноябрь 2026
Claude Haiku 5.5(откроется в новой вкладке)Независимо: 36,36 % (Vals AI, ноябрь 2026). По данным разработчика: 39,2 % (октябрь 2026)36,3639,2+2,847,40 ₽ / 36,99 ₽~0,08 / ~0,37 PnPноябрь 2026
DeepSeek V4.1 Flash 1017(откроется в новой вкладке)Независимо: 31,82 % (Vals AI, ноябрь 2026). По данным разработчика: 42,3 % (октябрь 2026)31,8242,3+10,487,23 ₽ / 29,18 ₽~0,08 / ~0,30 PnPноябрь 2026
Step 5 Preview(откроется в новой вкладке)Независимо: 31,82 % (Vals AI, ноябрь 2026). По данным разработчика: 33,3 % (октябрь 2026)31,8233,3+1,48110 ₽ / 297 ₽1,1 / 2,97 PnPноябрь 2026
MiMo-V2.6-Pro(откроется в новой вкладке)Независимо: 31,31 % (Vals AI, ноябрь 2026)31,31——38,61 ₽ / 77,21 ₽~0,39 / ~0,78 PnPноябрь 2026
Grok 4.7(откроется в новой вкладке)Независимо: 28,79 % (Vals AI, ноябрь 2026). По данным разработчика: 37,6 % (сентябрь 2026)28,7937,6+8,81178 ₽ / 533 ₽~1,78 / ~5,33 PnPноябрь 2026
MiniMax M3.1 Flash(откроется в новой вкладке)Независимо: 25,25 % (Vals AI, ноябрь 2026)25,25——16,50 ₽ / 66,00 ₽~0,17 / 0,66 PnPноябрь 2026
MiMo-V2.6-Flash(откроется в новой вкладке)Независимо: 24,24 % (Vals AI, ноябрь 2026)24,24——12,43 ₽ / 24,85 ₽~0,13 / ~0,25 PnPноябрь 2026
Claude Opus 4.8(откроется в новой вкладке)Независимо: 23,23 % (Vals AI, ноябрь 2026)23,23——370 ₽ / 1 850 ₽~3,70 / ~18,50 PnPноябрь 2026
GPT-5.6 Terra(откроется в новой вкладке)Независимо: 22,73 % (Vals AI, ноябрь 2026). По данным разработчика: 21,5 % (октябрь 2026)22,7321,5−1,23148 ₽ / 888 ₽~1,48 / ~8,88 PnPноябрь 2026
Ember-1(откроется в новой вкладке)Независимо: 20,71 % (Vals AI, ноябрь 2026)20,71——330 ₽ / 1 650 ₽3,3 / 16,5 PnPноябрь 2026
DeepSeek V4.1 Flash(откроется в новой вкладке)Независимо: 19,7 % (Vals AI, ноябрь 2026). По данным разработчика: 31,2 % (сентябрь 2026)19,731,2+11,53,69 ₽ / 14,74 ₽~0,04 / ~0,15 PnPноябрь 2026
Gemini 3.8 Flash(откроется в новой вкладке)Независимо: 19,7 % (Vals AI, ноябрь 2026). По данным разработчика: 19,1 % (сентябрь 2026)19,719,1−0,655,48 ₽ / 278 ₽~0,56 / ~2,78 PnPноябрь 2026
DeepSeek V4 Flash 0731(откроется в новой вкладке)Независимо: 18,69 % (Vals AI, ноябрь 2026)18,69——4,88 ₽ / 33,00 ₽~0,05 / 0,33 PnPноябрь 2026
Grok 4.6(откроется в новой вкладке)Независимо: 17,17 % (Vals AI, ноябрь 2026). По данным разработчика: 20,3 % (сентябрь 2026)17,1720,3+3,13178 ₽ / 533 ₽~1,78 / ~5,33 PnPноябрь 2026
Kimi K3(откроется в новой вкладке)Независимо: 17,17 % (Vals AI, ноябрь 2026)17,17——49,50 ₽ / 1 110 ₽~0,50 / ~11,10 PnPноябрь 2026
DeepSeek V4 Pro 0813(откроется в новой вкладке)Независимо: 14,14 % (Vals AI, ноябрь 2026)14,14——82,00 ₽ / 246 ₽~0,82 / ~2,46 PnPноябрь 2026
GPT-6 Luna(откроется в новой вкладке)Независимо: 13,64 % (Vals AI, ноябрь 2026)13,64——7,40 ₽ / 36,99 ₽~0,08 / ~0,37 PnPноябрь 2026
Inkling 2 Small(откроется в новой вкладке)Независимо: 12,63 % (Vals AI, ноябрь 2026). По данным разработчика: 13,1 % (ноябрь 2026)12,6313,1+0,4733,00 ₽ / 110 ₽0,33 / 1,1 PnPноябрь 2026
Gemini 3.7 Flash(откроется в новой вкладке)Независимо: 12,12 % (Vals AI, ноябрь 2026). По данным разработчика: 11,2 % (сентябрь 2026)12,1211,2−0,9255,48 ₽ / 278 ₽~0,56 / ~2,78 PnPноябрь 2026
GPT-5.6 Luna(откроется в новой вкладке)Независимо: 11,62 % (Vals AI, ноябрь 2026)11,62——14,80 ₽ / 88,77 ₽~0,15 / ~0,89 PnPноябрь 2026
DeepSeek V4 Pro 0423(откроется в новой вкладке)Независимо: 11,11 % (Vals AI, ноябрь 2026)11,11——48,88 ₽ / 97,76 ₽~0,49 / ~0,98 PnPноябрь 2026
Claude Sonnet 5(откроется в новой вкладке)Независимо: 10,61 % (Vals AI, ноябрь 2026). По данным разработчика: 10,3 % (сентябрь 2026)10,6110,3−0,31148 ₽ / 740 ₽~1,48 / ~7,40 PnPноябрь 2026
Muse Spark 1.3(откроется в новой вкладке)Независимо: 10,61 % (Vals AI, ноябрь 2026)10,61——138 ₽ / 468 ₽~1,38 / ~4,68 PnPноябрь 2026
Grok 4.5(откроется в новой вкладке)Независимо: 8,59 % (Vals AI, ноябрь 2026)8,59——178 ₽ / 533 ₽~1,78 / ~5,33 PnPноябрь 2026
Hy4 preview(откроется в новой вкладке)Независимо: 8,08 % (Vals AI, ноябрь 2026)8,08——91,74 ₽ / 276 ₽~0,92 / ~2,76 PnPноябрь 2026
Muse Spark Open(откроется в новой вкладке)Независимо: 6,57 % (Vals AI, ноябрь 2026)6,57——138 ₽ / 468 ₽~1,38 / ~4,68 PnPноябрь 2026
Gemini 3.5 Flash(откроется в новой вкладке)Независимо: 6,06 % (Vals AI, ноябрь 2026)6,06——111 ₽ / 666 ₽~1,11 / ~6,66 PnPноябрь 2026
Muse Spark 1.2(откроется в новой вкладке)Независимо: 6,06 % (Vals AI, ноябрь 2026)6,06——138 ₽ / 468 ₽~1,38 / ~4,68 PnPноябрь 2026
Beam 1.0 501B A23B(откроется в новой вкладке)Независимо: 4,04 % (Vals AI, ноябрь 2026)4,04——44,00 ₽ / 132 ₽0,44 / 1,32 PnPноябрь 2026
Gemini 3.1 Pro Preview(откроется в новой вкладке)Независимо: 2,52 % (Vals AI, ноябрь 2026)2,52——148 ₽ / 888 ₽~1,48 / ~8,88 PnPноябрь 2026
GPT-5.4 Mini(откроется в новой вкладке)Независимо: 2,52 % (Vals AI, ноябрь 2026)2,52——66,56 ₽ / 400 ₽~0,67 / ~4,00 PnPноябрь 2026
MiniMax M3(откроется в новой вкладке)Независимо: 1,01 % (Vals AI, ноябрь 2026)1,01——26,63 ₽ / 107 ₽~0,27 / ~1,07 PnPноябрь 2026
Inkling(откроется в новой вкладке)Независимо: 0,51 % (Vals AI, ноябрь 2026)0,51——110 ₽ / 446 ₽1,1 / ~4,46 PnPноябрь 2026
MiMo-V2.5-Pro(откроется в новой вкладке)Независимо: 0,51 % (Vals AI, ноябрь 2026)0,51——38,61 ₽ / 77,21 ₽~0,39 / ~0,78 PnPноябрь 2026
Inkling Small(откроется в новой вкладке)Независимо: 0 % (Vals AI, ноябрь 2026)0——49,50 ₽ / 132 ₽~0,50 / 1,32 PnPноябрь 2026
Nemotron 3.5 Super VL(откроется в новой вкладке)Независимо: 0 % (Vals AI, ноябрь 2026)0——16,50 ₽ / 55,00 ₽~0,17 / 0,55 PnPноябрь 2026

Только по данным разработчика

Цифру опубликовал разработчик модели. Условия запуска — агент, уровень рассуждений, число попыток — он выбирает сам и раскрывает не всегда; где они указаны, они подписаны у строки.

Только по данным разработчика
050100 %
Pareto 26.10(откроется в новой вкладке)По данным разработчика: 50,8 % (октябрь 2026)—50,8—88,00 ₽ / 352 ₽0,88 / 3,52 PnPоктябрь 2026
Ling 3.1 Flash(откроется в новой вкладке)агент LingCodeПо данным разработчика: 46,03 % (октябрь 2026)—46,03—6,60 ₽ / 19,80 ₽~0,07 / ~0,20 PnPоктябрь 2026
Muse Ember(откроется в новой вкладке)уровень maxПо данным разработчика: 40,9 % (ноябрь 2026)—40,9—11,00 ₽ / 55,00 ₽0,11 / 0,55 PnPноябрь 2026
Mistral Large 4(откроется в новой вкладке)По данным разработчика: 28,3 % (октябрь 2026)—28,3—77,00 ₽ / 231 ₽0,77 / 2,31 PnPоктябрь 2026
Claude Haiku 4.5(откроется в новой вкладке)По данным разработчика: 0 % (октябрь 2026)—0—73,98 ₽ / 370 ₽~0,74 / ~3,70 PnPоктябрь 2026