Перейти к содержимому
RouterNodul

SWE-bench Pro V2

SWE-bench Pro проверяет, справится ли модель в роли агента с долгой задачей в настоящем открытом репозитории: исправить ошибку или добавить функцию. Модель получает репозиторий в контейнере, описание задачи и требования к решению и сама пишет патч. Задачу засчитывают, только если с патчем проходят новые тесты, которые падали на исходном коде, и не ломается ни один из прежних тестов. Задачи взяты из репозиториев на Python, Go, JavaScript и TypeScript.

Версию V2 Scale AI выпустила 22 сентября 2026 года вместе с Reflection. Это обновленный открытый набор из 642 задач в 11 репозиториях: 89 задач, которые при проверке оказались неверными, убрали, а в 69 задачах исправили текст, противоречивший проверочным тестам. Во время работы агент может обращаться только к модели, веб-инструменты выключены, лимит — 250 ходов без ограничения стоимости. Каждый патч Scale перепроверяет на чистом образе и публикует обе оценки. Так нашли подлоги: Opus 5 вписал поддельную контрольную сумму модуля Go в go.sum, а Inkling в трех задачах правил кэш модулей Go.

Чем тест ограничен. Scale прогоняет модели сама, но агент у строк разный: Claude Code, Codex или минимальный mini-SWE-agent. Агент и уровень рассуждений подписаны у строки. В разнице между строками есть вклад и модели, и агента, поэтому напрямую эти цифры сравниваются только с оговоркой. Две лазейки Scale сама называет открытыми: модель доступна через доверенный посредник, а код внутри патча, например conftest.py или цель Makefile, проверяющая система все еще выполняет. Задачи не повторяют ваш стек и ваш репозиторий, поэтому перед выбором модели проверьте ее на своих задачах.

моделей с результатом
19
с независимым замером
19
с цифрой разработчика
0

Как измеряли

Вкладка HARD таблицы Scale AI — трудная часть набора. Сколько в ней задач, страница не пишет. Соседние результаты отличаются примерно на 2 пункта, то есть одна решенная задача сдвигает модель примерно на 2 пункта, и разницу в несколько пунктов стоит считать почти ничьей. Погрешность на этой вкладке Scale показывает только у одной строки. Что именно означает ±, страница прямо не говорит; места в таблице Scale считает по границам доверительных интервалов. После 22 сентября Scale дополняет таблицу новыми моделями, но дат у строк не ставит, поэтому указан месяц, когда мы прочитали таблицу.

Таблица Scale AI, прочитана: ноябрь 2026 · Методология на сайте источника

Независимое измерениеПо данным разработчика
SWE-bench Pro V2: HARD
050100 %
Claude Opus 5(откроется в новой вкладке)агент Claude Code, уровень xhighНезависимо: 98 % (Scale AI, ноябрь 2026)98——370 ₽ / 1 850 ₽~3,70 / ~18,50 PnPноябрь 2026
Claude Fable 5.1(откроется в новой вкладке)агент Claude Code, уровень highНезависимо: 92,2 % (Scale AI, ноябрь 2026)92,2——740 ₽ / 3 699 ₽~7,40 / ~36,99 PnPноябрь 2026
Gemini 4 Argon(откроется в новой вкладке)агент mini-SWE-agent, уровень highНезависимо: 92,16 % (Scale AI, ноябрь 2026)92,16——148 ₽ / 740 ₽~1,48 / ~7,40 PnPноябрь 2026
GPT-6 Astra(откроется в новой вкладке)агент Codex, уровень highНезависимо: 90,2 % (Scale AI, ноябрь 2026)90,2——740 ₽ / 3 699 ₽~7,40 / ~36,99 PnPноябрь 2026
Muse Wonder(откроется в новой вкладке)агент mini-SWE-agent, уровень xhighНезависимо: 90,2 % (Scale AI, ноябрь 2026)90,2——440 ₽ / 2 200 ₽4,4 / 22 PnPноябрь 2026
Claude Sonnet 5(откроется в новой вкладке)агент Claude Code, уровень xhighНезависимо: 88,2 % (Scale AI, ноябрь 2026)88,2——148 ₽ / 740 ₽~1,48 / ~7,40 PnPноябрь 2026
Kimi K3(откроется в новой вкладке)агент mini-SWE-agent, уровень maxНезависимо: 88,2 % (Scale AI, ноябрь 2026)88,2——49,50 ₽ / 1 110 ₽~0,50 / ~11,10 PnPноябрь 2026
GPT-5.6 Terra(откроется в новой вкладке)агент Codex, уровень xhighНезависимо: 86,3 % (Scale AI, ноябрь 2026)86,3——148 ₽ / 888 ₽~1,48 / ~8,88 PnPноябрь 2026
Inkling 2 Small(откроется в новой вкладке)Независимо: 86,27 % (Scale AI, ноябрь 2026)86,27——33,00 ₽ / 110 ₽0,33 / 1,1 PnPноябрь 2026
MiniMax M3.1 Flash(откроется в новой вкладке)агент mini-SWE-agent, уровень xhighНезависимо: 84,31 % (Scale AI, ноябрь 2026)84,31——16,50 ₽ / 66,00 ₽~0,17 / 0,66 PnPноябрь 2026
GLM 5.3(откроется в новой вкладке)агент mini-SWE-agent, уровень maxНезависимо: 84,3 % (Scale AI, ноябрь 2026)84,3——69,30 ₽ / 218 ₽~0,70 / ~2,18 PnPноябрь 2026
GPT-5.6 Sol(откроется в новой вкладке)агент Codex, уровень xhighНезависимо: 82,4 % (Scale AI, ноябрь 2026)82,4——296 ₽ / 1 480 ₽~2,96 / ~14,80 PnPноябрь 2026
Muse Spark Open(откроется в новой вкладке)агент mini-SWE-agent, уровень xhighНезависимо: 82,35 % (Scale AI, ноябрь 2026)82,35——138 ₽ / 468 ₽~1,38 / ~4,68 PnPноябрь 2026
Claude Sonnet 5.5(откроется в новой вкладке)агент mini-SWE-agent, уровень xhighНезависимо: 70,59 % (Scale AI, ноябрь 2026)70,59——148 ₽ / 740 ₽~1,48 / ~7,40 PnPноябрь 2026
Gemini 3.8 Flash(откроется в новой вкладке)агент mini-SWE-agent, уровень highНезависимо: 58,8 % (Scale AI, ноябрь 2026)58,8——55,48 ₽ / 278 ₽~0,56 / ~2,78 PnPноябрь 2026
Inkling(откроется в новой вкладке)агент mini-SWE-agent, уровень xhighНезависимо: 56,9 % (Scale AI, ноябрь 2026)56,9——110 ₽ / 446 ₽1,1 / ~4,46 PnPноябрь 2026
Claude Haiku 5.5(откроется в новой вкладке)агент mini-SWE-agent, уровень highНезависимо: 52,94 % (Scale AI, ноябрь 2026)52,94 ±13,01——7,40 ₽ / 36,99 ₽~0,08 / ~0,37 PnPноябрь 2026
Claude Haiku 4.5(откроется в новой вкладке)агент Claude Code, уровень xhighНезависимо: 25,5 % (Scale AI, ноябрь 2026)25,5——73,98 ₽ / 370 ₽~0,74 / ~3,70 PnPноябрь 2026