SWE-bench Pro V2
SWE-bench Pro проверяет, справится ли модель в роли агента с долгой задачей в настоящем открытом репозитории: исправить ошибку или добавить функцию. Модель получает репозиторий в контейнере, описание задачи и требования к решению и сама пишет патч. Задачу засчитывают, только если с патчем проходят новые тесты, которые падали на исходном коде, и не ломается ни один из прежних тестов. Задачи взяты из репозиториев на Python, Go, JavaScript и TypeScript.
Версию V2 Scale AI выпустила 22 сентября 2026 года вместе с Reflection. Это обновленный открытый набор из 642 задач в 11 репозиториях: 89 задач, которые при проверке оказались неверными, убрали, а в 69 задачах исправили текст, противоречивший проверочным тестам. Во время работы агент может обращаться только к модели, веб-инструменты выключены, лимит — 250 ходов без ограничения стоимости. Каждый патч Scale перепроверяет на чистом образе и публикует обе оценки. Так нашли подлоги: Opus 5 вписал поддельную контрольную сумму модуля Go в go.sum, а Inkling в трех задачах правил кэш модулей Go.
Чем тест ограничен. Scale прогоняет модели сама, но агент у строк разный: Claude Code, Codex или минимальный mini-SWE-agent. Агент и уровень рассуждений подписаны у строки. В разнице между строками есть вклад и модели, и агента, поэтому напрямую эти цифры сравниваются только с оговоркой. Две лазейки Scale сама называет открытыми: модель доступна через доверенный посредник, а код внутри патча, например conftest.py или цель Makefile, проверяющая система все еще выполняет. Задачи не повторяют ваш стек и ваш репозиторий, поэтому перед выбором модели проверьте ее на своих задачах.
- моделей с результатом
- 19
- с независимым замером
- 19
- с цифрой разработчика
- 0
Как измеряли
Вкладка HARD таблицы Scale AI — трудная часть набора. Сколько в ней задач, страница не пишет. Соседние результаты отличаются примерно на 2 пункта, то есть одна решенная задача сдвигает модель примерно на 2 пункта, и разницу в несколько пунктов стоит считать почти ничьей. Погрешность на этой вкладке Scale показывает только у одной строки. Что именно означает ±, страница прямо не говорит; места в таблице Scale считает по границам доверительных интервалов. После 22 сентября Scale дополняет таблицу новыми моделями, но дат у строк не ставит, поэтому указан месяц, когда мы прочитали таблицу.
Таблица Scale AI, прочитана: ноябрь 2026 · Методология на сайте источника
| 050100 % | ||||||
|---|---|---|---|---|---|---|
| Claude Opus 5(откроется в новой вкладке)агент Claude Code, уровень xhigh | Независимо: 98 % (Scale AI, ноябрь 2026) | 98 | — | — | 370 ₽ / 1 850 ₽~3,70 / ~18,50 PnP | ноябрь 2026 |
| Claude Fable 5.1(откроется в новой вкладке)агент Claude Code, уровень high | Независимо: 92,2 % (Scale AI, ноябрь 2026) | 92,2 | — | — | 740 ₽ / 3 699 ₽~7,40 / ~36,99 PnP | ноябрь 2026 |
| Gemini 4 Argon(откроется в новой вкладке)агент mini-SWE-agent, уровень high | Независимо: 92,16 % (Scale AI, ноябрь 2026) | 92,16 | — | — | 148 ₽ / 740 ₽~1,48 / ~7,40 PnP | ноябрь 2026 |
| GPT-6 Astra(откроется в новой вкладке)агент Codex, уровень high | Независимо: 90,2 % (Scale AI, ноябрь 2026) | 90,2 | — | — | 740 ₽ / 3 699 ₽~7,40 / ~36,99 PnP | ноябрь 2026 |
| Muse Wonder(откроется в новой вкладке)агент mini-SWE-agent, уровень xhigh | Независимо: 90,2 % (Scale AI, ноябрь 2026) | 90,2 | — | — | 440 ₽ / 2 200 ₽4,4 / 22 PnP | ноябрь 2026 |
| Claude Sonnet 5(откроется в новой вкладке)агент Claude Code, уровень xhigh | Независимо: 88,2 % (Scale AI, ноябрь 2026) | 88,2 | — | — | 148 ₽ / 740 ₽~1,48 / ~7,40 PnP | ноябрь 2026 |
| Kimi K3(откроется в новой вкладке)агент mini-SWE-agent, уровень max | Независимо: 88,2 % (Scale AI, ноябрь 2026) | 88,2 | — | — | 49,50 ₽ / 1 110 ₽~0,50 / ~11,10 PnP | ноябрь 2026 |
| GPT-5.6 Terra(откроется в новой вкладке)агент Codex, уровень xhigh | Независимо: 86,3 % (Scale AI, ноябрь 2026) | 86,3 | — | — | 148 ₽ / 888 ₽~1,48 / ~8,88 PnP | ноябрь 2026 |
| Inkling 2 Small(откроется в новой вкладке) | Независимо: 86,27 % (Scale AI, ноябрь 2026) | 86,27 | — | — | 33,00 ₽ / 110 ₽0,33 / 1,1 PnP | ноябрь 2026 |
| MiniMax M3.1 Flash(откроется в новой вкладке)агент mini-SWE-agent, уровень xhigh | Независимо: 84,31 % (Scale AI, ноябрь 2026) | 84,31 | — | — | 16,50 ₽ / 66,00 ₽~0,17 / 0,66 PnP | ноябрь 2026 |
| GLM 5.3(откроется в новой вкладке)агент mini-SWE-agent, уровень max | Независимо: 84,3 % (Scale AI, ноябрь 2026) | 84,3 | — | — | 69,30 ₽ / 218 ₽~0,70 / ~2,18 PnP | ноябрь 2026 |
| GPT-5.6 Sol(откроется в новой вкладке)агент Codex, уровень xhigh | Независимо: 82,4 % (Scale AI, ноябрь 2026) | 82,4 | — | — | 296 ₽ / 1 480 ₽~2,96 / ~14,80 PnP | ноябрь 2026 |
| Muse Spark Open(откроется в новой вкладке)агент mini-SWE-agent, уровень xhigh | Независимо: 82,35 % (Scale AI, ноябрь 2026) | 82,35 | — | — | 138 ₽ / 468 ₽~1,38 / ~4,68 PnP | ноябрь 2026 |
| Claude Sonnet 5.5(откроется в новой вкладке)агент mini-SWE-agent, уровень xhigh | Независимо: 70,59 % (Scale AI, ноябрь 2026) | 70,59 | — | — | 148 ₽ / 740 ₽~1,48 / ~7,40 PnP | ноябрь 2026 |
| Gemini 3.8 Flash(откроется в новой вкладке)агент mini-SWE-agent, уровень high | Независимо: 58,8 % (Scale AI, ноябрь 2026) | 58,8 | — | — | 55,48 ₽ / 278 ₽~0,56 / ~2,78 PnP | ноябрь 2026 |
| Inkling(откроется в новой вкладке)агент mini-SWE-agent, уровень xhigh | Независимо: 56,9 % (Scale AI, ноябрь 2026) | 56,9 | — | — | 110 ₽ / 446 ₽1,1 / ~4,46 PnP | ноябрь 2026 |
| Claude Haiku 5.5(откроется в новой вкладке)агент mini-SWE-agent, уровень high | Независимо: 52,94 % (Scale AI, ноябрь 2026) | 52,94 ±13,01 | — | — | 7,40 ₽ / 36,99 ₽~0,08 / ~0,37 PnP | ноябрь 2026 |
| Claude Haiku 4.5(откроется в новой вкладке)агент Claude Code, уровень xhigh | Независимо: 25,5 % (Scale AI, ноябрь 2026) | 25,5 | — | — | 73,98 ₽ / 370 ₽~0,74 / ~3,70 PnP | ноябрь 2026 |

