# SWE-bench Pro V2

## О тесте

SWE-bench Pro проверяет, справится ли модель в роли агента с долгой задачей в настоящем открытом репозитории: исправить ошибку или добавить функцию. Модель получает репозиторий в контейнере, описание задачи и требования к решению и сама пишет патч. Задачу засчитывают, только если с патчем проходят новые тесты, которые падали на исходном коде, и не ломается ни один из прежних тестов. Задачи взяты из репозиториев на Python, Go, JavaScript и TypeScript.

Версию V2 Scale AI выпустила 22 сентября 2026 года вместе с Reflection. Это обновленный открытый набор из 642 задач в 11 репозиториях: 89 задач, которые при проверке оказались неверными, убрали, а в 69 задачах исправили текст, противоречивший проверочным тестам. Во время работы агент может обращаться только к модели, веб-инструменты выключены, лимит — 250 ходов без ограничения стоимости. Каждый патч Scale перепроверяет на чистом образе и публикует обе оценки. Так нашли подлоги: Opus 5 вписал поддельную контрольную сумму модуля Go в `go.sum`, а Inkling в трех задачах правил кэш модулей Go.

Чем тест ограничен. Scale прогоняет модели сама, но агент у строк разный: Claude Code, Codex или минимальный mini-SWE-agent. Агент и уровень рассуждений подписаны у строки. В разнице между строками есть вклад и модели, и агента, поэтому напрямую эти цифры сравниваются только с оговоркой. Две лазейки Scale сама называет открытыми: модель доступна через доверенный посредник, а код внутри патча, например `conftest.py` или цель Makefile, проверяющая система все еще выполняет. Задачи не повторяют ваш стек и ваш репозиторий, поэтому перед выбором модели проверьте ее на своих задачах.

## Результаты

Методика: HARD (Scale AI).

Вкладка HARD таблицы Scale AI — трудная часть набора. Сколько в ней задач, страница не пишет. Соседние результаты отличаются примерно на 2 пункта, то есть одна решенная задача сдвигает модель примерно на 2 пункта, и разницу в несколько пунктов стоит считать почти ничьей. Погрешность на этой вкладке Scale показывает только у одной строки. Что именно означает ±, страница прямо не говорит; места в таблице Scale считает по границам доверительных интервалов. После 22 сентября Scale дополняет таблицу новыми моделями, но дат у строк не ставит, поэтому указан месяц, когда мы прочитали таблицу.

| Модель | Независимый замер | Цифра разработчика | Ввод, ₽ за 1 млн | Вывод, ₽ за 1 млн |
| --- | --- | --- | --- | --- |
| [Claude Opus 5](https://router.nodul.ru/models/anthropic/claude-opus-5.md) | 98 % (ноябрь 2026) | — | 369.86 | 1849.2998 |
| [Claude Fable 5.1](https://router.nodul.ru/models/anthropic/claude-fable-5.1.md) | 92,2 % (ноябрь 2026) | — | 739.7199 | 3698.5995 |
| [Gemini 4 Argon](https://router.nodul.ru/models/google/gemini-4-argon.md) | 92,16 % (ноябрь 2026) | — | 147.944 | 739.7199 |
| [GPT-6 Astra](https://router.nodul.ru/models/openai/gpt-6-astra.md) | 90,2 % (ноябрь 2026) | — | 739.7199 | 3698.5995 |
| [Muse Wonder](https://router.nodul.ru/models/meta/muse-wonder.md) | 90,2 % (ноябрь 2026) | — | 440 | 2200 |
| [Claude Sonnet 5](https://router.nodul.ru/models/anthropic/claude-sonnet-5.md) | 88,2 % (ноябрь 2026) | — | 147.944 | 739.7199 |
| [Kimi K3](https://router.nodul.ru/models/moonshotai/kimi-k3.md) | 88,2 % (ноябрь 2026) | — | 49.5 | 1109.5799 |
| [GPT-5.6 Terra](https://router.nodul.ru/models/openai/gpt-5.6-terra.md) | 86,3 % (ноябрь 2026) | — | 147.944 | 887.6639 |
| [Inkling 2 Small](https://router.nodul.ru/models/thinkingmachines/inkling-2-small.md) | 86,27 % (ноябрь 2026) | — | 33 | 110 |
| [MiniMax M3.1 Flash](https://router.nodul.ru/models/minimax/minimax-m3.1-flash.md) | 84,31 % (ноябрь 2026) | — | 16.5 | 66 |
| [GLM 5.3](https://router.nodul.ru/models/z-ai/glm-5.3.md) | 84,3 % (ноябрь 2026) | — | 69.3 | 217.8 |
| [GPT-5.6 Sol](https://router.nodul.ru/models/openai/gpt-5.6-sol.md) | 82,4 % (ноябрь 2026) | — | 295.888 | 1479.4398 |
| [Muse Spark Open](https://router.nodul.ru/models/meta/muse-spark-open.md) | 82,35 % (ноябрь 2026) | — | 137.5 | 467.5 |
| [Claude Sonnet 5.5](https://router.nodul.ru/models/anthropic/claude-sonnet-5.5.md) | 70,59 % (ноябрь 2026) | — | 147.944 | 739.7199 |
| [Gemini 3.8 Flash](https://router.nodul.ru/models/google/gemini-3.8-flash.md) | 58,8 % (ноябрь 2026) | — | 55.479 | 277.395 |
| [Inkling](https://router.nodul.ru/models/thinkingmachines/inkling.md) | 56,9 % (ноябрь 2026) | — | 110 | 445.5 |
| [Claude Haiku 5.5](https://router.nodul.ru/models/anthropic/claude-haiku-5.5.md) | 52,94 % (ноябрь 2026) | — | 7.3972 | 36.986 |
| [Claude Haiku 4.5](https://router.nodul.ru/models/anthropic/claude-haiku-4.5.md) | 25,5 % (ноябрь 2026) | — | 73.972 | 369.86 |

---
HTML-версия: https://router.nodul.ru/models/benchmarks/swe-bench-pro
Оглавление сайта для ИИ-агентов: https://router.nodul.ru/llms.txt · все для решения о покупке: https://router.nodul.ru/llms-full.txt · прайс-лист: https://router.nodul.ru/models/prices.md
