# SWE-bench Verified

## О тесте

SWE-bench Verified проверяет, справится ли модель в роли агента с исправлением настоящей ошибки в чужом коде. В наборе 500 задач: реальные обращения из открытых Python-репозиториев на GitHub, каждое из которых вручную проверили эксперты. Модель получает репозиторий в изолированном контейнере и текст обращения, сама разбирается в коде и пишет патч. Задачу засчитывают, если с этим патчем проходят скрытые от модели проверочные тесты из исходного исправления.

Чем тест ограничен. Все задачи на Python и взяты всего из двенадцати репозиториев, поэтому о других языках и о вашем коде тест говорит мало. Он почти исчерпан: в таблице Vals AI лучшие результаты дошли до 97 %, и новые модели там на нем больше не проверяют. В феврале 2026 года OpenAI перестала публиковать результаты на этом тесте: по ее разбору, часть проверочных тестов отклоняет верные исправления, а сами задачи все сильнее просачиваются в обучающие данные моделей. Поэтому разница в один-два пункта между моделями почти ничего не значит.

## Результаты

Методика: Vals AI.

Vals AI прогоняла модели в том же минимальном агенте mini-SWE-agent: единственный инструмент — bash, в подсказке только описание задачи, настройки модели по умолчанию, лимит длины ответа всегда максимальный. Для нескольких моделей в таблице есть и строки в других агентах, например Claude Code, Codex или Factory; у каждой модели взята ее лучшая строка, и если это строка другого агента, он подписан у строки. Тест у Vals AI в архиве: результаты уперлись в потолок, и новые модели на нем больше не проверяют. Таблица последний раз обновлялась 1 сентября 2026 года. Vals AI приводит погрешность у каждой строки; здесь она показана там, где мы сверили ее на странице источника.

| Модель | Независимый замер | Цифра разработчика | Ввод, ₽ за 1 млн | Вывод, ₽ за 1 млн |
| --- | --- | --- | --- | --- |
| [Claude Opus 5](https://router.nodul.ru/models/anthropic/claude-opus-5.md) | 97 % (сентябрь 2026) | — | 369.86 | 1849.2998 |
| [DeepSeek V4 Pro 0813](https://router.nodul.ru/models/deepseek/deepseek-v4-pro-0813.md) | 96,4 % (сентябрь 2026) | — | 81.9991 | 245.9973 |
| [GPT-5.6 Sol](https://router.nodul.ru/models/openai/gpt-5.6-sol.md) | 96,2 % (сентябрь 2026) | — | 295.888 | 1479.4398 |
| [Grok 4.6](https://router.nodul.ru/models/x-ai/grok-4.6.md) | 95,6 % (сентябрь 2026) | — | 177.4872 | 532.4616 |
| [GLM 5.3](https://router.nodul.ru/models/z-ai/glm-5.3.md) | 95,4 % (сентябрь 2026) | — | 69.3 | 217.8 |
| [GPT-5.6 Terra](https://router.nodul.ru/models/openai/gpt-5.6-terra.md) | 95,4 % (сентябрь 2026) | — | 147.944 | 887.6639 |
| [Claude Fable 5](https://router.nodul.ru/models/anthropic/claude-fable-5.md) | 95 % (сентябрь 2026) | — | 739.7199 | 3698.5995 |
| [Kimi K3](https://router.nodul.ru/models/moonshotai/kimi-k3.md) | 93,4 % (сентябрь 2026) | — | 49.5 | 1109.5799 |
| [GPT-5.6 Luna](https://router.nodul.ru/models/openai/gpt-5.6-luna.md) | 93 % (сентябрь 2026) | — | 14.7944 | 88.7664 |
| [GLM 5.3 Flash](https://router.nodul.ru/models/z-ai/glm-5.3-flash.md) | 92 % (сентябрь 2026) | — | 11.0958 | 36.986 |
| [DeepSeek V4 Flash 0731](https://router.nodul.ru/models/deepseek/deepseek-v4-flash-0731.md) | 88,8 % (сентябрь 2026) | — | 4.873 | 33 |
| [Claude Opus 4.8](https://router.nodul.ru/models/anthropic/claude-opus-4.8.md) | 88,6 % (сентябрь 2026) | — | 369.86 | 1849.2998 |
| [Grok 4.5](https://router.nodul.ru/models/x-ai/grok-4.5.md) | 86,6 % (сентябрь 2026) | — | 177.4872 | 532.4616 |
| [Muse Spark 1.2](https://router.nodul.ru/models/meta/muse-spark-1.2.md) | 86,6 % (сентябрь 2026) | — | 137.5 | 467.5 |
| [Qwen3.8 27B](https://router.nodul.ru/models/qwen/qwen3.8-27b.md) | 86 % (сентябрь 2026) | — | 4.4 | 165 |
| [GLM 5.2](https://router.nodul.ru/models/z-ai/glm-5.2.md) | 82,8 % (сентябрь 2026) | — | 68.2 | 269.4256 |
| [GPT-5.5](https://router.nodul.ru/models/openai/gpt-5.5.md) | 82,6 % (сентябрь 2026) | — | 369.86 | 2219.1597 |
| [Inkling Small](https://router.nodul.ru/models/thinkingmachines/inkling-small.md) | 82,2 % (сентябрь 2026) | 80,2 % (июль 2026) | 49.5 | 132 |
| [Claude Opus 4.7](https://router.nodul.ru/models/anthropic/claude-opus-4.7.md) | 82 % (сентябрь 2026) | — | 369.86 | 1849.2998 |
| [Muse Spark 1.1](https://router.nodul.ru/models/meta/muse-spark-1.1.md) | 82 % (сентябрь 2026) | — | 137.5 | 467.5 |
| [Gemini 3.7 Flash](https://router.nodul.ru/models/google/gemini-3.7-flash.md) | 80,8 % (сентябрь 2026) | — | 55.479 | 277.395 |
| [Gemini 3.8 Flash](https://router.nodul.ru/models/google/gemini-3.8-flash.md) | 80 % (сентябрь 2026) | — | 55.479 | 277.395 |
| [Claude Sonnet 5](https://router.nodul.ru/models/anthropic/claude-sonnet-5.md) | 79,6 % (сентябрь 2026) | — | 147.944 | 739.7199 |
| [Gemini 3.6 Flash](https://router.nodul.ru/models/google/gemini-3.6-flash.md) | 79,6 % (сентябрь 2026) | — | 55.479 | 277.395 |
| [Gemini 3.1 Pro Preview](https://router.nodul.ru/models/google/gemini-3.1-pro-preview.md) | 78,8 % (сентябрь 2026) | 80,6 % (февраль 2026) | 147.944 | 887.6639 |
| [Gemini 3.5 Flash](https://router.nodul.ru/models/google/gemini-3.5-flash.md) | 78,8 % (сентябрь 2026) | — | 110.958 | 665.7479 |
| [Claude Opus 4.6](https://router.nodul.ru/models/anthropic/claude-opus-4.6.md) | 78,2 % (сентябрь 2026) | 81,42 % (февраль 2026) | 369.86 | 1849.2998 |
| [GPT-5.4](https://router.nodul.ru/models/openai/gpt-5.4.md) | 78,2 % (сентябрь 2026) | — | 184.93 | 1109.5799 |
| [Kimi K2.7 Code](https://router.nodul.ru/models/moonshotai/kimi-k2.7-code.md) | 78,2 % (сентябрь 2026) | — | 78.375 | 330 |
| [GPT-5.3-Codex](https://router.nodul.ru/models/openai/gpt-5.3-codex.md) | 78 % (сентябрь 2026) | — | 192.5 | 1540 |
| [Inkling](https://router.nodul.ru/models/thinkingmachines/inkling.md) | 77,6 % (сентябрь 2026) | 77,6 % (июль 2026) | 110 | 445.5 |
| [Claude Sonnet 4.6](https://router.nodul.ru/models/anthropic/claude-sonnet-4.6.md) | 77,4 % (сентябрь 2026) | 79,6 % (февраль 2026) | 221.916 | 1109.5799 |
| [DeepSeek V4 Pro 0423](https://router.nodul.ru/models/deepseek/deepseek-v4-pro.md) | 77,4 % (сентябрь 2026) | 80,6 % (апрель 2026) | 48.88 | 97.7599 |
| [Claude Opus 4.5](https://router.nodul.ru/models/anthropic/claude-opus-4.5.md) | 76,4 % (сентябрь 2026) | 80,9 % (ноябрь 2025) | 369.86 | 1849.2998 |
| [GLM 5.1](https://router.nodul.ru/models/z-ai/glm-5.1.md) | 76,4 % (сентябрь 2026) | — | 103.5608 | 325.4768 |
| [Kimi K2.6](https://router.nodul.ru/models/moonshotai/kimi-k2.6.md) | 76,2 % (сентябрь 2026) | 80,2 % (апрель 2026) | 77 | 354.9744 |
| [GPT-5.2](https://router.nodul.ru/models/openai/gpt-5.2.md) | 75,8 % (сентябрь 2026) | 80 % (декабрь 2025) | 155.3013 | 1242.4104 |
| [Gemini 3 Flash Preview](https://router.nodul.ru/models/google/gemini-3-flash-preview.md) | 75 % (сентябрь 2026) | 78 % (декабрь 2025) | 36.986 | 221.916 |
| [Gemini 3.5 Flash Lite](https://router.nodul.ru/models/google/gemini-3.5-flash-lite.md) | 75 % (сентябрь 2026) | — | 22.1916 | 184.93 |
| [MiniMax M3](https://router.nodul.ru/models/minimax/minimax-m3.md) | 75 % (сентябрь 2026) | — | 26.6231 | 106.4923 |
| [MiniMax M2.5](https://router.nodul.ru/models/minimax/minimax-m2.5.md) | 74,2 % (сентябрь 2026) | 80,2 % (февраль 2026) | 29.7 | 104.5 |
| [MiMo-V2.5-Pro](https://router.nodul.ru/models/xiaomi/mimo-v2.5-pro.md) | 74 % (сентябрь 2026) | 78,9 % (апрель 2026) | 38.6035 | 77.2069 |
| [MiniMax M2.7](https://router.nodul.ru/models/minimax/minimax-m2.7.md) | 73,8 % (сентябрь 2026) | — | 26.6231 | 106.4923 |
| [Qwen3.6 Plus](https://router.nodul.ru/models/qwen/qwen3.6-plus.md) | 73,4 % (сентябрь 2026) | 78,8 % (апрель 2026) | 35.75 | 214.5 |
| [GPT-5.4 Mini](https://router.nodul.ru/models/openai/gpt-5.4-mini.md) | 73 % (сентябрь 2026) | — | 66.5577 | 399.3462 |
| [GPT-5.2-Codex](https://router.nodul.ru/models/openai/gpt-5.2-codex.md) | 72,4 % (сентябрь 2026) | — | 192.5 | 1540 |
| [GLM 5](https://router.nodul.ru/models/z-ai/glm-5.md) | 71,4 % (сентябрь 2026) | 77,8 % (февраль 2026) | 88.7436 | 283.9795 |
| [Grok 4.3](https://router.nodul.ru/models/x-ai/grok-4.3.md) | 71,4 % (сентябрь 2026) | — | 110.9295 | 221.859 |
| [Qwen3.5 Plus 2026-02-15](https://router.nodul.ru/models/qwen/qwen3.5-plus-02-15.md) | 71,2 % (сентябрь 2026) | — | 28.6 | 171.6 |
| [MiMo-V2.5](https://router.nodul.ru/models/xiaomi/mimo-v2.5.md) | 71 % (сентябрь 2026) | — | 12.4241 | 24.8482 |
| [Claude Sonnet 4.5](https://router.nodul.ru/models/anthropic/claude-sonnet-4.5.md) | 70 % (сентябрь 2026) | 77,2 % (сентябрь 2025) | 221.916 | 1109.5799 |
| [Kimi K2.5](https://router.nodul.ru/models/moonshotai/kimi-k2.5.md) | 70 % (сентябрь 2026) | 76,8 % (январь 2026) | 66 | 330 |
| [Qwen3.6 27B](https://router.nodul.ru/models/qwen/qwen3.6-27b.md) | 70 % (сентябрь 2026) | 77,2 % (апрель 2026) | 35.2 | 352 |
| [GPT-5.1](https://router.nodul.ru/models/openai/gpt-5.1.md) | 69,8 % (сентябрь 2026) | 76,3 % (ноябрь 2025) | 137.5 | 1100 |
| [GPT-5.4 Nano](https://router.nodul.ru/models/openai/gpt-5.4-nano.md) | 69,8 % (сентябрь 2026) | — | 17.7487 | 110.9295 |
| [GLM 4.7](https://router.nodul.ru/models/z-ai/glm-4.7.md) | 69,4 % (сентябрь 2026) | 73,8 % (декабрь 2025) | 53.2462 | 195.2359 |
| [GPT-5](https://router.nodul.ru/models/openai/gpt-5.md) | 69 % (сентябрь 2026) | 74,9 % (август 2025) | 137.5 | 1100 |
| [Nemotron 3 Ultra](https://router.nodul.ru/models/nvidia/nemotron-3-ultra-550b-a55b.md) | 69 % (сентябрь 2026) | 70,7 % (июнь 2026) | 53.2462 | 212.9846 |
| [Qwen3.7 Max](https://router.nodul.ru/models/qwen/qwen3.7-max.md) | 68,8 % (сентябрь 2026) | 80,4 % (май 2026) | 162.25 | 486.75 |
| [DeepSeek V3.2](https://router.nodul.ru/models/deepseek/deepseek-v3.2.md) | 67,6 % (сентябрь 2026) | 73,1 % (декабрь 2025) | 30.8 | 88 |
| [Claude Haiku 4.5](https://router.nodul.ru/models/anthropic/claude-haiku-4.5.md) | 66,6 % (сентябрь 2026) | 73,3 % (октябрь 2025) | 73.972 | 369.86 |
| [Mistral Medium 3.5](https://router.nodul.ru/models/mistralai/mistral-medium-3-5.md) | 66,4 % (сентябрь 2026) | 77,6 % (май 2026) | 165 | 825 |
| [Ling 3.0 Flash](https://router.nodul.ru/models/inclusionai/ling-3.0-flash.md) | 65,2 % (сентябрь 2026) | — | 2.31 | 6.93 |
| [Qwen3.5-Flash](https://router.nodul.ru/models/qwen/qwen3.5-flash-02-23.md) | 64,4 % (сентябрь 2026) | — | 7.15 | 28.6 |
| [Devstral 2 2512](https://router.nodul.ru/models/mistralai/devstral-2512.md) | 62,8 % (сентябрь 2026) | 72,2 % (декабрь 2025) | 44 | 220 |
| [Gemini 3.1 Flash Lite Preview](https://router.nodul.ru/models/google/gemini-3.1-flash-lite-preview.md) | 62,8 % (сентябрь 2026) | — | 27.5 | 165 |
| [GPT-5 Mini](https://router.nodul.ru/models/openai/gpt-5-mini.md) | 60,8 % (сентябрь 2026) | 71 % (август 2025) | 27.5 | 220 |
| [Kimi K2 Thinking](https://router.nodul.ru/models/moonshotai/kimi-k2-thinking.md) | 60,2 % (сентябрь 2026) | 71,3 % (ноябрь 2025) | 66 | 275 |
| [Gemini 2.5 Pro](https://router.nodul.ru/models/google/gemini-2.5-pro.md) | 54,4 % (сентябрь 2026) | — | 110.9295 | 887.436 |
| [Nemotron 3.5 Lightning](https://router.nodul.ru/models/nvidia/nemotron-3.5-lightning.md) | 52,8 % (сентябрь 2026) | 51,56 % (август 2026) | 7.7 | 22 |
| [Mistral Large 3 2512](https://router.nodul.ru/models/mistralai/mistral-large-2512.md) | 41,4 % (сентябрь 2026) | — | 55 | 165 |
| [gpt-oss-120b](https://router.nodul.ru/models/openai/gpt-oss-120b.md) | 33,6 % (сентябрь 2026) | 62,4 % (август 2025) | 9.9 | 39.6 |
| [Command A](https://router.nodul.ru/models/cohere/command-a.md) | 7,8 % (сентябрь 2026) | — | 275 | 1100 |
| [Ember-1](https://router.nodul.ru/models/fireworks/ember-1.md) | — | 92,2 % (сентябрь 2026) | 330 | 1650 |
| [Beam 1.0 501B A23B](https://router.nodul.ru/models/reflection/beam-1.0-501b-a23b.md) | — | 81,6 % (октябрь 2026) | 44 | 132 |
| [DeepSeek V4 Flash 0423](https://router.nodul.ru/models/deepseek/deepseek-v4-flash.md) | — | 79 % (апрель 2026) | 9.9 | 49.5 |
| [GPT-5.1-Codex-Max](https://router.nodul.ru/models/openai/gpt-5.1-codex-max.md) | — | 77,9 % (ноябрь 2025) | 137.5 | 1100 |
| [Ripple 65B Preview](https://router.nodul.ru/models/ricursiveai/ripple-65b-preview.md) | — | 76,5 % (ноябрь 2026) | 11 | 33 |
| [Qwen3.5 397B A17B](https://router.nodul.ru/models/qwen/qwen3.5-397b-a17b.md) | — | 76,4 % (февраль 2026) | 55 | 360 |
| [Muse Glimmer 30B](https://router.nodul.ru/models/meta/muse-glimmer-30b.md) | — | 76 % (август 2026) | 38.5 | 165 |
| [Claude Opus 4.1](https://router.nodul.ru/models/anthropic/claude-opus-4.1.md) | — | 74,5 % (август 2025) | 1650 | 8250 |
| [Flint (free)](https://router.nodul.ru/models/recursive/flint-v1.0.md) | — | 74,2 % (октябрь 2026) | 0 | 0 |
| [GPT-5.1-Codex](https://router.nodul.ru/models/openai/gpt-5.1-codex.md) | — | 73,7 % (ноябрь 2025) | 137.5 | 1100 |
| [Seed-2.0-Lite](https://router.nodul.ru/models/bytedance-seed/seed-2.0-lite.md) | — | 73,5 % (февраль 2026) | 27.5 | 220 |
| [Qwen3.6 35B A3B](https://router.nodul.ru/models/qwen/qwen3.6-35b-a3b.md) | — | 73,4 % (апрель 2026) | 11 | 99 |
| [Qwen3.5-27B](https://router.nodul.ru/models/qwen/qwen3.5-27b.md) | — | 72,4 % (февраль 2026) | 28.6 | 240 |
| [Qwen3.5-122B-A10B](https://router.nodul.ru/models/qwen/qwen3.5-122b-a10b.md) | — | 72 % (февраль 2026) | 28.6 | 228.8 |
| [Nemotron 3.5 Super VL](https://router.nodul.ru/models/nvidia/nemotron-3.5-super-vl.md) | — | 71,1 % (октябрь 2026) | 16.5 | 55 |
| [Qwen3 Coder Next](https://router.nodul.ru/models/qwen/qwen3-coder-next.md) | — | 70,6 % (март 2026) | 13.2 | 88 |
| [Solar Pro 4](https://router.nodul.ru/models/upstage/solar-pro4.md) | — | 70,6 % (август 2026) | 16.5 | 66 |
| [Kimi K2 0905](https://router.nodul.ru/models/moonshotai/kimi-k2-0905.md) | — | 69,2 % (сентябрь 2025) | 66 | 275 |
| [Qwen3.5-35B-A3B](https://router.nodul.ru/models/qwen/qwen3.5-35b-a3b.md) | — | 69,2 % (февраль 2026) | 16.5 | 110 |
| [o3](https://router.nodul.ru/models/openai/o3.md) | — | 69,1 % (апрель 2025) | 220 | 880 |
| [DeepSeek V3.1 Terminus](https://router.nodul.ru/models/deepseek/deepseek-v3.1-terminus.md) | — | 68,4 % (сентябрь 2025) | 29.7 | 110 |
| [DeepSeek V3.2 Exp](https://router.nodul.ru/models/deepseek/deepseek-v3.2-exp.md) | — | 67,8 % (сентябрь 2025) | 29.7 | 45.1 |
| [DeepSeek V3.1](https://router.nodul.ru/models/deepseek/deepseek-chat-v3.1.md) | — | 66 % (август 2025) | 29.7 | 110 |
| [Kimi K2 0711](https://router.nodul.ru/models/moonshotai/kimi-k2.md) | — | 65,8 % (июль 2025) | 62.7 | 253 |
| [GLM 4.5](https://router.nodul.ru/models/z-ai/glm-4.5.md) | — | 64,2 % (июль 2025) | 53.2462 | 195.2359 |
| [gpt-oss-20b](https://router.nodul.ru/models/openai/gpt-oss-20b.md) | — | 60,7 % (август 2025) | 8.25 | 33 |
| [GLM 4.7 Flash](https://router.nodul.ru/models/z-ai/glm-4.7-flash.md) | — | 59,2 % (январь 2026) | 7.7 | 44 |
| [GLM 4.5 Air](https://router.nodul.ru/models/z-ai/glm-4.5-air.md) | — | 57,6 % (июль 2025) | 15.4 | 94.6 |
| [R1 0528](https://router.nodul.ru/models/deepseek/deepseek-r1-0528.md) | — | 57,6 % (май 2025) | 62.81 | 251.46 |
| [GPT-5 Nano](https://router.nodul.ru/models/openai/gpt-5-nano.md) | — | 54,7 % (август 2025) | 5.5 | 44 |
| [GPT-4.1](https://router.nodul.ru/models/openai/gpt-4.1.md) | — | 54,6 % (апрель 2025) | 220 | 880 |
| [LFM2.5-24B-A2B](https://router.nodul.ru/models/liquid/lfm-2.5-24b-a2b.md) | — | 51 % (октябрь 2026) | 5.5 | 77 |
| [Gemini 2.5 Flash](https://router.nodul.ru/models/google/gemini-2.5-flash.md) | — | 48,9 % (июль 2025) | 26.6231 | 221.859 |
| [Granite 4.2 8B](https://router.nodul.ru/models/ibm-granite/granite-4.2-8b.md) | — | 47,67 % (август 2026) | 6.6 | 16.5 |
| [DeepSeek V3](https://router.nodul.ru/models/deepseek/deepseek-chat.md) | — | 42 % (декабрь 2024) | 28.314 | 113.157 |
| [Gemini 2.5 Flash Lite](https://router.nodul.ru/models/google/gemini-2.5-flash-lite.md) | — | 31,6 % (сентябрь 2025) | 8.8744 | 35.4974 |
| [GPT-4.1 Mini](https://router.nodul.ru/models/openai/gpt-4.1-mini.md) | — | 23,6 % (апрель 2025) | 44 | 176 |

## Цифры разработчиков

Цифру опубликовал разработчик модели. Агент, уровень рассуждений, число попыток и даже набор задач он выбирает сам: некоторые считают не все 500 задач, а только их часть. Где условия указаны, они подписаны у строки. Сравнивать эти цифры между собой и с независимыми таблицами можно только с оговоркой.

---
HTML-версия: https://router.nodul.ru/models/benchmarks/swe-bench-verified
Оглавление сайта для ИИ-агентов: https://router.nodul.ru/llms.txt · все для решения о покупке: https://router.nodul.ru/llms-full.txt · прайс-лист: https://router.nodul.ru/models/prices.md
