SWE Atlas QnA v1.1
SWE Atlas QnA проверяет, как модель в роли агента разбирается в чужой кодовой базе и отвечает на вопросы о ней. Это одна из трех частей SWE Atlas от Scale AI, которые проверяют работу программиста помимо исправления ошибок. Ответ модели оценивает модель-судья по набору критериев. Задачи взяты из 15 рабочих репозиториев на шести языках: Go, Python, TypeScript, C, C++ и JavaScript. Агент работает в репозитории внутри Docker-контейнера со стандартными инструментами оболочки, поэтому может собрать, запустить и протестировать код. Каждая задача — один запрос: в нем поставлена цель, а способ решения агент выбирает сам. Всего в трех частях SWE Atlas 284 задачи.
Версия v1.1 вышла 22 сентября 2026 года. Все модели прогнали заново с новым судьей — моделью GPT-6.1 Sol, которая сама есть в таблице, итог решает большинство из трех ее голосов. Критерии оценки уточнили, доступ к сети ограничили. Поэтому результаты v1.1 нельзя напрямую сравнивать с таблицей v1.0.
Чем тест ограничен. Погрешность широкая: от ±7,5 до 8,9 пункта, поэтому соседние места, у которых интервалы перекрываются, — по сути ничья, и важна скорее группа, в которую попала модель. Какой агент запускал модели, страница не называет. Задачи не повторяют ваш стек и ваш репозиторий, поэтому перед выбором модели проверьте ее на своих задачах.
- моделей с результатом
- 16
- с независимым замером
- 16
- с цифрой разработчика
- 0
Как измеряли
Таблица Scale AI, вкладка QnA. Scale прогнала все модели сама в описанной выше среде. Уровень рассуждений у строк не указан. Погрешность показана так, как ее приводит Scale; что именно означает ±, страница прямо не говорит. После 22 сентября Scale дополняет таблицу новыми моделями, но дат у строк не ставит, поэтому указан месяц, когда мы прочитали таблицу.
Таблица Scale AI, прочитана: ноябрь 2026 · Методология на сайте источника
| 050100 % | ||||||
|---|---|---|---|---|---|---|
| Claude Opus 5.5(откроется в новой вкладке) | Независимо: 77,4 % (Scale AI, ноябрь 2026) | 77,4 ±7,5 | — | — | 296 ₽ / 1 480 ₽~2,96 / ~14,80 PnP | ноябрь 2026 |
| Inkling 2 Small(откроется в новой вкладке) | Независимо: 74,2 % (Scale AI, ноябрь 2026) | 74,2 ±7,8 | — | — | 33,00 ₽ / 110 ₽0,33 / 1,1 PnP | ноябрь 2026 |
| Claude Fable 5.1(откроется в новой вкладке) | Независимо: 73,4 % (Scale AI, ноябрь 2026) | 73,4 ±7,9 | — | — | 740 ₽ / 3 699 ₽~7,40 / ~36,99 PnP | ноябрь 2026 |
| Grok 4.7(откроется в новой вкладке) | Независимо: 73,4 % (Scale AI, ноябрь 2026) | 73,4 ±7,9 | — | — | 178 ₽ / 533 ₽~1,78 / ~5,33 PnP | ноябрь 2026 |
| Muse Wonder(откроется в новой вкладке) | Независимо: 73,4 % (Scale AI, ноябрь 2026) | 73,4 ±7,9 | — | — | 440 ₽ / 2 200 ₽4,4 / 22 PnP | ноябрь 2026 |
| Claude Sonnet 5.5(откроется в новой вкладке) | Независимо: 71,8 % (Scale AI, ноябрь 2026) | 71,8 ±8 | — | — | 148 ₽ / 740 ₽~1,48 / ~7,40 PnP | ноябрь 2026 |
| DeepSeek V4.1 Flash(откроется в новой вкладке) | Независимо: 71 % (Scale AI, ноябрь 2026) | 71 ±8,1 | — | — | 3,69 ₽ / 14,74 ₽~0,04 / ~0,15 PnP | ноябрь 2026 |
| GPT-6.1 Sol(откроется в новой вкладке) | Независимо: 71 % (Scale AI, ноябрь 2026) | 71 ±8,1 | — | — | 148 ₽ / 740 ₽~1,48 / ~7,40 PnP | ноябрь 2026 |
| GPT-6 Astra(откроется в новой вкладке) | Независимо: 70,2 % (Scale AI, ноябрь 2026) | 70,2 ±8,2 | — | — | 740 ₽ / 3 699 ₽~7,40 / ~36,99 PnP | ноябрь 2026 |
| Gemini 4 Argon(откроется в новой вкладке) | Независимо: 65,3 % (Scale AI, ноябрь 2026) | 65,3 ±8,5 | — | — | 148 ₽ / 740 ₽~1,48 / ~7,40 PnP | ноябрь 2026 |
| Kimi K3(откроется в новой вкладке) | Независимо: 65,3 % (Scale AI, ноябрь 2026) | 65,3 ±8,5 | — | — | 49,50 ₽ / 1 110 ₽~0,50 / ~11,10 PnP | ноябрь 2026 |
| Claude Haiku 5.5(откроется в новой вкладке) | Независимо: 62,1 % (Scale AI, ноябрь 2026) | 62,1 ±8,7 | — | — | 7,40 ₽ / 36,99 ₽~0,08 / ~0,37 PnP | ноябрь 2026 |
| GPT-6.1 Terra(откроется в новой вкладке) | Независимо: 54 % (Scale AI, ноябрь 2026) | 54 ±8,9 | — | — | 73,98 ₽ / 370 ₽~0,74 / ~3,70 PnP | ноябрь 2026 |
| GPT-6 Luna(откроется в новой вкладке) | Независимо: 50,8 % (Scale AI, ноябрь 2026) | 50,8 ±8,9 | — | — | 7,40 ₽ / 36,99 ₽~0,08 / ~0,37 PnP | ноябрь 2026 |
| Muse Spark Open(откроется в новой вкладке) | Независимо: 50 % (Scale AI, ноябрь 2026) | 50 ±8,9 | — | — | 138 ₽ / 468 ₽~1,38 / ~4,68 PnP | ноябрь 2026 |
| Gemini 3.8 Flash(откроется в новой вкладке) | Независимо: 45,2 % (Scale AI, ноябрь 2026) | 45,2 ±8,9 | — | — | 55,48 ₽ / 278 ₽~0,56 / ~2,78 PnP | ноябрь 2026 |

