Перейти к содержимому
RouterNodul

SWE Atlas QnA v1.1

SWE Atlas QnA проверяет, как модель в роли агента разбирается в чужой кодовой базе и отвечает на вопросы о ней. Это одна из трех частей SWE Atlas от Scale AI, которые проверяют работу программиста помимо исправления ошибок. Ответ модели оценивает модель-судья по набору критериев. Задачи взяты из 15 рабочих репозиториев на шести языках: Go, Python, TypeScript, C, C++ и JavaScript. Агент работает в репозитории внутри Docker-контейнера со стандартными инструментами оболочки, поэтому может собрать, запустить и протестировать код. Каждая задача — один запрос: в нем поставлена цель, а способ решения агент выбирает сам. Всего в трех частях SWE Atlas 284 задачи.

Версия v1.1 вышла 22 сентября 2026 года. Все модели прогнали заново с новым судьей — моделью GPT-6.1 Sol, которая сама есть в таблице, итог решает большинство из трех ее голосов. Критерии оценки уточнили, доступ к сети ограничили. Поэтому результаты v1.1 нельзя напрямую сравнивать с таблицей v1.0.

Чем тест ограничен. Погрешность широкая: от ±7,5 до 8,9 пункта, поэтому соседние места, у которых интервалы перекрываются, — по сути ничья, и важна скорее группа, в которую попала модель. Какой агент запускал модели, страница не называет. Задачи не повторяют ваш стек и ваш репозиторий, поэтому перед выбором модели проверьте ее на своих задачах.

моделей с результатом
16
с независимым замером
16
с цифрой разработчика
0

Как измеряли

Таблица Scale AI, вкладка QnA. Scale прогнала все модели сама в описанной выше среде. Уровень рассуждений у строк не указан. Погрешность показана так, как ее приводит Scale; что именно означает ±, страница прямо не говорит. После 22 сентября Scale дополняет таблицу новыми моделями, но дат у строк не ставит, поэтому указан месяц, когда мы прочитали таблицу.

Таблица Scale AI, прочитана: ноябрь 2026 · Методология на сайте источника

Независимое измерениеПо данным разработчика
SWE Atlas QnA v1.1: Scale AI
050100 %
Claude Opus 5.5(откроется в новой вкладке)Независимо: 77,4 % (Scale AI, ноябрь 2026)77,4 ±7,5——296 ₽ / 1 480 ₽~2,96 / ~14,80 PnPноябрь 2026
Inkling 2 Small(откроется в новой вкладке)Независимо: 74,2 % (Scale AI, ноябрь 2026)74,2 ±7,8——33,00 ₽ / 110 ₽0,33 / 1,1 PnPноябрь 2026
Claude Fable 5.1(откроется в новой вкладке)Независимо: 73,4 % (Scale AI, ноябрь 2026)73,4 ±7,9——740 ₽ / 3 699 ₽~7,40 / ~36,99 PnPноябрь 2026
Grok 4.7(откроется в новой вкладке)Независимо: 73,4 % (Scale AI, ноябрь 2026)73,4 ±7,9——178 ₽ / 533 ₽~1,78 / ~5,33 PnPноябрь 2026
Muse Wonder(откроется в новой вкладке)Независимо: 73,4 % (Scale AI, ноябрь 2026)73,4 ±7,9——440 ₽ / 2 200 ₽4,4 / 22 PnPноябрь 2026
Claude Sonnet 5.5(откроется в новой вкладке)Независимо: 71,8 % (Scale AI, ноябрь 2026)71,8 ±8——148 ₽ / 740 ₽~1,48 / ~7,40 PnPноябрь 2026
DeepSeek V4.1 Flash(откроется в новой вкладке)Независимо: 71 % (Scale AI, ноябрь 2026)71 ±8,1——3,69 ₽ / 14,74 ₽~0,04 / ~0,15 PnPноябрь 2026
GPT-6.1 Sol(откроется в новой вкладке)Независимо: 71 % (Scale AI, ноябрь 2026)71 ±8,1——148 ₽ / 740 ₽~1,48 / ~7,40 PnPноябрь 2026
GPT-6 Astra(откроется в новой вкладке)Независимо: 70,2 % (Scale AI, ноябрь 2026)70,2 ±8,2——740 ₽ / 3 699 ₽~7,40 / ~36,99 PnPноябрь 2026
Gemini 4 Argon(откроется в новой вкладке)Независимо: 65,3 % (Scale AI, ноябрь 2026)65,3 ±8,5——148 ₽ / 740 ₽~1,48 / ~7,40 PnPноябрь 2026
Kimi K3(откроется в новой вкладке)Независимо: 65,3 % (Scale AI, ноябрь 2026)65,3 ±8,5——49,50 ₽ / 1 110 ₽~0,50 / ~11,10 PnPноябрь 2026
Claude Haiku 5.5(откроется в новой вкладке)Независимо: 62,1 % (Scale AI, ноябрь 2026)62,1 ±8,7——7,40 ₽ / 36,99 ₽~0,08 / ~0,37 PnPноябрь 2026
GPT-6.1 Terra(откроется в новой вкладке)Независимо: 54 % (Scale AI, ноябрь 2026)54 ±8,9——73,98 ₽ / 370 ₽~0,74 / ~3,70 PnPноябрь 2026
GPT-6 Luna(откроется в новой вкладке)Независимо: 50,8 % (Scale AI, ноябрь 2026)50,8 ±8,9——7,40 ₽ / 36,99 ₽~0,08 / ~0,37 PnPноябрь 2026
Muse Spark Open(откроется в новой вкладке)Независимо: 50 % (Scale AI, ноябрь 2026)50 ±8,9——138 ₽ / 468 ₽~1,38 / ~4,68 PnPноябрь 2026
Gemini 3.8 Flash(откроется в новой вкладке)Независимо: 45,2 % (Scale AI, ноябрь 2026)45,2 ±8,9——55,48 ₽ / 278 ₽~0,56 / ~2,78 PnPноябрь 2026