Перейти к содержимому
RouterNodul

SWE Atlas Test Writing v1.1

SWE Atlas Test Writing проверяет, как модель в роли агента пишет тесты к существующему коду. Это одна из трех частей SWE Atlas от Scale AI, которые проверяют работу программиста помимо исправления ошибок; результат оценивает модель-судья. Задачи взяты из 15 рабочих репозиториев на шести языках: Go, Python, TypeScript, C, C++ и JavaScript. Агент работает в репозитории внутри Docker-контейнера со стандартными инструментами оболочки, поэтому может собрать, запустить и протестировать код. Каждая задача — один запрос: в нем поставлена цель, а способ решения агент выбирает сам. Всего в трех частях SWE Atlas 284 задачи.

Версия v1.1 вышла 22 сентября 2026 года. Все модели прогнали заново с новым судьей — моделью GPT-6.1 Sol, которая сама есть в таблице, итог решает большинство из трех ее голосов. Критерии оценки уточнили, доступ к сети ограничили. Поэтому результаты v1.1 нельзя напрямую сравнивать с таблицей v1.0.

Чем тест ограничен. Погрешность широкая: от ±8,6 до 10,5 пункта, поэтому соседние места, у которых интервалы перекрываются, — по сути ничья, и важна скорее группа, в которую попала модель. Какой агент запускал модели, страница не называет. Задачи не повторяют ваш стек и ваш репозиторий, поэтому перед выбором модели проверьте ее на своих задачах.

моделей с результатом
16
с независимым замером
16
с цифрой разработчика
0

Как измеряли

Таблица Scale AI, вкладка Test Writing. Scale прогнала все модели сама в описанной выше среде. Уровень рассуждений у строк не указан. Погрешность показана так, как ее приводит Scale; что именно означает ±, страница прямо не говорит. После 22 сентября Scale дополняет таблицу новыми моделями, но дат у строк не ставит, поэтому указан месяц, когда мы прочитали таблицу.

Таблица Scale AI, прочитана: ноябрь 2026 · Методология на сайте источника

Независимое измерениеПо данным разработчика
SWE Atlas Test Writing v1.1: Scale AI
050100 %
Claude Fable 5.1(откроется в новой вкладке)Независимо: 78,9 % (Scale AI, ноябрь 2026)78,9 ±8,6——740 ₽ / 3 699 ₽~7,40 / ~36,99 PnPноябрь 2026
Claude Opus 5.5(откроется в новой вкладке)Независимо: 77,8 % (Scale AI, ноябрь 2026)77,8 ±8,8——296 ₽ / 1 480 ₽~2,96 / ~14,80 PnPноябрь 2026
Gemini 4 Argon(откроется в новой вкладке)Независимо: 77,8 % (Scale AI, ноябрь 2026)77,8 ±8,8——148 ₽ / 740 ₽~1,48 / ~7,40 PnPноябрь 2026
Gemini 3.8 Flash(откроется в новой вкладке)Независимо: 71,1 % (Scale AI, ноябрь 2026)71,1 ±9,5——55,48 ₽ / 278 ₽~0,56 / ~2,78 PnPноябрь 2026
Claude Sonnet 5.5(откроется в новой вкладке)Независимо: 67,8 % (Scale AI, ноябрь 2026)67,8 ±9,8——148 ₽ / 740 ₽~1,48 / ~7,40 PnPноябрь 2026
GPT-6 Astra(откроется в новой вкладке)Независимо: 66,7 % (Scale AI, ноябрь 2026)66,7 ±9,9——740 ₽ / 3 699 ₽~7,40 / ~36,99 PnPноябрь 2026
GPT-6.1 Sol(откроется в новой вкладке)Независимо: 66,7 % (Scale AI, ноябрь 2026)66,7 ±9,9——148 ₽ / 740 ₽~1,48 / ~7,40 PnPноябрь 2026
Grok 4.7(откроется в новой вкладке)Независимо: 64,4 % (Scale AI, ноябрь 2026)64,4 ±10,1——178 ₽ / 533 ₽~1,78 / ~5,33 PnPноябрь 2026
Claude Haiku 5.5(откроется в новой вкладке)Независимо: 63,3 % (Scale AI, ноябрь 2026)63,3 ±10,1——7,40 ₽ / 36,99 ₽~0,08 / ~0,37 PnPноябрь 2026
GPT-6.1 Terra(откроется в новой вкладке)Независимо: 63,3 % (Scale AI, ноябрь 2026)63,3 ±10,1——73,98 ₽ / 370 ₽~0,74 / ~3,70 PnPноябрь 2026
Kimi K3(откроется в новой вкладке)Независимо: 63,3 % (Scale AI, ноябрь 2026)63,3 ±10,1——49,50 ₽ / 1 110 ₽~0,50 / ~11,10 PnPноябрь 2026
DeepSeek V4.1 Flash(откроется в новой вкладке)Независимо: 61,1 % (Scale AI, ноябрь 2026)61,1 ±10,3——3,69 ₽ / 14,74 ₽~0,04 / ~0,15 PnPноябрь 2026
Muse Wonder(откроется в новой вкладке)Независимо: 61,1 % (Scale AI, ноябрь 2026)61,1 ±10,3——440 ₽ / 2 200 ₽4,4 / 22 PnPноябрь 2026
Inkling 2 Small(откроется в новой вкладке)Независимо: 58,1 % (Scale AI, ноябрь 2026)58,1 ±10,4——33,00 ₽ / 110 ₽0,33 / 1,1 PnPноябрь 2026
GPT-6 Luna(откроется в новой вкладке)Независимо: 54,4 % (Scale AI, ноябрь 2026)54,4 ±10,5——7,40 ₽ / 36,99 ₽~0,08 / ~0,37 PnPноябрь 2026
Muse Spark Open(откроется в новой вкладке)Независимо: 41,1 % (Scale AI, ноябрь 2026)41,1 ±10,4——138 ₽ / 468 ₽~1,38 / ~4,68 PnPноябрь 2026