Перейти к содержимому
RouterNodul

SWE Atlas Refactoring v1.1

SWE Atlas Refactoring проверяет, как модель в роли агента проводит рефакторинг существующего кода. Это одна из трех частей SWE Atlas от Scale AI, которые проверяют работу программиста помимо исправления ошибок; результат оценивает модель-судья. Задачи взяты из 15 рабочих репозиториев на шести языках: Go, Python, TypeScript, C, C++ и JavaScript. Агент работает в репозитории внутри Docker-контейнера со стандартными инструментами оболочки, поэтому может собрать, запустить и протестировать код. Каждая задача — один запрос: в нем поставлена цель, а способ решения агент выбирает сам. Всего в трех частях SWE Atlas 284 задачи.

Версия v1.1 вышла 22 сентября 2026 года. Все модели прогнали заново с новым судьей — моделью GPT-6.1 Sol, которая сама есть в таблице, итог решает большинство из трех ее голосов. Критерии оценки уточнили, доступ к сети ограничили. Поэтому результаты v1.1 нельзя напрямую сравнивать с таблицей v1.0.

Чем тест ограничен. Погрешность широкая: от ±10,1 до 12 пункта, поэтому соседние места, у которых интервалы перекрываются, — по сути ничья, и важна скорее группа, в которую попала модель. Какой агент запускал модели, страница не называет. Задачи не повторяют ваш стек и ваш репозиторий, поэтому перед выбором модели проверьте ее на своих задачах.

моделей с результатом
16
с независимым замером
16
с цифрой разработчика
0

Как измеряли

Таблица Scale AI, вкладка Refactoring. Scale прогнала все модели сама в описанной выше среде. Уровень рассуждений у строк не указан. Погрешность показана так, как ее приводит Scale; что именно означает ±, страница прямо не говорит. После 22 сентября Scale дополняет таблицу новыми моделями, но дат у строк не ставит, поэтому указан месяц, когда мы прочитали таблицу.

Таблица Scale AI, прочитана: ноябрь 2026 · Методология на сайте источника

Независимое измерениеПо данным разработчика
SWE Atlas Refactoring v1.1: Scale AI
050100 %
Claude Opus 5.5(откроется в новой вкладке)Независимо: 77,1 % (Scale AI, ноябрь 2026)77,1 ±10,1——296 ₽ / 1 480 ₽~2,96 / ~14,80 PnPноябрь 2026
GPT-6 Astra(откроется в новой вкладке)Независимо: 71,4 % (Scale AI, ноябрь 2026)71,4 ±10,8——740 ₽ / 3 699 ₽~7,40 / ~36,99 PnPноябрь 2026
Claude Fable 5.1(откроется в новой вкладке)Независимо: 70 % (Scale AI, ноябрь 2026)70 ±11——740 ₽ / 3 699 ₽~7,40 / ~36,99 PnPноябрь 2026
Gemini 4 Argon(откроется в новой вкладке)Независимо: 67,1 % (Scale AI, ноябрь 2026)67,1 ±11,3——148 ₽ / 740 ₽~1,48 / ~7,40 PnPноябрь 2026
Claude Sonnet 5.5(откроется в новой вкладке)Независимо: 62,9 % (Scale AI, ноябрь 2026)62,9 ±11,6——148 ₽ / 740 ₽~1,48 / ~7,40 PnPноябрь 2026
GPT-6.1 Sol(откроется в новой вкладке)Независимо: 60 % (Scale AI, ноябрь 2026)60 ±11,8——148 ₽ / 740 ₽~1,48 / ~7,40 PnPноябрь 2026
Muse Wonder(откроется в новой вкладке)Независимо: 60 % (Scale AI, ноябрь 2026)60 ±11,8——440 ₽ / 2 200 ₽4,4 / 22 PnPноябрь 2026
Gemini 3.8 Flash(откроется в новой вкладке)Независимо: 55,7 % (Scale AI, ноябрь 2026)55,7 ±11,9——55,48 ₽ / 278 ₽~0,56 / ~2,78 PnPноябрь 2026
GPT-6.1 Terra(откроется в новой вкладке)Независимо: 55,7 % (Scale AI, ноябрь 2026)55,7 ±11,9——73,98 ₽ / 370 ₽~0,74 / ~3,70 PnPноябрь 2026
DeepSeek V4.1 Flash(откроется в новой вкладке)Независимо: 54,3 % (Scale AI, ноябрь 2026)54,3 ±12——3,69 ₽ / 14,74 ₽~0,04 / ~0,15 PnPноябрь 2026
Kimi K3(откроется в новой вкладке)Независимо: 54,3 % (Scale AI, ноябрь 2026)54,3 ±12——49,50 ₽ / 1 110 ₽~0,50 / ~11,10 PnPноябрь 2026
Inkling 2 Small(откроется в новой вкладке)Независимо: 53,3 % (Scale AI, ноябрь 2026)53,3 ±12——33,00 ₽ / 110 ₽0,33 / 1,1 PnPноябрь 2026
Claude Haiku 5.5(откроется в новой вкладке)Независимо: 52,9 % (Scale AI, ноябрь 2026)52,9 ±12——7,40 ₽ / 36,99 ₽~0,08 / ~0,37 PnPноябрь 2026
Grok 4.7(откроется в новой вкладке)Независимо: 48,6 % (Scale AI, ноябрь 2026)48,6 ±12——178 ₽ / 533 ₽~1,78 / ~5,33 PnPноябрь 2026
GPT-6 Luna(откроется в новой вкладке)Независимо: 47,1 % (Scale AI, ноябрь 2026)47,1 ±12——7,40 ₽ / 36,99 ₽~0,08 / ~0,37 PnPноябрь 2026
Muse Spark Open(откроется в новой вкладке)Независимо: 35,7 % (Scale AI, ноябрь 2026)35,7 ±11,5——138 ₽ / 468 ₽~1,38 / ~4,68 PnPноябрь 2026