RepoContextBench v1
Исследование репозитория с проверкой по исходному коду.
Публичный бенчмарк для агентов, которые отвечают на практические вопросы о реальной кодовой базе. Здесь можно сравнить Score с опорой на исходники, скорость и цену, а затем проверить matched result CodeAlive.
- Строк кода
- 512,95 тыс.
- Вопросов
- 20
- Gold claims
- 82
512 954 строки исходного кода в 4 181 исходных файлах по данным cloc на зафиксированном коммите agent-framework. Пустые строки и комментарии не учитываются.
Сравнение моделей
Score, скорость и цена на одном экране
Каждая модель показана один раз — по лучшему Score среди полных прогонов с известной или расчётной ценой answerer. Score от 0 до 100 измеряет качество ответа с опорой на исходный код: покрытие взвешенных gold claims, достоверность и использование доказательств.
Score и Стоимость задачи
| Модель | Конфигурация | Harness | Score | Среднее время задачи | Цена прогона | Цена задачи | Все токены |
|---|---|---|---|---|---|---|---|
| Claude Fable 5 | Инструменты репозитория · max | Claude Code | 80,7 | 85,3 с | 14,08 $ | 0,70 $ | 3,59 млн |
| Qwen 3.6 35B A3B | CodeAlive · deep · high | CodeAlive agent | 77,6 | 60,7 с | 0,21 $ | 0,0105 $ | 1,95 млн |
| Claude Opus 4.8 | Инструменты репозитория · max · без субагентов | Claude Code | 77,5 | 73,6 с | 7,71 $ | 0,39 $ | 4 млн |
| Claude Sonnet 4.6 | CodeAlive skill · max | Claude Code | 72,0 | 67,7 с | 3,90 $ | 0,19 $ | 4,44 млн |
| GPT-5.4 mini | Инструменты репозитория · xhigh | Codex CLI | 70,0 | 168,9 с | 3,12 $ | 0,16 $ | 18,33 млн |
| Gemini 3.5 Flash | CodeAlive · standard · medium | CodeAlive agent | 66,1 | 38,7 с | 2,93 $ | 0,15 $ | 2,39 млн |
| Gemini 3.1 Flash Lite | CodeAlive · deep · medium | CodeAlive agent | 53,2 | 8,9 с | 0,26 $ | 0,0130 $ | 1,19 млн |
Показаны только полные прогоны 20 из 20 без run-health failures и с известной или расчётной ценой answerer. Для каждой модели оставлен лучший Score; все строки без цены исключены. Время, токены и стоимость судьи не учитываются. Цены — исторические данные или оценки, а не коммерческое предложение.
Эффект CodeAlive
CodeAlive повысил Score Sonnet на 6,5 пункта.
В matched comparison использованы та же модель Sonnet 4.6, те же 20 вопросов, максимальный reasoning effort и фиксированный контракт судьи. Менялся только путь к контексту.
С CodeAlive Score вырос с 65,45 до 71,95.
Claude Sonnet 4.6 max
20 из 20 задач · фиксированный контракт судьи
+6,5 пункта
Инструменты репозитория
65,5
С CodeAlive
72,0
Score принимает значения от 0 до 100 и сочетает покрытие взвешенных gold claims, достоверность и использование доказательств. Чем выше, тем лучше.
Как читать цифры
Узкий и проверяемый тест исследования репозитория
20 практических вопросов
Публичный датасет охватывает архитектуру, workflows, persistence, streaming, observability, fault tolerance и корректный отказ от ответа в одной зафиксированной версии репозитория.
Score с опорой на исходный код
Ответы проверяются по 82 взвешенным атомарным claims и 99 точным фрагментам исходников. Score сочетает покрытие claims, достоверность и использование доказательств вместо сравнения текста.
Только статическое исследование
Агенты не могут использовать интернет, запускать тесты, выполнять или менять код и проверять runtime behavior. Бенчмарк измеряет качество исследования репозитория в его текущем виде.
Сравнение Sonnet — полная архивная matched pair из той же линии на 20 задач, пересуженная по фиксированному publication contract. Она появилась до финального frozen dataset hash; остальные строки основного leaderboard взяты из frozen v1 publication.
Следующий датасет
RepoContextBench выходит за пределы репозитория в полмиллиона строк.
Мы работаем над следующим обновлением RepoContextBench. В него войдёт датасет на кодовой базе размером более одного миллиона строк, чтобы проверять retrieval quality в существенно большем пространстве поиска.