Qwen 3.6-35B A3B значительно меньше Claude Sonnet 4.6 и Opus 4.8. Но в RepoContextBench конфигурация с Qwen оказалась впереди обеих:
Qwen опередил Opus на 0,15 пункта, а Sonnet — на 5,65 пункта.
Открыть интерактивные результаты RepoContextBench →
Это не утверждение, что базовая модель Qwen всегда сильнее моделей Claude. RepoContextBench сравнивает полные конфигурации агентов. Результат Qwen получен внутри исследовательского harness CodeAlive с семантическим поиском и обходом графа репозитория.
Модель — только часть системы
Вопросы о репозитории сначала требуют поиска и только затем рассуждения. Ответ может зависеть от класса в одном проекте, его регистрации в другом и теста, раскрывающего ожидаемое поведение.
Конфигурация CodeAlive даёт Qwen три преимущества:
- Семантический поиск находит релевантный код по смыслу, а не только по именам файлов и точным ключевым словам.
- Обход графа следует связям между символами, вызовами, реализациями, конфигурацией и тестами.
- CodeAlive agent harness планирует исследование, итеративно собирает доказательства и сохраняет фокус итогового контекста на вопросе.
В результате меньшая модель расходует контекстное окно на более полезный код, а не читает множество файлов и не восстанавливает связи с нуля.
Контрольный результат Sonnet показывает то же направление
Мы также провели matched comparison Sonnet 4.6 на тех же 20 вопросах, с максимальным reasoning effort и тем же фиксированным контрактом судьи:
Добавление CodeAlive повысило Score Sonnet на 6,5 пункта. Qwen 3.6-35B A3B внутри полного CodeAlive agent harness достиг 77,60.
Вместе эти результаты показывают важность инфраструктуры контекста: более сильный поиск улучшает ту же модель, а хороший research harness позволяет меньшей модели обойти более крупную на вопросах о репозитории с проверкой по исходному коду.
Что измеряет RepoContextBench
RepoContextBench v1 использует зафиксированный snapshot microsoft/agent-framework: 512 954 строки исходного кода, 4 181 файл и 20 практических вопросов. Score принимает значения от 0 до 100 и сочетает покрытие взвешенных gold claims, достоверность относительно репозитория и использование доказательств из исходного кода.
Интерактивный Бенчмарк, датасет и runner, методика и результаты по задачам открыты.
Сейчас мы работаем над следующим обновлением RepoContextBench на кодовой базе размером более одного миллиона строк.