Benchmarks

Claude Opus 4.7: новый король SWE-bench Pro Anthropic выпустила Claude Opus 4.7 — флагманскую модель, которая выходит вперёд на самых требовательных бенчмарках программирования. Результат 64.3% на SWE-bench Pro делает её сильнейшей моделью для решения реальных инженерных задач из открытых репозиториев. Что такое SWE-bench Pro SWE-bench Pro — это расширенная версия известного бенчмарка SWE-bench, где модели должны самостоятельно решать настоящие issues из GitHub-проектов: читать код, понимать архитектуру, писать патчи, запускать тесты и итерироваться. В отличие от синтетических тестов, здесь нет «правильного ответа» — есть только зелёные тесты или красные. ...

GPT-5.5: лидер Terminal-Bench 2.0 OpenAI выпустила GPT-5.5 — следующее поколение флагманской линейки, которое сделало ставку на агентные рабочие процессы. Результат 82.7% на Terminal-Bench 2.0 означает, что модель решает большинство сложных задач, выполняемых в терминале без участия человека: от настройки окружения до полного жизненного цикла CI/CD-пайплайна. Почему Terminal-Bench важен Terminal-Bench 2.0 — это бенчмарк, где модели управляют настоящей командной оболочкой. Им приходится: Читать вывод команд и реагировать на ошибки Устанавливать и настраивать пакеты Чинить сломанные тесты Проводить отладку сетевых и инфраструктурных задач Работать в условиях ограниченных прав и неполных данных Этот тип задач — основной хлеб ИИ-агентов в 2026 году. Лидерство GPT-5.5 здесь означает, что OpenAI делает ставку именно на агентный сегмент. ...

Gemini 3.1 Pro: миллион токенов и научный лидер Google DeepMind представила Gemini 3.1 Pro — модель, которая выделяется в гонке фронтирных LLM сразу двумя характеристиками: контекстным окном в 1 миллион токенов и результатом 94.3% на GPQA Diamond, бенчмарке для научного рассуждения уровня PhD. Что особенного в 1М токенов контекста Пока GPT-5.5 ограничен 256 тыс. токенов, Gemini 3.1 Pro принимает в один проход: Целые крупные кодовые базы — десятки тысяч файлов Полные коллекции технической документации Многочасовые транскрипты диалогов и совещаний Обширные научные обзоры с тысячами цитат Для сравнения: 1 миллион токенов — это примерно 750 000 слов, или объём 8–10 объёмных книг. Это меняет паттерн использования: вместо предварительного отбора и индексации можно просто «загрузить всё». ...

DeepSeek V4: новая эра доступного фронтира DeepSeek снова сместила центр тяжести на рынке LLM. Компания одновременно выпустила две модели — DeepSeek V4 Pro и DeepSeek V4 Flash — и обе стали ориентирами в своих категориях. V4 Pro возглавляет общий open-weight рейтинг BenchLM с 87 баллами, а V4 Flash при цене $0.14 за миллион токенов делает фронтирное качество практически бесплатным. DeepSeek V4 Pro: вершина открытых моделей V4 Pro (также известная как V4 Max) — это плотная модель с гибридной архитектурой Mixture-of-Experts, которая в нескольких бенчмарках обходит проприетарные фронтирные модели: ...