Google обновила критерии оценки ИИ для разработки Android и возглавила рейтинг Fable 5

Google пересмотрела способ оценки искусственного интеллекта, применяемого для программирования под Android, обновив рейтинг Android Bench, в котором теперь лидирует модель Claude Fable 5.

Ранее в этом году Google представила «Android Bench» — систему рейтингов, позволяющую быстро оценить лучшие ИИ-модели по их способности создавать код для Android. Эта система не является универсальным рейтингом ИИ, однако представляет значительную практическую ценность для разработчиков.

В компании сообщили о грядущих изменениях в методике ранжирования ИИ-моделей для Android-разработки. Основная система тестирования переходит на стандартизированный фреймворк Harbor. До этого модели, такие как GPT-5.5, Claude Opus 4.7 и Gemini 3.1 Pro Preview, оценивались с помощью инструмента mini-swe-agent v1, предназначенного для общего использования.

Переход на Harbor позволит разработчикам Android применять единые инструменты для анализа ИИ в конкретных сценариях. Google также открывает Android Bench для пользователей, желающих предоставить задачи по разработке Android. Эти задачи будут использоваться для оценки того, как модели справляются с различными ситуациями. Разработчиков приглашают делиться своими результатами тестирования.

«С самого начала мы придерживались открытого и прозрачного подхода, поэтому сделали нашу исходную методологию и тестовый каркас общедоступными на GitHub. Вы просили возможность оставить обратную связь по нашему набору данных, и теперь мы идём дальше, предоставляя сообществу разработчиков Android шанс влиять на Android Bench», — говорится в заявлении Google.

В рамках обновлённого подхода Google пересмотрела список Android Bench, используя новый фреймворк для оценки ИИ-моделей. Все модели, включая закрытые и открытые варианты, были переоценены на новой тестовой платформе.

Без неожиданностей, на вершине рейтинга расположилась модель Claude Fable 5 с уверенным отрывом. Google присвоила ей оценку 84,5 балла, что на 4 пункта выше, чем у GPT-5.5, получившей 80,2. Модель Claude Sonnet 5 отстаёт почти на 10 баллов от Fable 5. Заявленные компанией Anthropic показатели подтверждаются, при этом стоит отметить, что для Fable 5 по-прежнему действуют значительные ограничения.

Большинство ИИ-моделей, ранее вошедших в рейтинг Android Bench, получили новые оценки из-за изменений в критериях тестирования. Ниже приведён обновлённый список рейтинга Android Bench:

FTC: Мы используем партнерские ссылки с доходом. Подробнее.

Вы читаете 9to5Google — экспертов, которые ежедневно публикуют новости о Google и её экосистеме. Следите за обновлениями на нашем сайте и подписывайтесь на 9to5Google в Twitter, Facebook и LinkedIn. Не знаете, с чего начать? Ознакомьтесь с нашими эксклюзивными материалами, обзорами и инструкциями, а также подпишитесь на наш YouTube-канал.