Google modifie ses critères d’évaluation des IA pour le codage Android, Fable 5 en tête

Google annonce une évolution dans sa méthode d’évaluation des modèles d’intelligence artificielle dédiés au codage Android, après la publication d’un nouveau classement dominé par Fable 5.

Plus tôt cette année, Google avait lancé « Android Bench », un système de classement synthétique destiné à identifier les meilleurs modèles d’IA capables de coder pour Android. Ce classement n’est pas généraliste, mais il constitue un outil précieux pour les développeurs spécialisés.

La firme précise que plusieurs modifications seront apportées à ce système de notation. Le benchmark principal sera désormais basé sur le cadre standardisé Harbor, remplaçant l’outil mini-swe-agent v1 utilisé jusqu’à présent pour des modèles comme GPT-5.5, Claude Opus 4.7 ou Gemini 3.1 Pro Preview.

L’adoption du framework Harbor permettra aux développeurs Android d’utiliser des outils communs pour analyser les modèles d’IA selon des cas d’usage spécifiques. Google ouvre également Android Bench aux utilisateurs souhaitant soumettre des tâches de développement Android, qui serviront à évaluer la capacité des modèles à gérer ces scénarios. Les développeurs sont invités à partager leurs résultats de benchmark.

« Depuis le début, nous privilégions une approche ouverte et transparente, c’est pourquoi nous avons rendu publique notre méthodologie et notre environnement de test sur GitHub. Vous nous avez demandé un moyen de donner votre avis sur notre jeu de données, nous franchissons donc une étape supplémentaire en offrant à la communauté des développeurs Android la possibilité d’influencer Android Bench », a déclaré Google.

Dans le cadre de cette nouvelle approche, Google a actualisé la liste Android Bench en réévaluant chaque modèle, qu’il s’agisse de variantes à poids fermés ou ouverts, avec le nouveau système de test.

Sans surprise, Claude Fable 5 conserve la première place avec un score de 84,5, devançant de quatre points GPT-5.5, qui obtient 80,2. Claude Sonnet 5 se situe près de dix points en dessous de Fable 5. Les affirmations de puissance d’Anthropic semblent donc confirmées, même si Fable 5 reste soumis à des restrictions importantes.

La majorité des modèles d’IA présents dans le précédent classement Android Bench ont vu leur note modifiée en raison des nouvelles règles d’évaluation. Voici le classement actualisé selon Android Bench :

Vous lisez 9to5Google, des experts qui couvrent quotidiennement l’actualité de Google et de son écosystème. Pour suivre toutes les nouveautés, rendez-vous sur notre page d’accueil et suivez-nous sur Twitter, Facebook et LinkedIn. Découvrez également nos articles exclusifs, tests, tutoriels, et abonnez-vous à notre chaîne YouTube.