Google actualiza su sistema de evaluación de modelos IA para desarrollo Android

Google ha anunciado cambios en la manera en que evalúa los modelos de inteligencia artificial (IA) orientados a la programación para Android, tras la publicación de un nuevo ranking encabezado por Claude Fable 5.

El gigante tecnológico lanzó a principios de año el sistema “Android Bench”, un ranking diseñado para ofrecer una visión rápida sobre el desempeño de los modelos de IA en tareas de codificación para Android. Este sistema no pretende ser una clasificación general, sino una herramienta útil para desarrolladores especializados en esta plataforma.

La compañía ha informado que realizará modificaciones en el método de evaluación de estos modelos, adoptando el marco estandarizado Harbor para la medición de rendimiento. Hasta ahora, modelos como GPT-5.5, Claude Opus 4.7 y Gemini 3.1 Pro Preview se habían clasificado mediante una herramienta llamada mini-swe-agent v1, desarrollada para usos generales.

El cambio hacia Harbor permitirá a los desarrolladores de Android utilizar las mismas herramientas para analizar modelos de IA en casos específicos de uso. Además, Google abrirá el sistema Android Bench para que los usuarios puedan enviar tareas de desarrollo Android que serán empleadas para evaluar cómo los modelos responden a diferentes escenarios. También se invita a los desarrolladores a compartir sus propias evaluaciones de benchmark.

En palabras de Google, “Desde el principio hemos valorado un enfoque abierto y transparente, por eso hicimos pública nuestra metodología original y el entorno de pruebas en GitHub. Ustedes han solicitado una forma de proporcionar retroalimentación sobre nuestro conjunto de datos, por lo que ahora damos un paso más en la colaboración al ofrecer a la comunidad de desarrolladores Android la oportunidad de influir en Android Bench”.

Como parte de esta renovación, Google ha actualizado la lista de Android Bench utilizando el nuevo marco Harbor para reevaluar todos los modelos, tanto en sus variantes de peso cerrado como abierto.

En el nuevo ranking, Claude Fable 5 lidera con una puntuación de 84.5, superando por cuatro puntos a GPT-5.5, que obtuvo 80.2. Claude Sonnet 5 se sitúa casi diez puntos por debajo de Fable 5. Estas cifras parecen respaldar las afirmaciones de potencia de Anthropic, aunque cabe destacar que Fable 5 continúa sujeto a restricciones significativas.

La mayoría de los modelos que aparecían en la versión anterior de Android Bench han recibido nuevas puntuaciones, dado que las reglas subyacentes del sistema han cambiado sustancialmente. A continuación, se presentan las nuevas posiciones según Android Bench: