Un agent IA pilote un iPhone via une puce à 7 dollars

Une nouvelle initiative technique démontre la capacité des systèmes d'intelligence artificielle à interagir directement avec les interfaces des iPhones. Baptisé ESP32 iPhone Agent et développé par Henry Yuan, ce projet s'appuie sur une carte électronique dont le coût avoisine les sept dollars. Cette approche évite tout contournement des protections logicielles du téléphone ou modification complexe du système d'exploitation.

Le fonctionnement repose sur la simulation d'un périphérique d'entrée classique. La petite carte agit comme une souris et un clavier virtuels, autorisant l'agent IA à naviguer dans les applications et exécuter des commandes spécifiques. L'analyse visuelle joue un rôle central : le système examine les captures d'écran pour identifier les éléments interactifs et déterminer l'action appropriée.

Les instructions sont transmises au smartphone via une puce de type ESP32-S3. Après chaque opération, une vérification visuelle confirme le résultat avant que l'agent ne passe à l'étape suivante. Cette boucle de rétroaction permet une interaction fluide avec l'interface graphique sans nécessiter d'accès root ou de développement d'intégrations dédiées pour chaque application.

Lors des tests pratiques, le dispositif a réussi à configurer une alarme récurrente et à dessiner dans une application de tableau blanc. Ces démonstrations suggèrent une voie prometteuse pour l'automatisation des tâches quotidiennes sur mobile. Le module se connecte nativement aux modèles équipés d'un port USB-C, tandis que les anciens appareils dotés d'une prise Lightning requièrent un adaptateur spécifique.

Limites techniques actuelles

Certaines versions du projet permettent de faire tourner l'agent depuis une application mobile, éliminant la nécessité de garder un ordinateur connecté en permanence. Toutefois, cette configuration indépendante exige toujours un Mac et le logiciel Xcode pour l'installation initiale. Il est également possible d'exécuter le modèle d'IA localement, traitant ainsi les données sur le réseau domestique plutôt que via le cloud.

Malgré ces avancées, des contraintes persistent. Les délais d'exécution peuvent atteindre plusieurs secondes par commande. De plus, le système ne prend pas en charge les applications fonctionnant en mode paysage. Une restriction majeure concerne la sécurité : les écrans sensibles tels que la saisie du code de déverrouillage ou les interfaces Apple Pay n'apparaissent pas dans le flux vidéo analysé par l'agent.

Le contrôle cesse automatiquement dès que le téléphone est verrouillé. Ce cas d'usage illustre une tendance émergente où les agents intelligents ne se contentent plus de fournir des réponses textuelles, mais agissent concrètement dans les logiciels tiers. Les développements futurs visent à améliorer la précision, la vitesse d'exécution et l'étendue des applications compatibles avec cette méthode de pilotage externe.