لوحة بـ7 دولارات تتيح للذكاء الاصطناعي التحكم في آيفون

تمكن هنري يوان، مطور مشروع ESP32 iPhone Agent، من ربط أنظمة الذكاء الاصطناعي بهواتف آيفون باستخدام لوحة إلكترونية لا تتجاوز قيمتها 7 دولارات. يعتمد هذا الحل على محاكاة عمل الفأرة ولوحة المفاتيح، مما يسمح للوكيل الرقمي بالتنقل بين التطبيقات وتنفيذ الأوامر المطلوبة مباشرة على شاشة الهاتف، دون الحاجة إلى كسر حماية الجهاز أو إجراء تعديلات جوهرية على نظام التشغيل.

آلية العمل والتحكم التقني

تعمل التقنية من خلال تحليل صور شاشة آيفون لتحديد العناصر المرئية واختيار الإجراء المناسب، ثم إرسال الأوامر عبر لوحة ESP32-S3. وبعد تنفيذ كل خطوة، يعيد النظام فحص الشاشة للتأكد من النتيجة قبل الانتقال للمهمة التالية. أثبت المشروع قدرته على إنجاز مهام عملية مثل ضبط المنبهات المتكررة والرسم في تطبيق السبورة البيضاء، متجاوزاً الحاجة لتطوير تكامل برمجي مستقل لكل تطبيق على حدة.

متطلبات التشغيل والقيود الحالية

يمكن توصيل اللوحة بأجهزة آيفون المزودة بمنفذ USB-C مباشرة، بينما تتطلب الطرازات التي تستخدم منفذ Lightning محولاً مناسباً. وتختلف التكلفة الإجمالية بحسب المعدات الإضافية ونموذج الذكاء الاصطناعي المستخدم. يتيح بعض إصدارات المشروع تشغيل الوكيل عبر تطبيق على الهاتف دون إبقاء جهاز كمبيوتر متصلاً طوال الوقت، رغم أن الإعداد الأولي يتطلب جهاز Mac وبرنامج Xcode. كما يدعم النظام معالجة المهام محلياً داخل الشبكة المحلية، مما يقلل الاعتماد على الخدمات السحابية.

حدود الوصول والأداء

رغم هذه الإمكانات، تواجه التقنية قيوداً فنية؛ إذ قد تستغرق الأوامر عدة ثوانٍ للتنفيذ، ولا يدعم النظام حالياً التطبيقات التي تعمل بالوضع الأفقي. بالإضافة إلى ذلك، لا يستطيع الذكاء الاصطناعي الوصول إلى جميع شاشات الهاتف، حيث تختفي الشاشات الحساسة مثل إدخال رمز المرور وApple Pay عن بث الشاشة المعتمد عليه. ويتوقف التحكم تماماً عند قفل الهاتف.

يعكس هذا التطور اتجاهاً متزايداً نحو تطوير وكلاء ذكاء اصطناعي قادرين على تنفيذ المهام داخل التطبيقات بصورة مباشرة، بدلاً من الاكتفاء بتقديم المعلومات والإجابة عن الأسئلة. وقد يسهم ذلك مستقبلاً في تسهيل استخدام الهواتف الذكية وأتمتة العديد من المهام اليومية، مع استمرار الجهود لتحسين دقة وسرعة هذه الأنظمة وتوسيع نطاق تطبيقاتها.