ИИ управляет iPhone через плату за 7 долларов

Новый проект под названием ESP32 iPhone Agent, разработанный Генри Юаном, демонстрирует возможность управления смартфонами iPhone с помощью систем искусственного интеллекта. Технология не требует взлома защиты устройства или сложных модификаций операционной системы. В основе решения лежит электронная плата стоимостью около 7 долларов, которая имитирует работу мыши и клавиатуры.

Механизм взаимодействия с устройством

Агент ИИ анализирует снимки экрана iPhone для определения видимых элементов и выбора подходящего действия. Команды передаются на смартфон через плату модели ESP32-S3. После выполнения каждого шага система повторно проверяет экран, чтобы убедиться в результате перед переход к следующему действию.

Проект способен выполнять практические задачи, такие как установка повторяющегося будильника или рисование в приложении «Белая доска». Это достигается без необходимости разработки отдельного программного интеграции для каждого приложения. Плата подключается напрямую к устройствам с портом USB-C, тогда как для моделей с разъемом Lightning требуется соответствующий адаптер.

Технические ограничения и возможности

Некоторые версии проекта позволяют запускать агента ИИ через приложение на телефоне, исключая необходимость постоянного подключения компьютера. Однако первоначальная настройка этой конфигурации требует наличия Mac и программы Xcode. Также возможно локальное выполнение модели ИИ, что обеспечивает обработку задач внутри локальной сети без обязательной зависимости от облачных сервисов.

Несмотря на потенциал, технология имеет ряд ограничений. Выполнение команд может занимать несколько секунд. Система пока не поддерживает приложения, работающие в горизонтальном режиме. Кроме того, искусственный интеллект не имеет доступа ко всем экранам устройства: чувствительные интерфейсы, такие как ввод пароля и Apple Pay, не отображаются в потоке трансляции экрана.

Общая стоимость комплекта варьируется в зависимости от дополнительного оборудования и используемой модели искусственного интеллекта. Базовая цена самой платы составляет примерно 7 долларов.