Tərtibatçı tərəfindən hazırlanan "ESP32 iPhone Agent" layihəsi smartfonun əməliyyat sisteminə müdaxilə etmədən süni intellektin cihaz üzərində nəzarət qurmasını təmin edir. Sistem "ESP32-S3" mikrokontrollerindən istifadə edir ki, onun da dəyəri təxminən 7 ABŞ dolları təşkil edir. Bu texnologiya iOS sistemində heç bir xüsusi proqramın quraşdırılmasını və ya cihazın sındırılmasını tələb etmir.
Bu texnologiya necə işləyir?
İş prinsipi ekranın AirPlay vasitəsilə kompüterə ötürülməsinə və süni intellektin bu görüntünü təhlil etməsinə əsaslanır. Süni intellekt ekranda gördüyü məlumatlara əsasən müvafiq qərarlar qəbul edir və mikrokontrollerə əmrlər göndərir. USB vasitəsilə "iPhone"-a qoşulan mikrokontroller sistem tərəfindən standart siçan və klaviatura kimi tanınır. "AssistiveTouch" funksiyası sayəsində süni intellekt ekranda kursoru hərəkət etdirə, düymələrə basa və mətn daxil edə bilir.
Sistemin imkanları və məhdudiyyətləri nələrdir?
Layihə sadəcə əvvəlcədən yazılmış əmrləri yerinə yetirmir, hər addımdan sonra ekranı analiz edərək nəticəni yoxlayır və lazım gəldikdə səhvləri düzəldir. Tərtibatçı süni intellektin avtomatik olaraq rəsm proqramında şəkil çəkdiyini və ya 7:00-a zəngli saat qurduğunu nümayiş etdirib. Bununla belə, sistemin bəzi məhdudiyyətləri var: o, şifrə daxiletmə ekranını, "Apple Pay" interfeysini və qorunan videoları analiz edə bilmir. Həmçinin, telefon bloklandıqda və ya tətbiqlər üfüqi rejimdə olduqda sistemin işi dayanır.
Layihənin bütün mənbə kodları "GitHub" platformasında MIT lisenziyası ilə açıq şəkildə paylaşılıb. Bu eksperimental həll smartfonların kənar müdaxilə olmadan süni intellekt tərəfindən idarə olunması istiqamətində mühüm addım hesab olunur.
