"Google" tərəfindən hazırlanan "SL2T" (sign-language-to-text) texnologiyası jest dilini birbaşa mətnə çevirmək üçün nəzərdə tutulub. 100 000 saatdan çox məlumat bazası və 50-dən çox jest dili əsasında təlim keçən model, jestləri klaviatura istifadə etmədən rəqəmsal mətnə transformasiya edir. Texnologiya ilkin mərhələdə "Pixel 11" smartfonlarında "ASL" (Amerika Jest Dili) dəstəyi ilə istifadəyə veriləcək.
Bu texnologiya necə işləyir?
Jest dili sadəcə əl hərəkətlərindən ibarət deyil; o, həm də üz ifadələrini və bədən duruşunu əhatə edir. "SL2T" sistemi "MediaPipe Holistic" modeli vasitəsilə bədən, üz və əllərin koordinatlarını müəyyən edərək bu vizual məlumatı strukturlaşdırılmış mətnə çevirir. Təhlükəsizlik məqsədilə sistem orijinal videoları deyil, yalnız hərəkətlərin həndəsi koordinatlarını emal edir və video dərhal silinir.
Hansı imkanlar təqdim olunur?
Yeni funksiya "Gboard" və "Live Transcribe" tətbiqlərinə inteqrasiya olunacaq. İstifadəçilər jestlər vasitəsilə internetdə axtarış edə, mesaj yaza və "Gemini" süni intellekti ilə ünsiyyət qura biləcəklər. "Google", xüsusilə smartfonu bir əllə tutarkən jestlərlə ünsiyyəti asanlaşdırmaq üçün birəlli jestlərin tanınmasına xüsusi diqqət yetirib.
Nə üçün bu vacibdir?
Layihənin hazırlanmasında eşitmə qüsurlu istifadəçilər və müvafiq təşkilatlar yaxından iştirak edib. "FLEURS-ASL" testlərində 70 BLEURT göstəricisi ilə yüksək nəticə əldə edən model, gələcəkdə digər dillərə və cihazlara da genişləndiriləcək. "Google" həmçinin bu texnologiyanın jestlərin generasiyası və insan-kompüter qarşılıqlı əlaqəsinin yeni formaları üçün istifadəsini planlaşdırır.
