Apple představuje ambiciózní projekt, který by mohl revolučně zlepšit orientaci zrakově postižených. Pomocí technologie nazvané SceneScout dokáže umělá inteligence analyzovat Street View snímky a popsat okolí tak, aby bylo srozumitelné i pro uživatele bez zraku.
Virtuální průzkum i přehled trasy
SceneScout, vyvinutý v rámci Apple Machine Learning Research, využívá multimodální jazykový model k rozpoznání a popisu prvků na snímcích z mapových aplikací, jako je Look Around. Nabízí dva režimy: Route Preview a Virtual Exploration.
V režimu Route Preview AI například upozorní na stromy u zatáčky, lavičky, schody nebo přechody. Druhý režim – Virtual Exploration – umožňuje uživateli „procházet“ okolí virtuálně a dostávat hlasový popis všech vizuálních prvků, které se ve scéně nacházejí.
Chytrá navigace bez zraku
Testování ukázalo, že SceneScout odhaluje informace, které běžné navigace nenabízí. Přesnost popisů byla hodnocena jako spolehlivá v 72 % případů a v 95 % správně zachycuje stabilní vizuální prvky. Účastníci navrhli vylepšení, jako přizpůsobení popisů na základě předchozího používání a změnu úhlu pohledu na výšku očí chodce namísto pohledu z kamery auta.
Fotogalerie
Zajímavá byla i myšlenka využití systému v reálném čase – např. pomocí sluchátek s vedením zvuku přes lícní kosti nebo v režimu transparentního poslechu, které by uživateli poskytovaly aktuální informace o okolí při chůzi.
Apple zatím neoznámil, kdy (a zda vůbec) SceneScout přijde do reálných produktů. Nicméně by mohl najít uplatnění v kombinaci s budoucími produkty jako Apple Glass nebo AirPods s kamerou, které by AI poskytly živý pohled na svět.
Ať už půjde o budoucí funkci nebo jen výzkum, SceneScout ukazuje, jak může AI zlepšit život zrakově postiženým a přiblížit jim svět, který zatím nemohli vidět.
