Ještě donedávna něco nepředstavitelného, dnes možná realita. Startup PrismML totiž představil nový jazykový model Bonsai 27B, který podle svých tvůrců jako vůbec první model této velikosti dokáže běžet přímo na iPhonu, aniž by potřeboval cloudové servery. Pokud se tvrzení společnosti potvrdí, může jít o významný krok směrem k výkonnější umělé inteligenci přímo v mobilních zařízeních.
Mohlo by vás zajímat
Za úspěchem stojí extrémní komprese modelu. Zatímco běžný model s 27 miliardami parametrů zabírá desítky gigabajtů paměti, PrismML jej dokázal zmenšit přibližně na 4 GB díky vlastní 1bitové technologii. Právě díky tomu se má vejít do paměťových limitů moderních iPhonů a fungovat kompletně lokálně bez nutnosti odesílat data na vzdálené servery. To znamená nejen vyšší rychlost odezvy, ale také lepší ochranu soukromí.
Fotogalerie
Podle PrismML model podporuje pokročilé uvažování, práci s nástroji, multimodální vstupy i agentní funkce. Firma jej nabízí ve dvou variantách – 1bitové verzi optimalizované pro telefony a ternární verzi určené především pro výkonnější počítače. Na zařízeních Applu využívá framework MLX, díky kterému může běžet nativně na iPhonu, iPadu i Macu. Celá záležitost je o to zajímavější, že se PrismML v posledních dnech dostal do centra pozornosti také kvůli Applu. Generální ředitel společnosti Babak Hassibi totiž pro CNBC uvedl, že Apple technologii startupu aktuálně vyhodnocuje a testuje její rychlost, energetickou efektivitu i celkový výkon. Zároveň ale zdůraznil, že jednání jsou zatím v rané fázi a není jisté, zda povedou k jakékoliv spolupráci. Apple se k celé věci oficiálně nevyjádřil.
Mohlo by vás zajímat
Pokud by se však technologie PrismML skutečně dostala do budoucích iPhonů, mohlo by to výrazně rozšířit možnosti Apple Intelligence. Výkonnější modely by totiž mohly běžet přímo v telefonu bez využití cloudových serverů, což by kromě vyššího výkonu přineslo také nižší latenci a ještě lepší ochranu soukromí uživatelů. Zda se tak skutečně stane, ukážou až následující měsíce. Osobně si ale myslím, že přesně tahle cesta by mohla být pro Apple extrémně zajímavá vzhledem k tomu, že by 100% zaručovala uživatelské soukromí díky tomu, že by vaše data neustále byla jen a pouze v telefonu.
