JošoneOno što je nekad bilo nezamislivo sada je stvarnost. Startup PrismML predstavio je novi jezični model, Bonsai 27B, koji je, prema riječima njegovih tvoraca, prvi model ove veličine koji radi izravno na iPhoneu bez potrebe za cloudAko se tvrdnje tvrtke potvrde, to bi mogao biti značajan korak prema snažnijoj umjetnoj inteligenciji izravno na mobilnim uređajima.
Moglo bi vas zanimati
Uspjeh se može pripisati ekstremnoj kompresiji modela. Dok konvencionalni model s 27 milijardi parametara zauzima desetke gigabajta memorije, PrismML ju je uspio smanjiti na približno 4 GB zahvaljujući vlastitoj 1-bitnoj tehnologiji. Upravo zato se pretpostavlja da će se uklopiti u memorijska ograničenja modernih iPhonea i raditi potpuno lokalno bez potrebe za slanjem podataka na udaljene poslužitelje. To znači ne samo veću brzinu odziva, već i bolju zaštitu privatnosti.
Fotogalerija
Prema PrismML-u, model podržava napredno zaključivanje, alate, multimodalni unos i agentske funkcije. Tvrtka ga nudi u dva variantách – 1-bitna verzija optimizirana za telefone i ternarna verzija dizajnirana prvenstveno za snažnija računala. Na uređajima Applu koristi MLX framework, koji mu omogućuje izvorno pokretanje na iPhoneu, iPadu i Macu. Cijela stvar je tim zanimljivija jer je PrismML posljednjih dana također dospio u središte pozornosti zbog Applu. Izvršni direktor tvrtke Babak Hassibi rekao je za CNBC da Apple Trenutno procjenjuje tehnologiju startupa i testira njegovu brzinu, energetsku učinkovitost i ukupne performanse. Međutim, naglasio je da su pregovori još uvijek u ranoj fazi i nije sigurno hoće li dovesti do bilo kakve suradnje. Apple nije službeno komentirao tu temu.
Moglo bi vas zanimati
Međutim, ako PrismML tehnologija doista uspije ući u buduće iPhonee, mogla bi značajno proširiti mogućnosti. Apple IntelligenceSnažniji modeli mogli bi raditi izravno na telefonu bez korištenja cloudposlužitelje, što bi ne samo donijelo veće performanse već i nižu latenciju te još bolju zaštitu privatnosti korisnika. Hoće li se to zapravo dogoditi, vidjet ćemo tek u nadolazećim mjesecima. Osobno mislim da je upravo to put koji bi mogao biti za Apple izuzetno zanimljivo s obzirom na to da bi 100% zajamčena privatnost korisnika osiguravajući da će vaši podaci uvijek biti na vašem telefonu.
