NadaloneTo, co kiedyś było niewyobrażalne, stało się rzeczywistością. Startup PrismML wprowadził nowy model językowy, Bonsai 27B, który według jego twórców jest pierwszym modelem tej wielkości, który działa bezpośrednio na iPhonie bez potrzeby cloudJeśli zapewnienia firmy okażą się prawdziwe, może to być ważny krok w kierunku wydajniejszej sztucznej inteligencji bezpośrednio na urządzeniach mobilnych.
Może cię zainteresować
Sukces modelu wynika z ekstremalnej kompresji. Podczas gdy konwencjonalny model z 27 miliardami parametrów zajmuje dziesiątki gigabajtów pamięci, PrismML udało się zredukować ją do około 4 GB dzięki własnej technologii 1-bitowej. Właśnie dlatego ma on mieścić się w granicach pamięci nowoczesnych iPhone'ów i działać całkowicie lokalnie, bez konieczności wysyłania danych do zdalnych serwerów. Oznacza to nie tylko wyższą szybkość reakcji, ale także lepszą ochronę prywatności.
Fotogaleria
Według PrismML model obsługuje zaawansowane wnioskowanie, narzędzia, multimodalne wprowadzanie danych i funkcje agenta. Firma oferuje go w dwóch wersjach variantách – wersja 1-bitowa zoptymalizowana pod kątem telefonów i wersja trójskładnikowa przeznaczona głównie dla komputerów o większej mocy. Na urządzeniach Applu wykorzystuje framework MLX, który pozwala na jego natywne działanie na iPhonie, iPadzie i Macu. Cała sprawa jest tym bardziej interesująca, że w ostatnich dniach PrismML również znalazł się w centrum uwagi ze względu na AppDyrektor generalny firmy Babak Hassibi powiedział CNBC, że Apple Obecnie ocenia technologię startupu i testuje jej szybkość, efektywność energetyczną i ogólną wydajność. Podkreślił jednak, że negocjacje są wciąż na wczesnym etapie i nie ma pewności, czy doprowadzą do jakiejkolwiek współpracy. Apple nie skomentował oficjalnie tej sprawy.
Może cię zainteresować
Jeśli jednak technologia PrismML faktycznie znajdzie zastosowanie w przyszłych iPhone’ach, może to znacznie poszerzyć możliwości Apple IntelligenceMocniejsze modele mogą działać bezpośrednio na telefonie, bez użycia cloudserwerów, co nie tylko zapewniłoby wyższą wydajność, ale także niższe opóźnienia i jeszcze lepszą ochronę prywatności użytkowników. Czy to się faktycznie stanie, okaże się dopiero w nadchodzących miesiącach. Osobiście uważam, że to właśnie ta ścieżka mogłaby być dla Apple niezwykle interesujące, biorąc pod uwagę, że 100% gwarantujemy prywatność użytkownika, zapewniając, że Twoje dane zawsze będą w Twoim telefonie.
