Mühəndislər Applu və Ohayo Dövlət Universiteti yeni dil modelini təqdim etdilər FS-DFM (Bir neçə addımlı diskret axın uyğunluğu), araşdırmaya görə, uzun mətnləri adi tipli modellərdən 128 dəfə daha sürətli yaza bilir. ChatGPT – eyni çıxış keyfiyyətini qoruyarkən. Bu, onu indiyə qədər buraxılmış ən səmərəli mətn generasiya həllərindən birinə çevirir.
Sizi maraqlandıra bilər
FS-DFM necə işləyir
Söz-söz (və ya “token”) mətni yaradan klassik avtoreqressiv modellərdən fərqli olaraq, FS-DFM diffuziya modelləri prinsipindən istifadə edir. Bunlar paralel olaraq çoxlu sözlər yaradır və onları bir neçə addımda tədricən “təkmilləşdirir”. Apple lakin o, daha da irəli gedib istifadə etdi variaaxın uyğunluğu adlanır ki, bu da əksər təkrarlamaları atlayaraq və cəmi bir neçə raund redaktədən sonra yekun mətni yaradaraq bütün prosesi sürətləndirə bilər.
Tədqiqatda Apple bildirir ki, FS-DFM cəmi səkkiz sürətli iterasiyada tam mətn yaza bilir – rəqib modellər isə mindən çox addım tələb edir. Buna nail olmaq üçün tədqiqat qrupu üç mərhələli bir yanaşma tətbiq etdi:
- model əvvəlcə fərqli sayda iterasiya ilə işləməyi öyrənir,
- sonradan ona daha dəqiq düzəlişlər etməyə kömək edən daha böyük bir tədris modeli tərəfindən "rəhbərlik olunur",
- və sonraonec Apple modelin daha sürətli və daha sabit birləşməsi üçün optimallaşdırılmış fərdi addımlar.
Keyfiyyəti itirmədən sürət
FS-DFM testlərində, iki əsas ölçüdə - çaşqınlıq (mətnin təbiiliyi) və entropiya (söz seçiminin sabitliyi) baxımından Dream (7 milyard parametr) və ya LLaDA (8 milyard parametr) kimi əhəmiyyətli dərəcədə daha böyük diffuziya modellərini üstələdi. Kiçik ölçüsünə baxmayaraq, daha aşağı çaşqınlıq dəyərlərinə və daha sabit entropiyaya nail oldu ki, bu da çıxışın daha yüksək dəqiqliyini və hamarlığını göstərir.
Photo Gallery
Apple tədqiqatçılara və tərtibatçılara tədqiqatlarını davam etdirmək imkanı vermək üçün kodu və model yoxlama nöqtələrini əlçatan etməyi planlaşdırır. Tədqiqat “FS-DFM: Bir neçə addımlı diffuziya ilə sürətli və dəqiq uzun mətn yaratma Language Models” artıq arXiv serverində mövcuddur və modelin mətndəki sözləri ayrı-ayrı təkrarlamalarda necə dəyişdirdiyinə dair ətraflı nümunələr təqdim edir.
Bu yanaşma uğurlu olarsa, o, kimi tətbiqlərdə mətnin yaradılmasını kəskin surətdə sürətləndirə bilər Siri, Apple Intelligence və ya iWork, burada həm sürət, həm də çıxışın dəqiqliyi əsas amil olur.
