Jurutera Applu dan Ohio State University memperkenalkan model bahasa baharu FS-DFM (Few-Step Discrete Flow-Matching), yang menurut kajian boleh menulis teks panjang sehingga 128 kali lebih pantas daripada model jenis konvensional. ChatGPT – sambil mengekalkan kualiti output yang sama. Ini menjadikannya salah satu penyelesaian penjanaan teks paling cekap yang pernah dikeluarkan.
Anda mungkin berminat
Cara FS-DFM berfungsi
Tidak seperti model autoregresif klasik yang menjana perkataan teks demi perkataan (atau "token"), FS-DFM menggunakan prinsip model resapan. Ini menjana berbilang perkataan secara selari dan secara beransur-ansur "memperbaiki" mereka dalam beberapa langkah. Apple tetapi dia pergi lebih jauh dan digunakan variadipanggil pemadanan aliran, yang boleh mempercepatkan keseluruhan proses dengan melangkau kebanyakan lelaran dan menjana teks akhir selepas hanya beberapa pusingan pengeditan.
Dalam kajian Apple melaporkan bahawa FS-DFM boleh menulis teks lengkap dalam hanya lapan lelaran pantas – manakala model yang bersaing memerlukan lebih seribu langkah. Untuk mencapai matlamat ini, pasukan penyelidik mengambil pendekatan tiga fasa:
- model mula-mula belajar untuk berfungsi dengan bilangan lelaran yang berbeza,
- kemudiannya "dipandu" oleh model pengajaran yang lebih besar, yang membantu dia membuat pelarasan yang lebih tepat,
- dan kemudianonec Apple langkah individu yang dioptimumkan supaya model menumpu lebih cepat dan lebih stabil.
Kelajuan tanpa kehilangan kualiti
Dalam ujian FS-DFM, ia mengatasi model resapan yang jauh lebih besar seperti Dream (7 bilion parameter) atau LLaDA (8 bilion parameter) dalam dua metrik utama – kekusutan (kesemula jadian teks) dan entropi (kestabilan pemilihan perkataan). Walaupun saiznya lebih kecil, ia mencapai nilai kekusutan yang lebih rendah dan entropi yang lebih stabil, menunjukkan ketepatan dan kelancaran output yang lebih tinggi.
Fotogalerie
Apple merancang untuk menyediakan pusat pemeriksaan kod dan model untuk membolehkan penyelidik dan pembangun meneruskan penyelidikan mereka. Kajian “FS-DFM: Penjanaan Teks Panjang Pantas dan Tepat dengan Penyebaran Beberapa Langkah Language Models” sudah tersedia pada pelayan arXiv dan menawarkan contoh terperinci tentang cara model mengubah suai perkataan dalam teks dalam lelaran individu.
Jika pendekatan ini terbukti berjaya, ia boleh mempercepatkan penjanaan teks secara mendadak dalam aplikasi seperti Siri, Apple Intelligence atau iWork, di mana kedua-dua kelajuan dan ketepatan output menjadi faktor utama.
