Інженери AppЛу та Університет штату Огайо представили нову мовну модель FS-DFM (Few-Step Discrete Flow-Matching), яка, згідно з дослідженням, може писати довгі тексти до 128 разів швидше, ніж звичайні моделі цього типу. ChatGPT – зберігаючи при цьому ту саму якість виводу. Це робить його одним із найефективніших рішень для генерації тексту, які коли-небудь випускалися.
Вас може зацікавити
Як працює FS-DFM
На відміну від класичних авторегресивних моделей, які генерують текст слово за словом (або «токен»), FS-DFM використовує принцип дифузійних моделей. Вони генерують кілька слів паралельно та поступово «покращують» їх за кілька кроків. Apple але він пішов далі і використав variaтак званий flow-matching, який може пришвидшити весь процес, пропускаючи більшість ітерацій та генеруючи остаточний текст лише після кількох раундів редагування.
У дослідженні Apple повідомляється, що FS-DFM може написати повний текст лише за вісім швидких ітерацій, тоді як конкуруючі моделі потребують понад тисячу кроків. Щоб досягти цього, дослідницька група обрала триетапний підхід:
- модель спочатку навчається функціонувати з різною кількістю ітерацій,
- згодом «керується» ширшою моделлю навчання, яка допомагає йому робити точніші корективи,
- а потімonec Apple оптимізовані окремі кроки, щоб модель сходилася швидше та стабільніше.
Швидкість без втрати якості
У тестах FS-DFM вона значно перевершила такі більші моделі дифузії, як Dream (7 мільярдів параметрів) або LLaDA (8 мільярдів параметрів), за двома ключовими показниками – перплексність (природність тексту) та ентропія (стабільність вибору слів). Незважаючи на менший розмір, вона досягла нижчих значень перплексності та стабільнішої ентропії, що свідчить про вищу точність та плавність виводу.
Фото галерея
Apple планує зробити код і контрольні точки моделі доступними, щоб дозволити дослідникам і розробникам продовжувати свої дослідження. Дослідження «FS-DFM: швидка та точна генерація довгих текстів за допомогою дифузії за кілька кроків» Language Models” вже доступний на сервері arXiv та пропонує детальні приклади того, як модель змінює слова в тексті в окремих ітераціях.
Якщо цей підхід виявиться успішним, він може значно пришвидшити генерацію тексту в таких програмах, як Siri, Apple Intelligence або iWork, де ключовим фактором стають як швидкість, так і точність виводу.
