Инжењери AppЛу и Државни универзитет Охаја представили су нови језички модел FS-DFM (Few-Step Discrete Flow-Matching), који према једној студији може да пише дугачке текстове до 128 пута брже од конвенционалних модела тог типа. ChatGPT – уз одржавање истог квалитета излаза. Ово га чини једним од најефикаснијих решења за генерисање текста икада објављених.
Могли бисте бити заинтересовани
Како ФС-ДФМ функционише
За разлику од класичних ауторегресивних модела који генеришу текст реч по реч (или „токен“), FS-DFM користи принцип дифузионих модела. Они генеришу више речи паралелно и постепено их „побољшавају“ у неколико корака. Apple али је отишао даље и користио variaназвано упаривање тока, које може убрзати цео процес прескакањем већине итерација и генерисањем коначног текста након само неколико рунди уређивања.
У студији Apple извештава да FS-DFM може да напише комплетан текст у само осам брзих итерација – док конкурентски модели захтевају преко хиљаду корака. Да би се то постигло, истраживачки тим је усвојио трофазни приступ:
- модел прво учи да функционише са различитим бројем итерација,
- потом се „води“ већим моделом наставе, што му помаже да направи прецизнија прилагођавања,
- а затимonec Apple оптимизовани појединачни кораци тако да модел конвергира брже и стабилније.
Брзина без губитка квалитета
У FS-DFM тестовима, надмашио је знатно веће дифузионе моделе као што су Dream (7 милијарди параметара) или LLaDA (8 милијарди параметара) у две кључне метрике – перплекситету (природност текста) и ентропији (стабилност избора речи). Упркос мањој величини, постигао је ниже вредности перплекситета и стабилнију ентропију, што указује на већу тачност и глаткоћу излаза.
Фотогалерие
Apple планира да учини контролне тачке кода и модела доступним како би истраживачима и програмерима омогућили да наставе своја истраживања. Студија „FS-DFM: Брзо и прецизно генерисање дугих текстова помоћу дифузије у неколико корака“ Language Modelс“ је већ доступан на arXiv серверу и нуди детаљне примере како модел модификује речи у тексту у појединачним итерацијама.
Ако се овај приступ покаже успешним, могао би драматично убрзати генерисање текста у апликацијама као што су Siri, Apple Intelligence или iWork, где и брзина и тачност резултата постају кључни фактор.
