Инженери AppЛу и Държавният университет на Охайо представиха нов езиков модел FS-DFM (Few-Step Discrete Flow-Matching), който според проучване може да пише дълги текстове до 128 пъти по-бързо от конвенционалните модели от този тип. ChatGPT – като същевременно се запазва същото качество на изхода. Това го прави едно от най-ефективните решения за генериране на текст, пускани някога.
Може да се интересувате от
Как работи FS-DFM
За разлика от класическите авторегресивни модели, които генерират текст дума по дума (или „токен“), FS-DFM използва принципа на дифузионните модели. Те генерират множество думи паралелно и постепенно ги „подобряват“ в няколко стъпки. Apple но той отиде по-далеч и използва variaнаречено съпоставяне на потока, което може да ускори целия процес, като пропусне повечето итерации и генерира крайния текст само след няколко кръга редактиране.
В проучването Apple съобщава, че FS-DFM може да напише пълен текст само с осем бързи итерации – докато конкурентните модели изискват над хиляда стъпки. За да постигне това, изследователският екип е предприел трифазен подход:
- моделът първо се учи да функционира с различен брой итерации,
- впоследствие се „ръководи“ от по-голям модел на преподаване, който му помага да прави по-прецизни корекции,
- и след товаonec Apple оптимизирани отделни стъпки, така че моделът да се сближава по-бързо и по-стабилно.
Скорост без загуба на качество
В тестовете на FS-DFM, той превъзхожда значително по-големи дифузионни модели като Dream (7 милиарда параметъра) или LLaDA (8 милиарда параметъра) по две ключови показатели – перплекситност (естественост на текста) и ентропия (стабилност на избора на думи). Въпреки по-малкия си размер, той постига по-ниски стойности на перплекситност и по-стабилна ентропия, което показва по-висока точност и плавност на изхода.
Фото галерия
Apple планира да предостави контролните точки на кода и модела, за да позволи на изследователите и разработчиците да продължат своите изследвания. Проучването „FS-DFM: Бързо и точно генериране на дълъг текст с дифузия в няколко стъпки“ Language Models“ вече е достъпен на сървъра arXiv и предлага подробни примери за това как моделът модифицира думи в текста в отделни итерации.
Ако този подход се окаже успешен, той би могъл драстично да ускори генерирането на текст в приложения като Siri, Apple Intelligence или iWork, където както скоростта, така и точността на изходните данни се превръщат в ключов фактор.
