Inženýři Applu a Ohio State University představili nový jazykový model FS-DFM (Few-Step Discrete Flow-Matching), který podle studie dokáže psát dlouhé texty až 128× rychleji než běžné modely typu ChatGPT – a přitom si zachovává stejnou kvalitu výstupu. To z něj činí jedno z nejefektivnějších řešení v oblasti generování textu, které kdy bylo zveřejněno.
Mohlo by vás zajímat
Jak FS-DFM funguje
Na rozdíl od klasických autoregresivních modelů, které generují text po jednotlivých slovech (nebo „tokenech“), FS-DFM využívá princip difuzních modelů. Ty vytvářejí více slov paralelně a postupně je „vylepšují“ v několika krocích. Apple šel ale ještě dál a použil variantu zvanou flow-matching, která umí celý proces zrychlit tím, že většinu iterací přeskočí a finální text vygeneruje už po několika kolech úprav.
Ve studii Apple uvádí, že FS-DFM zvládne napsat kompletní text po pouhých osmi rychlých iteracích – přičemž konkurenční modely vyžadují i více než tisíc kroků. Aby toho dosáhl, výzkumný tým zvolil třífázový přístup:
- model se nejprve učí fungovat s různým počtem iterací,
- následně je „veden“ větším učitelským modelem, který mu pomáhá dělat přesnější úpravy,
- a nakonec Apple optimalizoval jednotlivé kroky tak, aby model konvergoval rychleji a stabilněji.
Rychlost bez ztráty kvality
V testech FS-DFM překonal i výrazně větší difuzní modely, jako jsou Dream (7 miliard parametrů) nebo LLaDA (8 miliard parametrů), a to ve dvou klíčových ukazatelích – perplexitě (přirozenost textu) a entropii (stabilita výběru slov). Navzdory menší velikosti dosahoval nižších hodnot perplexity a stabilnější entropie, což naznačuje vyšší přesnost i plynulost výstupu.
Fotogalerie
Apple plánuje zpřístupnit kód i modelové checkpointy, aby umožnil vědcům a vývojářům pokračovat ve výzkumu. Studie “FS-DFM: Fast and Accurate Long Text Generation with Few-Step Diffusion Language Models” je již dostupná na serveru arXiv a nabízí detailní příklady, jak model v jednotlivých iteracích upravuje slova v textu.
Pokud se tento přístup osvědčí, mohl by zásadně zrychlit generování textu v aplikacích jako Siri, Apple Intelligence nebo iWork, kde se rychlost i přesnost výstupu stávají klíčovým faktorem.
