Ingenieure Applu und die Ohio State University haben ein neues Sprachmodell FS-DFM (Few-Step Discrete Flow-Matching) vorgestellt, das laut einer Studie lange Texte bis zu 128-mal schneller schreiben kann als herkömmliche Modelle dieser Art ChatGPT – und das bei gleichbleibender Ausgabequalität. Damit zählt es zu den effizientesten Textgenerierungslösungen, die jemals veröffentlicht wurden.
Sie könnten sich interessieren für
So funktioniert FS-DFM
Im Gegensatz zu klassischen autoregressiven Modellen, die Text Wort für Wort (bzw. „Token“) generieren, nutzt FS-DFM das Prinzip von Diffusionsmodellen. Diese generieren mehrere Wörter parallel und „verbessern“ diese schrittweise in mehreren Schritten. Apple aber er ging noch weiter und benutzte variaDies wird als Flow-Matching bezeichnet und kann den gesamten Prozess beschleunigen, indem die meisten Iterationen übersprungen werden und der endgültige Text nach nur wenigen Bearbeitungsrunden generiert wird.
In der Studie Apple FS-DFM kann einen vollständigen Text in nur acht schnellen Iterationen schreiben – während konkurrierende Modelle über tausend Schritte benötigen. Um dies zu erreichen, verfolgte das Forschungsteam einen dreistufigen Ansatz:
- das Modell lernt zunächst mit einer anderen Anzahl von Iterationen zu funktionieren,
- wird anschließend durch ein größeres Lehrmodell „geführt“, das ihm hilft, präzisere Anpassungen vorzunehmen,
- und dannonec Apple optimierte Einzelschritte, sodass das Modell schneller und stabiler konvergiert.
Geschwindigkeit ohne Qualitätsverlust
In FS-DFM-Tests übertraf es deutlich größere Diffusionsmodelle wie Dream (7 Milliarden Parameter) oder LLaDA (8 Milliarden Parameter) in zwei Schlüsselmetriken – Perplexität (Natürlichkeit des Textes) und Entropie (Stabilität der Wortauswahl). Trotz seiner geringeren Größe erzielte es niedrigere Perplexitätswerte und eine stabilere Entropie, was auf eine höhere Genauigkeit und Glätte der Ausgabe hindeutet.
Fotogalerie
Apple plant, den Code und die Modell-Checkpoints verfügbar zu machen, damit Forscher und Entwickler ihre Forschung fortsetzen können. Die Studie „FS-DFM: Schnelle und genaue Generierung von Langtexten mit Few-Step-Diffusion“ Language Models“ ist bereits auf dem arXiv-Server verfügbar und bietet detaillierte Beispiele dafür, wie das Modell Wörter im Text in einzelnen Iterationen modifiziert.
Wenn sich dieser Ansatz als erfolgreich erweist, könnte er die Textgenerierung in Anwendungen wie Siri, Apple Intelligence oder iWork, wo sowohl Geschwindigkeit als auch Genauigkeit der Ausgabe zu einem Schlüsselfaktor werden.
