エンジニア Appluとオハイオ州立大学は、新しい言語モデルFS-DFM（Few-Step Discrete Flow-Matching）を導入しました。研究によると、このモデルは、従来のモデルよりも最大128倍速く長いテキストを書くことができます。 ChatGPT 出力品質はそのままに、これまでで最も効率的なテキスト生成ソリューションの一つとなっています。
ご興味があるかもしれません
FS-DFMの仕組み
単語（または「トークン」）ごとにテキストを生成する従来の自己回帰モデルとは異なり、FS-DFMは拡散モデルの原理を採用しています。拡散モデルは複数の単語を並行して生成し、複数のステップで徐々に「改善」していきます。 Apple しかし彼はさらに進んで variaフローマッチングと呼ばれるこの技術は、ほとんどの反復をスキップし、わずか数回の編集で最終的なテキストを生成することで、プロセス全体を高速化できます。
この研究では Apple FS-DFMはわずか8回の高速反復処理で完全なテキストを作成できると報告されています。一方、競合モデルでは1000ステップ以上の反復処理が必要です。これを実現するために、研究チームは3段階のアプローチを採用しました。
- モデルはまず異なる反復回数で機能することを学習し、
- その後、より大きな指導モデルによって「指導」され、より正確な調整が可能になります。
- その後onec Apple 個々のステップを最適化して、モデルの収束速度と安定性を高めます。
品質を落とさずにスピードを実現
FS-DFMのテストでは、パープレキシティ（テキストの自然さ）とエントロピー（単語選択の安定性）という2つの重要な指標において、Dream（70億パラメータ）やLLaDA（80億パラメータ）といったはるかに大規模な拡散モデルを上回る性能を示しました。サイズが小さいにもかかわらず、パープレキシティ値は低く、エントロピーはより安定しており、出力の精度と滑らかさが向上していることを示しています。
フォトギャラリー
Apple コードとモデルのチェックポイントを公開し、研究者や開発者が研究を継続できるようにする予定です。「FS-DFM：数ステップ拡散法による高速かつ正確な長文テキスト生成」という研究は、 Language Model「s」はすでにarXivサーバー上で公開されており、モデルが個々の反復でテキスト内の単語をどのように変更するかの詳細な例を提供しています。
このアプローチが成功すれば、次のようなアプリケーションでのテキスト生成が劇的に高速化される可能性がある。 Siri, Apple Intelligence または iWork では、出力の速度と正確さの両方が重要な要素になります。
