ingenieros Applu y la Universidad Estatal de Ohio introdujeron un nuevo modelo de lenguaje FS-DFM (Few-Step Discrete Flow-Matching), que según un estudio puede escribir textos largos hasta 128 veces más rápido que los modelos convencionales del tipo ChatGPT Manteniendo la misma calidad de salida, lo que la convierte en una de las soluciones de generación de texto más eficientes jamás lanzadas.
Podría interesarle
Cómo funciona FS-DFM
A diferencia de los modelos autorregresivos clásicos, que generan texto palabra por palabra (o "token"), FS-DFM utiliza el principio de los modelos de difusión. Estos generan múltiples palabras en paralelo y las mejoran gradualmente en varios pasos. Apple Pero fue más allá y utilizó variallamado flow-matching, que puede acelerar todo el proceso omitiendo la mayoría de las iteraciones y generando el texto final después de sólo unas pocas rondas de edición.
En el estudio Apple Se informa que FS-DFM puede escribir un texto completo en tan solo ocho iteraciones rápidas, mientras que los modelos de la competencia requieren más de mil pasos. Para lograrlo, el equipo de investigación adoptó un enfoque de tres fases:
- El modelo primero aprende a funcionar con un número diferente de iteraciones,
- Posteriormente es "guiado" por un modelo de enseñanza más amplio, que le ayuda a realizar ajustes más precisos,
- y luegoonec Apple pasos individuales optimizados para que el modelo converja más rápido y de forma más estable.
Velocidad sin perder calidad
En las pruebas FS-DFM, superó a modelos de difusión significativamente más grandes, como Dream (7 mil millones de parámetros) o LLaDA (8 mil millones de parámetros), en dos métricas clave: perplejidad (naturalidad del texto) y entropía (estabilidad de la selección de palabras). A pesar de su menor tamaño, obtuvo valores de perplejidad más bajos y una entropía más estable, lo que indica una mayor precisión y fluidez en la salida.
Galería de fotos
Apple Planea poner a disposición el código y los puntos de control del modelo para que investigadores y desarrolladores puedan continuar sus investigaciones. El estudio «FS-DFM: Generación rápida y precisa de texto largo con difusión en pocos pasos» Language Model“s” ya está disponible en el servidor arXiv y ofrece ejemplos detallados de cómo el modelo modifica palabras en el texto en iteraciones individuales.
Si este enfoque resulta exitoso, podría acelerar drásticamente la generación de texto en aplicaciones como Siri, Apple Intelligence o iWork, donde tanto la velocidad como la precisión de la producción se convierten en un factor clave.
