엔지니어 Applu와 Ohio State University는 새로운 언어 모델 FS-DFM(Few-Step Discrete Flow-Matching)을 도입했습니다. 연구에 따르면 이 모델은 기존 모델보다 최대 128배 더 빠르게 긴 텍스트를 작성할 수 있습니다. ChatGPT - 출력 품질을 그대로 유지하면서도 효율적인 텍스트 생성이 가능합니다. 이러한 특징 덕분에 지금까지 출시된 텍스트 생성 솔루션 중 가장 효율적인 솔루션 중 하나로 손꼽힙니다.
당신은 관심을 가질 수 있습니다
FS-DFM 작동 방식
텍스트를 단어 단위로(또는 "토큰") 생성하는 기존의 자기회귀 모델과 달리, FS-DFM은 확산 모델의 원리를 사용합니다. 이 모델은 여러 단어를 병렬로 생성하고 여러 단계에 걸쳐 점진적으로 "개선"합니다. Apple 하지만 그는 더 나아가서 사용했습니다. varia플로우 매칭이라고 불리는 이 방법은 대부분의 반복 작업을 건너뛰고 몇 차례의 편집만으로 최종 텍스트를 생성함으로써 전체 프로세스의 속도를 높일 수 있습니다.
연구에서 Apple FS-DFM은 단 8번의 빠른 반복 작업만으로 완전한 텍스트를 작성할 수 있는 반면, 경쟁 모델들은 1,000개 이상의 단계가 필요하다고 보고했습니다. 연구팀은 이를 달성하기 위해 3단계 접근 방식을 취했습니다.
- 모델은 먼저 다른 횟수의 반복을 통해 기능하는 법을 배웁니다.
- 이후 그는 더 정확한 조정을 하는 데 도움이 되는 더 큰 교육 모델에 의해 "안내"됩니다.
- 그런 다음onec Apple 모델이 더 빠르고 안정적으로 수렴할 수 있도록 개별 단계를 최적화했습니다.
품질 저하 없이 속도 유지
FS-DFM 테스트에서 이 모델은 Dream(7억 개 파라미터)이나 LLaDA(8억 개 파라미터)와 같은 훨씬 더 큰 규모의 확산 모델보다 두 가지 핵심 지표인 퍼플렉서티(텍스트의 자연스러움)와 엔트로피(단어 선택의 안정성)에서 우수한 성능을 보였습니다. 더 작은 규모에도 불구하고 더 낮은 퍼플렉서티 값과 더 안정적인 엔트로피를 달성하여 더 높은 정확도와 부드러운 출력을 보여주었습니다.
사진 갤러리
Apple 연구자와 개발자가 연구를 계속할 수 있도록 코드 및 모델 체크포인트를 공개할 계획입니다. "FS-DFM: 몇 단계 확산을 이용한 빠르고 정확한 장문 텍스트 생성"이라는 제목의 연구 논문이 있습니다. Language Model“s”는 이미 arXiv 서버에서 사용할 수 있으며, 모델이 개별 반복에서 텍스트의 단어를 어떻게 수정하는지에 대한 자세한 예를 제공합니다.
이 접근 방식이 성공적이라면 다음과 같은 응용 프로그램에서 텍스트 생성 속도가 극적으로 향상될 수 있습니다. Siri, Apple Intelligence 또는 iWork에서는 출력 속도와 정확성이 모두 중요한 요소가 됩니다.
