Meta đã giới thiệu Muse Spark Open, mô hình trọng lượng mở mạnh mẽ nhất đến từ Mỹ. Đây là mô hình với 816 tỷ tham số, với cửa sổ ngữ cảnh có thể sử dụng một triệu token cùng một lúc. Mô hình này chủ yếu được xây dựng cho các lập trình viên và điều phối các tác nhân AI, cho phép chúng hoạt động độc lập. Điều thú vị là Meta đã kết hợp mô hình này với Apple Được tối ưu hóa cho khung phần mềm MLX và các máy tính thế hệ mới nhất. Mac Studio và chip M5 UltraNếu bạn có một vài Mac Studio Với 512 MB bộ nhớ dùng chung, tức là tổng cộng 1 TB bộ nhớ, bạn có thể chạy mô hình cục bộ mà không cần kết nối với máy chủ Meta. Apple Trong quá trình thử nghiệm, ông ấy nói rằng nếu ông ấy sử dụng bốn chiếc Mac Studio đời mới nhất có chip thì nếu ông ấy dùng chip đó thì sẽ không được. M5 Ultra Nhìn chung, mô hình này đạt tốc độ vượt quá 36 token mỗi giây.
Muse Spark Open hiện đã có sẵn thông qua các nền tảng API như Baseten, Fireworks AI, Groq, Modal, Nebius, OpenRouter và Together AI. Trọng số mô hình có thể được tải xuống từ các nền tảng này. Amazon SageMaker AI, Google Cloud Mô hình vườn, khuôn mặt ôm và Microsoft Các mô hình Foundry. Mô hình hoạt động trên các công cụ suy luận hàng đầu như SGLang, vLLM, TensorRT-LLM, Transformers mặt ôm, Apple MLX, llama.cpp và Unsloth, bao gồm các tối ưu hóa cho phần cứng AMD, AppleIntel và NVIDIA.
