微軟發布設備端小型語言模型 Mu!


微軟推出針對設備端小型語言模型 Mu,該模型適用於需要推斷複雜輸入輸出關係的場景,其設計旨在高效運行,在本地運行時提供高效能,Mu 完全由神經處理單元 (NPU) 處理,每秒回應超過 100 個令牌,滿足「設定」場景中智慧體的嚴苛使用者體驗要求。


Mu 是一個高效的 330M 編解碼器語言模型,專為小規模部署而最佳化,特別適用於 Copilot+ PC 上的 NPU。採用 Transformer 編解碼器架構,這意味著編碼器首先將輸入轉換為固定長度的潛在表示,然後解碼器基於該表示來產生輸出 token。

https://blogs.windows.com/windowsexperience/2025/06/23/introducing-mu-language-model-and-how-it-enabled-the-agent-in-windows-settings/

留言