微軟推出針對設備端小型語言模型 Mu,該模型適用於需要推斷複雜輸入輸出關係的場景,其設計旨在高效運行,在本地運行時提供高效能,Mu 完全由神經處理單元 (NPU) 處理,每秒回應超過 100 個令牌,滿足「設定」場景中智慧體的嚴苛使用者體驗要求。
Mu 是一個高效的 330M 編解碼器語言模型,專為小規模部署而最佳化,特別適用於 Copilot+ PC 上的 NPU。採用 Transformer 編解碼器架構,這意味著編碼器首先將輸入轉換為固定長度的潛在表示,然後解碼器基於該表示來產生輸出 token。
留言
張貼留言