Moonshot (月之暗面) 發布 Kimi K3 模型，是 Kimi 迄今為止功能最強大的旗艦模型，擁有 2.8 兆個參數，基於 Kimi Delta Attention (KDA) 構建，KDA 是一種混合線性注意力機制，並結合了注意力殘差，具備原生視覺理解能力和 100 萬個詞元的上下文視窗，是全球首個 3 兆參數等級的開源模型，專為包括長時域編碼、知識工作和推理在內的前沿智慧場景而設計。
Kimi K3 具有強大的長期編碼能力。在極少的人工幹預下，它可以持續運行長時間的工程任務，理解並處理大型程式碼庫，並協調終端工具。
Kimi K3 在結合軟體工程和視覺推理的任務中也表現出色。它可以利用螢幕截圖和視覺回饋來改進遊戲開發、前端工程、CAD 及相關場景的工作流程。
Kimi K3 使用穩定潛在矩陣均衡器 (Stable LatentMoE)，有效啟動了 896 位專家中的 16 位。在這種稀疏度下，路由和最佳化成為首要挑戰。分位數平衡直接從路由分數分位數中分配專家，消除了啟發式更新和對平衡超參數的敏感度；而 Per-Head Muon 透過獨立優化注意力頭來擴展 Muon，從而實現更大規模的自適應學習。 Sigmoid Tanh Unit (SiTU) 和閘控 MLA 分別改善了活化控制和注意力選擇性。這些進步共同實現了在 2.8 兆參數規模下穩定且有效率的訓練。
可用性
- Kimi K3 代理：從行動應用程式商店下載或更新到最新的 Kimi 應用程式（適用於 iOS、Android 和 HarmonyOS），或造訪 kimi.com。
- 使用 Kimi K3：下載最新版 Kimi Work 桌面應用程序，版本 3.1.0 或更高版本，適用於 Windows 和 Apple 晶片 Mac。
- 使用 Kimi K3 進行編碼：在終端機中執行Kimi Code/model ，並使用指令選擇 Kimi K3。
- 使用 Kimi API 進行建置：存取Kimi API 平台並選擇kimi-k3。定價為：快取命中輸入 0.30 美元/MTok，快取未命中輸入 3.00 美元/MTok，輸出 15.00 美元/MTok。官方 Kimi API 由 Mooncake 的解耦推理架構提供支持，在編碼工作負載中可實現 90% 以上的快取命中率。
- 將 Kimi 引入您的組織：Kimi Enterprise提供企業級資料隱私和成員管理功能，個人帳戶和組織帳戶完全分開。造訪定價頁面並選擇「取得 Kimi Enterprise」即可為您的團隊訂閱。
https://platform.kimi.ai/docs/guide/kimi-k3-quickstart
Picture Source
kimi.ai
留言
張貼留言