騰訊混元團隊公開 AngelSpec 框架

 

騰訊混元 AI 基礎架構團隊公開 AngelSpec 框架，這是一個基於 PyTorch 的原生框架，用於訓練推測解碼草稿模型，涵蓋自回歸 MTP 草稿和區塊並行 DFlash 系列。

主要特點

• 六種不同的架構草案——DFly、DFlash、DFlare、Eagle3、DSpark 和 MTP——共用一個訓練管線；切換架構只需更改配置即可。
• 使用 TTT 進行 MTP 訓練－基於策略的多深度展開，記憶體佔用接近單次因果遍歷；透過 Ulysses 序列並行進行高達 128k 的長上下文訓練
• 與驗收目標一致的指標－CE、前k個KL、LK損失、D-PACE 權重和端對端 TV，可透過配置進行組合。
• 文件感知序列打包－Megatron 式固定長度打包，在 DFlash 和 MTP 路徑上均具有嚴格的跨文檔隔離。
• 線上評估－在訓練期間，針對最新檢查點進行真正的推測性解碼，並報告由服務引擎測量的平均接受長度和每個位置的接受率。

AngelSpec 在 Hy3 即時流量上進行 D-cut 測試（Hy3-295B-A21B，TP=8，8× H20；併發數 2–64）。（a）總吞吐量與單一使用者解碼速度的關係－向上和向右的點表示效能更佳。（b）總吞吐量與併發數的關係－DFly 在並發數超過 48 後達到飽和，而 D-cut 則能持續將額外的負載轉化為吞吐量。

https://github.com/Tencent/AngelSpec

Picture Source

Tencent Hunyuan