微軟正式發布了 AgentOS 作業系統的 UFO2 版本，這是一款適用於 Windows 桌面的多代理 AgentOS，可將 CUA 提升為實用的系統級自動化。
UFO2 具有集中式 HostAgent 用於任務分解和協調，以及一組配備原生 API、領域特定知識和統一 GUI——API 操作層的應用程式專用 AppAgent。該架構在保持模組化和可擴展性的同時，實現了強大的任務執行。混合控制偵測管道將 Windows UI 自動化 (UIA) 與基於視覺的解析融合在一起，以支援多樣化的介面風格。透過推測性多動作規劃進一步提高了運行時效率，減少了每步 LLM 開銷。最後，畫中畫 (PiP) 介面可在隔離的虛擬桌面內自動化，讓代理商和使用者可以同時操作而不受干擾。
UFO² 作為桌面代理作業系統運行，包含一個多代理框架，其中包括：
- HostAgent－解析自然語言目標，啟動必要的應用程序，啟動/協調 AppAgents，並引導全域有限狀態機 (FSM)。
- AppAgents – 每個應用程式一個；每個都運行一個 ReAct 循環，具有多模式感知、混合控制檢測、檢索增強知識以及在 GUI 操作和本機 API 之間進行選擇的Puppeteer執行器。
- 知識基礎－將離線文件、線上搜尋、示範和執行追蹤整合到可在推理時動態檢索的向量儲存中。
- 推測執行器－透過預測批次可能的操作並一次根據即時 UIA 狀態進行驗證，大幅減少 LLM 延遲。
- 畫中畫桌面 （即將推出） ——在獨立的虛擬桌面中運行代理，因此您的主工作區和輸入裝置保持不變。
留言
張貼留言