HY-World 2.0是一個用於世界生成和世界重建的多模態世界模型框架。它接受多種輸入模態——文字、單視圖圖像、多視圖圖像和視訊——並產生 3D 世界表示（網格/高斯散射）。
HY-World 提供兩個核心功能：
- 世界生成（文字/單張影像→3D世界）：透過四階段方法合成高保真度、可導航的3D場景－a) 全景世代使用 HY-Pano 2.0，b)軌跡規劃使用WorldNav，c) 世界擴張使用 WorldStereo 2.0，以及d)世界構成使用 WorldMirror 2.0和 3DGS 學習。
- 世界重建（多視圖影像/視訊 → 3D）：由 WorldMirror 2.0 提供支持，這是一個統一的前饋模型，可在一次前向傳播中同時預測深度、表面法線、相機參數、3D 點雲和 3DGS 屬性。
特色
- 真實的3D世界，而不僅僅是視頻
- 從照片和影片即時重建 3D 模型
- 互動角色探索
留言
張貼留言