SenseNova-Vision 將電腦視覺建模為統一的多模態生成，其中異質視覺任務透過統一多模態模型 (UMM) 的原生文字和圖像生成空間來表達。自然語言指令和可選的視覺提示指定任務、目標區域或視圖、輸出模式和解碼約定，而模型則透過原生文字、圖像或混合文字-圖像生成來回應。
文字產生功能用於表達符號化的視覺記錄，例如類別、方框、點、OCR 字串、關鍵點和相機參數。影像產生功能則用於處理密集空間目標，例如分割遮罩、深度圖、表面法線和多視角點圖。混合響應支援組合式任務，該任務結合了符號化和密集輸出。這種共享的公式使得一個模型能夠涵蓋結構化視覺理解、密集幾何預測、分割和多視角視覺幾何，同時保持輸出結果可解碼以用於標準基準測試。
基準測試結果
SenseNova-Vision 的評估涵蓋結構化視覺理解、密集幾何預測、分割和多視圖視覺幾何。所有任務均採用自然語言指令：文字輸出被解析為基準測試特定的結構，例如框、點、辨識的文字、關鍵點和相機參數；影像輸出被解碼為遮罩、深度圖、法線圖或 3D 點雲圖。
數據協定
SenseNova-Vision 將異質的電腦視覺標註轉換為通用的指令-回應模式。每個樣本包含一個或多個視覺輸入、定義任務和輸出約定的自然語言指令，以及以文字、圖像或混合文字-圖像形式表示的可解碼目標。
https://github.com/OpenSenseNova/SenseNova-Vision
Picture Source
SenseTime
留言
張貼留言