NVIDIA 發布可將閒置電腦轉為私有 AI 集群套件 - Personal AI Router (PAIR)

 

Nvidia 發布一款開放程式碼可將閒置電腦轉為私有 AI 集群 - Personal AI Router (PAIR),可將相容的 macOS、Windows 和 Linux 系統與 NVIDIA RTX™ GPU 和 DGX Spark 系統連接起來,建立個人家庭 AI 叢集,PAIR 可將本機 AI 推理工作負載指派到可用裝置上,同時將提示資訊、檔案和代理程式上下文保留在使用者的家庭網路中。

PAIR 能做什麼?

  • 個人人工智慧集群: 只需幾分鐘,即可將網路中已有的 RTX、DGX™ 和 Mac 系統整合在一起。
  • 代理工作負載路由: 當任務堆積時,保持本地 AI 工作流程的順暢運作。
  • Ollama 和 LM Studio 支持: 在 Windows、Linux 和 macOS 系統上,NVIDIA PAIR 可與常用的本機推理後端並行運作。 
  • 私有本地推理: 在家中即可運行 AI 工作流程,資料始終保留在您的網路中。

https://www.nvidia.com/en-us/ai-on-rtx/personal-ai-router/#nv-accordion-6edf5b2eff-item-178f618f03

Picture Source

Nvidia


留言