本地 AI 模型管理 Unsloth v0.1.801-beta 發布

日期：


Unsloth 是第一個用於執行和訓練模型的桌面應用程式，可讓您在本地執行、訓練和部署 AI 模型，並支援所有類型的模型，目前為 Beta 版本，支援 macOS、Windows 和 Linux 系統。

利用人工智慧運行和構建

  • 運行和訓練 LLM、擴散、嵌入、音頻模型：Kimi K3、MiniMax-H3、Qwen3.8、Muse Glimmer、DeepSeek-V4、Gemma 4。
  • 代理與工具：將本地模型與 Claude Code、Codex 和 MCP 結合使用，包括工具呼叫和程式碼執行。
  • 搜尋和 RAG：使用私密且無限制的網路搜尋、深度研究和 RAG。
  • 影像和影片：運行和訓練影像和視訊擴散或多模態模型
  • 搜尋：使用私密且無限制的網路搜尋、深度研究和 RAG。
  • 硬體：支援 CPU、Apple、NVIDIA、AMD、Intel 和多 GPU 配置。
  • 遠端存取：透過安全的Cloudflare HTTPS遠端提供您的本機模型。
  • 連結：透過相容 OpenAI 的 API提供模型。同時連接您的 ChatGPT/Codex 訂閱和雲端服務供應商。

訓練與部署

  • 微調：訓練 LLM、擴散、TTS 和嵌入模型的速度提升 2 倍，顯存佔用減少 70%，且不損失精確度。
  • 全面支持：支持強化學習、LoRA、QLoRA、完全微調、預訓練、RL、GRPO、DPO 和 FP8。
  • 匯出與部署： 匯出或部署包含GGUF、NVFP4、FP8 等格式的模型。
  • 資料集：使用資料配方從 PDF、CSV、DOCX 檔案等建立資料集。

v0.1.801-beta 更新重點
  • 自動壓縮（實驗性功能），適用於超出情境限制的較長聊天記錄
  • 遠端和區域網路存取（預覽版），無需 Cloudflare 連結即可輕鬆存取網絡
  • 更快的聊天- 提升了串流媒體效能，減少了使用者介面延遲，使長時間對話更加流暢。
  • 支援自訂 llama.cpp 建置。可切換快取 RAM、Mmap、Mlock、檢查點、特殊解碼 KV 快取、視覺功能開/關。
  • Unsloth Dynamic v3.0已發佈。全新的 Qwen3.8-27B Dynamic v3.0 GGUF 與其他版本相比，top-1 準確率提升超過 10%。相容於 Unsloth。

Picture Source
unsloth.ai

留言

張貼留言