LMStudio MCP

LMStudio MCP

LMStudio MCP 是一個開源的 MCP 伺服器，用於連接 Claude（具有 MCP 存取權）和本地運行的 LM Studio 語言模型環境。它實現了無縫的通訊，讓 Claude 可以利用您的私有本地 LLM 進行文本生成和模型管理，結合了 Claude 的先進功能以及自主持模型的靈活性和隱私性。

Author: infinitimeless


查看協議

什麼是 LMStudio MCP？

LMStudio MCP 是一個模型上下文協議（MCP）伺服器，專門設計用來將 Claude 與由 LM Studio 管理的本地語言模型整合。它提供了一個標準的協議介面，讓 Claude 可以直接通過您的本地基礎設施執行各種操作，如查詢模型、生成完成和管理模型狀態。這個設置創造了一個強大的混合環境，讓您可以將 Claude 的優勢與在自己硬體上運行的自訂或私有模型結合。

如何配置 LMStudio MCP

  1. 先決條件：

    • 安裝並啟動 LM Studio，並至少載入一個模型（通常在端口 1234 上運行）。
    • 確保 Python 3.7+ 可用，或準備 Docker 環境。
    • 必須啟用 Claude 的 MCP 存取權。

  2. 安裝：

    • 推薦（單行安裝）： 
      curl -fsSL https://raw.githubusercontent.com/infinitimeless/LMStudio-MCP/main/install.sh | bash
    • 手動安裝（Python）： 
      git clone https://github.com/infinitimeless/LMStudio-MCP.git
cd LMStudio-MCP
pip install requests "mcp[cli]" openai
    • Docker： 
      docker run -it --network host ghcr.io/infinitimeless/lmstudio-mcp:latest
    • Docker Compose： 
      git clone https://github.com/infinitimeless/LMStudio-MCP.git
cd LMStudio-MCP
docker-compose up -d

  3. MCP 配置：

    • 對於 Claude，添加 MCP 配置條目。例如： 
      {
  "lmstudio-mcp": {
    "command": "uvx",
    "args": ["https://github.com/infinitimeless/LMStudio-MCP"]
  }
}
    • 或者，使用提供的 Docker 或 Python 腳本，並配合適當的命令參數。

  4. 參考：

如何使用 LMStudio MCP

  1. 啟動 LM Studio，確保您想要的模型已載入在預設端口（1234）。
  2. 啟動 LMStudio MCP，使用您選擇的安裝方法（本地、Docker 等）。
  3. 用 MCP 配置 Claude，使用相關的配置片段。
  4. 通過 Claude 連接：
    • 當 Claude 提示您進行 MCP 連接時，選擇 LMStudio MCP 伺服器。
  5. 互動：
    • 使用 Claude 的介面列出模型、查詢當前模型或使用您自己的本地 LLM 生成完成。
  6. 監控與維護：
    • 確保 LM Studio 繼續運行，並且模型可訪問，以保持無縫連接。

主要特點

  • 本地-遠端橋接： 通過 MCP 協議將 Claude 連接到您自己的本地語言模型。
  • 健康檢查： 快速驗證您的 LM Studio API 的狀態和可用性。
  • 模型發現： 列出並查詢 LM Studio 中可用的所有模型。
  • 無縫文本生成： 使用您的私有模型生成完成，利用 Claude 的介面。
  • 靈活部署： 多種安裝和部署選項（裸金屬 Python、Docker、Compose、Kubernetes 或 GitHub 托管）。
  • 增強隱私： 不會將數據發送至任何第三方 LLM 提供者—您的完成完全本地生成。
  • 開源與可擴展： 自由修改和為定制用例做出貢獻。

使用案例

  • 混合 LLM 整合： 使用 Claude 的友好介面與您本地運行的自訂或專有模型互動，充分利用雙方的優勢。
  • 內部安全工作流程： 在防火墙或企業環境中生成完成和管理語言模型，而無需依賴雲服務。
  • 測試及評估： 輕鬆測試、比較和在不同本地模型之間切換，幾乎無需重新配置。
  • 開發原型： 允許開發者使用 Claude 和自訂模型自動化、基準測試或原型代理工作流。

常見問題

Q1: 為什麼 Claude 不能連接到我的 LM Studio MCP 伺服器？
A1: 確保 LM Studio 正在運行並監聽預設端口（1234），且已載入模型。檢查防火牆或主機網絡設置，並嘗試將 API URL 從 "localhost" 切換到 "127.0.0.1"。

Q2: 某些模型沒有響應或行為異常，我該怎麼辦？
A2: 某些模型可能不完全支持 LMStudio MCP 所需的 OpenAI 兼容 API 協議。嘗試不同模型或調整如 temperature 和 max_tokens 等參數。請參閱文檔中的兼容性說明。

Q3: 使用 LMStudio MCP 需要網絡訪問嗎？
A3: 僅在使用 GitHub 直接或 Docker 映像選項進行安裝時需要網絡。設置完成後，所有模型交互都是本地的，執行或完成模型時不需要網絡。

Q4: 我可以在容器內運行 LMStudio MCP 進行開發或生產嗎？
A4: 是的，LMStudio MCP 提供官方的 Docker 映像、Docker Compose 和 Kubernetes 清單，以便於孤立和可擴展的部署選項。