LMStudio MCP

LMStudio MCP

LMStudio MCP 是一个开源的 MCP 服务器，用于在 Claude（拥有 MCP 访问权限）与本地运行的 LM Studio 语言模型环境之间架起桥梁。它支持无缝通信，让 Claude 使用你自己私有的本地 LLM 进行文本生成和模型管理，将 Claude 的高级能力与自托管模型的灵活性和隐私结合起来。

Author: infinitimeless


查看协议

什么是 LMStudio MCP?

LMStudio MCP 是一种模型上下文协议（MCP）服务器实现，旨在将 Claude 与由 LM Studio 管理的本地运行的语言模型集成。它提供了一个标准化的协议接口，允许 Claude 直接通过本地基础设施执行多种操作，例如查询模型、生成补全和管理模型状态。这个设置创建了一个强大的混合环境，你可以将 Claude 的优势与运行在自己硬件上的自定义或私人模型结合起来。

如何配置 LMStudio MCP

  1. 先决条件:

    • 安装并启动 LM Studio，至少加载并运行一个模型（通常在端口 1234 上）。
    • 确保安装 Python 3.7 及以上版本，或准备 Docker 环境。
    • 确保 Claude 启用了 MCP 访问权限。

  2. 安装:

    • 推荐（一行安装）： 
      curl -fsSL https://raw.githubusercontent.com/infinitimeless/LMStudio-MCP/main/install.sh | bash
    • 手动安装（Python）： 
      git clone https://github.com/infinitimeless/LMStudio-MCP.git
cd LMStudio-MCP
pip install requests "mcp[cli]" openai
    • Docker: 
      docker run -it --network host ghcr.io/infinitimeless/lmstudio-mcp:latest
    • Docker Compose: 
      git clone https://github.com/infinitimeless/LMStudio-MCP.git
cd LMStudio-MCP
docker-compose up -d

  3. MCP 配置:

    • 对于 Claude，添加一个 MCP 配置条目。例如： 
      {
  "lmstudio-mcp": {
    "command": "uvx",
    "args": ["https://github.com/infinitimeless/LMStudio-MCP"]
  }
}
    • 或者，使用提供的 Docker 或基于 Python 的脚本，并使用适当的命令参数。

  4. 参考:

如何使用 LMStudio MCP

  1. 启动 LM Studio 并确保你想要的模型加载在默认端口（1234）上。
  2. 启动 LMStudio MCP，使用你选择的安装方法（本地、Docker 等）。
  3. 使用 MCP 配置 Claude，使用相关的配置片段。
  4. 通过 Claude 连接：
    • 当 Claude 提示你连接 MCP 时，选择 LMStudio MCP 服务器。
  5. 互动：
    • 使用 Claude 的界面列出模型，查询活动模型或使用你自己的本地 LLM 生成补全。
  6. 监控与维护：
    • 确保 LM Studio 持续运行并保持模型可访问，以维护无缝连接。

主要特性

  • 本地-远程桥接： 通过 MCP 协议将 Claude 连接到你自己的本地语言模型。
  • 健康检查： 快速验证 LM Studio API 的状态和可访问性。
  • 模型发现： 列出并查询 LM Studio 中所有可用模型。
  • 无缝文本生成： 使用你的私人模型生成补全，充分利用 Claude 的界面。
  • 灵活部署： 多种安装和部署选项（裸机 Python、Docker、Compose、Kubernetes 或 GitHub 托管）。
  • 增强隐私： 所有数据不会发送给任何第三方 LLM 提供商——你的补全完全本地处理。
  • 开源和可扩展： 可以自由修改和贡献项目以适应自定义使用场景。

使用场景

  • 混合 LLM 集成： 使用 Claude 的用户友好界面与本地运行的自定义或专有模型交互，从中受益于两者的优势。
  • 内部安全工作流： 在防火墙或企业环境中生成补全和管理语言模型，无需依赖云服务。
  • 测试和评估： 轻松测试、比较并在不同本地模型之间切换，几乎无重新配置工作。
  • 开发原型： 使开发人员能够使用 Claude 和自定义模型自动化、基准测试或原型设计代理工作流。

常见问题

问1：为什么 Claude 不能连接到我的 LM Studio MCP 服务器？
答1： 确保 LM Studio 正在运行并在默认端口（1234）上监听，并确保加载了模型。检查防火墙或主机网络设置，并尝试将 API URL 从 "localhost" 切换到 "127.0.0.1"。*

问2：某些模型没有响应或出现异常情况，我该怎么办？
答2： 某些模型可能不完全支持 LMStudio MCP 所需的 OpenAI 兼容 API 协议。尝试其他模型或调整诸如 temperature 和 max_tokens 的参数。有关兼容性，请参见文档中的注意事项。*

问3：使用 LMStudio MCP 是否需要互联网访问？
答3： 仅在使用 GitHub 直接或 Docker 镜像选项时需要互联网。一旦设置完成，所有模型交互都是本地的，执行或补全模型不需要互联网。*

问4：我可以在开发或生产环境中在容器中运行 LMStudio MCP 吗？
答4： 可以，LMStudio MCP 提供官方 Docker 镜像、Docker Compose 和 Kubernetes 清单，以方便隔离和可扩展的部署选项。*