自建 AI 编程助手 _ 本地 Yi-Coder 模型 + Cursor 轻松实现

引言

Yi-Coder 是一个开源的高性能代码语言大模型,旨在实现高效编程。它支持 52 种编程语言,特别擅长处理需要长上下文理解的任务,如项目级代码理解和生成。该模型提供两种规模(15亿和90亿参数),并有基础版和聊天版可供选择。

在本教程中,您将学习如何:

  • 使用与 OpenAI 兼容的 API 在本地运行 Yi-Coder 模型
  • 使用 Yi-Coder 驱动 Cursor

Cursor 简介

Cursor 是当前最受欢迎的 AI 代码编辑器之一。它能够利用专门为编码任务训练的 LLM(如 Yi-Coder)来完成编码辅助任务。您可以将 Yi-Coder-9B 配置为 Cursor 的私有 LLM 后端。

在本地运行 Yi-Coder 模型

安装 Gaia 节点

要获取 Cursor 所需的本地 Yi-Coder-9B 的公共 HTTPS endpoint,请按照以下步骤操作:

  1. 安装开源 Gaia 节点——一组轻量且可移植的 LLM 推理工具。

Gaia 的技术栈基于 WasmEdge,这是一个针对无服务器计算和边缘应用优化的 WebAssembly 运行时。此设置允许在不同环境中高效部署 Yi-Coder,提供灵活性和可扩展性。

  1. 使用以下命令安装:

bash
curl -sSfL ‘https://github.com/GaiaNet-AI/gaianet-node/releases/latest/download/install.sh’ | bash

  1. 下载并初始化模型:

bash
gaianet init –config https://raw.githubusercontent.com/GaiaNet-AI/node-configs/main/yi-coder-9b-chat/config.json

  1. 启动节点:

bash
gaianet start

您将获得一个 HTTPS URL,格式为 https://NODE-ID.us.gaianet.network。同时,您可以在浏览器中访问 http://localhost:8080 来提问编程相关问题。

Yi-Coder 运行示例

我们以 8k 上下文窗口启动了 Yi-Coder 9B 模型。如果您的机器有较大的 GPU RAM(例如 24GB),可以将上下文大小增加到 128k。较大的上下文大小在编码中特别有用,因为我们可能需要将大量源代码文件塞入 LLM 提示中以完成复杂任务。

将 Yi-Coder-9B 集成到 Cursor

接下来,让我们将本地运行的 Yi-Coder-9B 配置到 Cursor 中。只需使用您的 Gaia 节点 URL 覆盖 Cursor 的默认 OpenAI URL,并修复模型名称和“API 密钥”,即可开始工作!请参阅相关文档获取详细说明。

现在,让我们测试 Yi-Coder-9B 来编写一个简单的搜索页面。

搜索页面示例

模型生成了一个简单的搜索页面。

修改按钮示例

接着,我要求 Yi-Coder-9B 修改按钮上的文字标签,模型成功解释了搜索按钮的功能。

网页运行示例

网页如预期运行!

最终效果示例

就这样!访问 野卡 | 一分钟注册,轻松订阅海外线上服务 获取更多信息。

参考资料

  • Yi-Coder: Yi-Coder 介绍
  • WasmEdge: WasmEdge GitHub

关于 WasmEdge

WasmEdge 是轻量级、安全、高性能、可扩展、兼容 OCI 的软件容器与运行环境,目前是 CNCF 沙箱项目。WasmEdge 被广泛应用于 SaaS、云原生、服务网格、边缘计算、微服务、流数据处理和 LLM 推理等领域。

(0)
上一篇 2025年6月14日
下一篇 2025年6月14日

相关推荐