引言
Yi-Coder 是一个开源的高性能代码语言大模型,旨在实现高效编程。它支持 52 种编程语言,特别擅长处理需要长上下文理解的任务,如项目级代码理解和生成。该模型提供两种规模(15亿和90亿参数),并有基础版和聊天版可供选择。
在本教程中,您将学习如何:
- 使用与 OpenAI 兼容的 API 在本地运行 Yi-Coder 模型
- 使用 Yi-Coder 驱动 Cursor
Cursor 简介
Cursor 是当前最受欢迎的 AI 代码编辑器之一。它能够利用专门为编码任务训练的 LLM(如 Yi-Coder)来完成编码辅助任务。您可以将 Yi-Coder-9B 配置为 Cursor 的私有 LLM 后端。
在本地运行 Yi-Coder 模型
安装 Gaia 节点
要获取 Cursor 所需的本地 Yi-Coder-9B 的公共 HTTPS endpoint,请按照以下步骤操作:
- 安装开源 Gaia 节点——一组轻量且可移植的 LLM 推理工具。
Gaia 的技术栈基于 WasmEdge,这是一个针对无服务器计算和边缘应用优化的 WebAssembly 运行时。此设置允许在不同环境中高效部署 Yi-Coder,提供灵活性和可扩展性。
- 使用以下命令安装:
bash
curl -sSfL ‘https://github.com/GaiaNet-AI/gaianet-node/releases/latest/download/install.sh’ | bash
- 下载并初始化模型:
bash
gaianet init –config https://raw.githubusercontent.com/GaiaNet-AI/node-configs/main/yi-coder-9b-chat/config.json
- 启动节点:
bash
gaianet start
您将获得一个 HTTPS URL,格式为 https://NODE-ID.us.gaianet.network
。同时,您可以在浏览器中访问 http://localhost:8080
来提问编程相关问题。
我们以 8k 上下文窗口启动了 Yi-Coder 9B 模型。如果您的机器有较大的 GPU RAM(例如 24GB),可以将上下文大小增加到 128k。较大的上下文大小在编码中特别有用,因为我们可能需要将大量源代码文件塞入 LLM 提示中以完成复杂任务。
将 Yi-Coder-9B 集成到 Cursor
接下来,让我们将本地运行的 Yi-Coder-9B 配置到 Cursor 中。只需使用您的 Gaia 节点 URL 覆盖 Cursor 的默认 OpenAI URL,并修复模型名称和“API 密钥”,即可开始工作!请参阅相关文档获取详细说明。
现在,让我们测试 Yi-Coder-9B 来编写一个简单的搜索页面。
模型生成了一个简单的搜索页面。
接着,我要求 Yi-Coder-9B 修改按钮上的文字标签,模型成功解释了搜索按钮的功能。
网页如预期运行!
就这样!访问 野卡 | 一分钟注册,轻松订阅海外线上服务 获取更多信息。
参考资料
- Yi-Coder: Yi-Coder 介绍
- WasmEdge: WasmEdge GitHub
关于 WasmEdge
WasmEdge 是轻量级、安全、高性能、可扩展、兼容 OCI 的软件容器与运行环境,目前是 CNCF 沙箱项目。WasmEdge 被广泛应用于 SaaS、云原生、服务网格、边缘计算、微服务、流数据处理和 LLM 推理等领域。