不懂代码?没关系,手把手教你本地跑起一个AI Agent
说真的,”AI Agent本地部署”这六个字看着挺唬人的。我第一次看到的时候心里也犯怵——是不是要买服务器?是不是要懂Linux?是不是得写代码?
答案是:全都不用。2026年了,本地部署AI Agent已经简单到跟装个微信差不多。今天这篇文章,我保证你看完就能在自己的电脑上跑一个真正能用的Agent。
你需要准备的东西
- 一台电脑(Windows/Mac都行,8GB内存以上)
- 一个能用的网络(后面要下载一些东西)
- 大约30分钟时间
- 对命令行有一点点耐心(真的只要一点点)
方案一:Ollama + Open WebUI(最推荐新手)
Ollama 是本地运行大模型的工具,Open WebUI 是给它套一个好看的网页界面。组合起来,你就拥有了一个”本地版ChatGPT + Agent能力”。
第一步:安装Ollama
# Windows用户直接去官网下载安装包:# https://ollama.com/download# Mac用户用Homebrew:brew install ollama# 启动Ollama服务ollama serve
第二步:下载模型
# 推荐新手先装Qwen2.5(阿里出品,中文能力强)ollama pull qwen2.5:7b# 如果电脑配置一般,可以装更小的:ollama pull qwen2.5:3b
7B模型大概需要4-5GB内存。如果你的电脑只有8GB,装3B版本更稳。
第三步:安装Open WebUI
# 需要安装Docker Desktop(官网下载安装即可)# 然后一行命令搞定:docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway \\\\\\\\ -v open-webui:/app/backend/data \\\\\\\\ --name open-webui --restart always \\\\\\\\ ghcr.io/open-webui/open-webui:main
打开浏览器访问 http://localhost:3000,你就有了一个本地版ChatGPT了!
第四步:开启Agent能力
Open WebUI 自带了工具调用功能。在设置里配置好Function Calling,你的Agent就能:
- 搜索网络信息
- 读写本地文件
- 执行Python代码
- 调用其他API
方案二:Dify本地部署(适合想要更多Agent功能的)
如果你不满足于对话,还想要知识库、工作流、API集成这些高级功能,Dify是更好的选择。
# 前提:已安装Docker Desktop# 下载Dify Docker Compose文件git clone https://github.com/langgenius/dify.gitcd dify/docker# 一键启动docker compose up -d# 访问 http://localhost:install 完成初始化设置
Dify的界面比Open WebUI更”企业级”——你可以拖拽编排Agent工作流,上传文档建知识库,配置各种工具调用。
方案三:Pinchflow(纯国产,零代码)
如果你连Docker也不想装,可以试试 Pinchflow。国产工具,Windows下双击安装,内置了模型下载和管理,界面全中文,Agent工作流可视化编排。适合完全不想碰命令行的用户。免费版够个人使用。
三个方案怎么选?
| 需求 | 推荐方案 | 难度 |
|---|---|---|
| 只想体验本地对话AI | Ollama + Open WebUI | ⭐ |
| 需要完整Agent功能(知识库+工作流) | Dify | ⭐⭐ |
| 完全不想碰命令行 | Pinchflow | ⭐ |
| 电脑配置较低(8GB以下) | Ollama + 3B模型 | ⭐ |
常见问题
Q: 本地模型效果怎么样?能和GPT-4比吗?
说实话,7B的本地模型跟GPT-4还有不小差距。但对于日常使用——写文案、回答问题、简单编程——完全够用了。而且数据不出本地,隐私性拉满。
Q: 显卡是必须的吗?
不是。没有显卡也能跑,只是慢一点。有NVIDIA显卡的话速度会快很多。实在不行,用CPU模式也能凑合。
Q: 可以联网搜索吗?
可以。Open WebUI 和 Dify 都支持配置搜索引擎插件,让Agent能获取实时信息。