想在自己电脑里放一个「能读文档的私人聊天助手」,又不想把笔记传到云端?AnythingLLM 就是这类开源的本地 AI 工作区。用 Docker 在本机拉起来,接上已经在跑的 Ollama,就可以建工作区、用中文聊天;再上传一份自己写的资料,提问时能按文档内容回答,并尽量带来源引用。
本篇主线只用本地小模型,不填任何云端 API Key。本帖免费,下载区是钉死版本的源码包和中文部署说明。协议是 MIT,请保留包里的 LICENSE,以及字体目录里 Plus Jakarta Sans 的官方 OFL 文本。仅供学习。上传的资料必须是自己有权使用的文本;AI 生成的回答若要拿去答辩或公开发布,内容要自己核对,不要直接当原创课件。
先说清楚范围:对话和文档问答可以在本机完成,不需要云端 Key。但安装 Docker、拉取镜像和下载模型时,仍然需要正常下载,不能写成「整套安装都零联网」。
这篇不是短视频生成,不是多智能体写代码,也不是后台知识库或笔记本问答的另一套外壳。它做的是:在本机用小模型建一个私人工作区,并对你自己的文档提问。
先看几个词
工作区:一个独立的对话和资料空间。文档是按工作区放进去的,不是整站混在一起问。本机建的工作区名叫「远影本地文档实验」。
嵌入:把文本变成一组数字,方便按意思检索。它不是「把文件存进模型里」,而是先找出相关段落,再交给对话模型回答。
Ollama:在本机运行开源小模型的工具。本篇对话模型用 qwen2.5:3b,后来文档嵌入改用 nomic-embed-text:latest。体积不大,能在 CPU 上跑,文笔一般,但够做验收。
Chat 和 Agent:Chat 是普通对话;Agent 会尝试调用工具。本机默认走 Agent 时,早期出现过一次 fetch failed。后来改用 Chat 模式才完成文档问答。请先用本地 Chat,不要把这次 Agent 报错当成已经跑通。
回环地址 127.0.0.1:只有这台电脑自己能打开。本篇端口只绑本机,没有加 SYS_ADMIN,也没有把服务暴露到局域网。
4 步上手
- 准备环境和模型:安装 Docker 和本机 Ollama,执行
ollama pull qwen2.5:3b。建议再准备ollama pull nomic-embed-text。这一步需要下载。 - 准备存储目录并启动:按包里的
DEPLOY.txt,用官方镜像mintplexlabs/anythingllm:1.20.0(不要跟 latest),端口只绑127.0.0.1:3001。容器里访问 Ollama 要写http://host.docker.internal:11434,Linux 还要加 host-gateway。启动命令不加 SYS_ADMIN,也不 privileged。关掉匿名遥测。本机是无认证单用户,只适用于回环访问,并不是已经创建了管理员。 - 先改设置,再用 Chat:打开
http://127.0.0.1:3001。LLM 提供商选 Ollama,模型选qwen2.5:3b,密钥留空。嵌入可以先试默认的 native;本机用它做文档检索没有成功,这里不能断定就是下载失败。后来改成 Ollama 的nomic-embed-text:latest,地址同样是 host.docker.internal:11434,不要填云端嵌入 Key。对话请先选 Chat,不要一上来就走 Agent。 - 上传自己写的短文本再提问:建一个工作区,上传一份你有权使用的短文本,等嵌入完成。换一个新会话提问,问题里不要把答案写进去。能答对原文里的独有细节,并尽量看到来源引用,才算通过。3B 小模型仍可能补充原文没有的细节,下面会按实拍说明。
本机实跑(按实际操作看)
详细命令见包里的 DEPLOY.txt。下面这些图都是本机实拍,地址栏是 127.0.0.1:3001。界面语言切换成简体中文这一点本篇没有证实,截图里的菜单和按钮仍是英文,不要写成「界面已经全中文」。

http://127.0.0.1:3001 后,左侧工作区是「远影本地文档实验」,顶部能看到模型名 qwen2.5:3b。地址栏是本机回环,没有登录框。中间仍是英文提示 What’s on your mind,这只说明当前界面不是全中文,不代表对话不能用中文。
http://127.0.0.1:3001/settings/llm-preference。LLM Provider 是 Ollama,模型是 qwen2.5:3b,Ollama Base URL 是 http://host.docker.internal:11434,上下文 4096。Authentication Token 是空的,没有填任何云端 Key。左下角版本是 v1.20.0。
http://127.0.0.1:3001/settings/embedding-preference。这是改过之后的嵌入设置。Embedding Provider 是 Ollama,模型是 nomic-embed-text:latest,地址同样是 http://host.docker.internal:11434,Auth Token 为空。默认的 native(all-MiniLM)在本机做文档检索时没有成功,不能据此断定就是网络下载失败;改用这个 Ollama 嵌入后,才进入后面的文档问答。

qinglan-notes.txt。这是改用 Ollama 嵌入后重新放入工作区的文件,不是官网示例文档。左侧上传区仍是英文界面。网页抓取框不要当成已经测过联网采集。
QL-2026-7719、YB-灯塔-08 和「银杏栈桥-紫萤-4821」。右侧 Sources 面板显示 qinglan-notes.txt,并标明 Document、reference。这句短语只是虚构的验收标记,不是密码,也不要把它写进自己的配置。同一段回答还写了「发布时间是 2026 年 11 月 18 日,上午 5 点 42 分 11 秒」。原文只有「2026 年 11 月 18 日的本机验收」,没有这个时刻。这条时间未经核实,不能采信。这次问答证明模型读到了文档里的独有细节,并给出了来源,但不能写成「完全准确」或「没有幻觉」。本机实际遇到的坑
- 容器里写 localhost 会连到容器自己,必须用
host.docker.internal,Linux 还要加 host-gateway。Ollama 只监听127.0.0.1:11434时,还需要在 docker 网桥地址(本机是 172.17.0.1:11434)向回环做一条本地转发,不要因此把 Ollama 改成 0.0.0.0。 - 不要用 host 网络图省事:程序按端口监听,在 host 网络下可能绑到全部网卡,和「只允许本机访问」冲突。
- 官方启动示例里的 SYS_ADMIN,本篇主线没有加。
- 存储目录必须让 uid 1000 可写,不要 chmod 777。运行后的数据库、签名密钥和上传文档不要打进源码包。
- 默认 native 嵌入在本机文档检索中没有成功;改用 Ollama 的
nomic-embed-text:latest并重新嵌入后,才问对了独有细节。不要把默认嵌入写成已经跑通,也不要在没证据时写成「一定是被网络拦住了」。 - 请先用 Chat 模式。默认 Agent 模式早期出现过 fetch failed,那不是本篇的成功证据,本篇也没有测联网搜索或 MCP。
- 3B 小模型质量一般。即使来源引用是对的,仍可能补上原文没有的细节,比如上面那条未经验证的发布时间。文档问答以「能引用并答对自写文本里的独有细节」为准,不要把效果写成商用助手。
没有在本篇验收的功能
智能体上网、MCP、定时任务、模型路由、多用户权限、语音转写、内置 LLM 引擎、白标主题、网站嵌入组件、官方桌面版、云托管或企业版,以及把界面切换成简体中文,都不是本篇必过项。不要把它们写成这份开源包已经跑通的能力。














暂无评论内容