工具部署|AnythingLLM 开源本地 AI 工作区|Docker · 本地 Ollama 就能和文档聊天

想在自己电脑里放一个「能读文档的私人聊天助手」,又不想把笔记传到云端?AnythingLLM 就是这类开源的本地 AI 工作区。用 Docker 在本机拉起来,接上已经在跑的 Ollama,就可以建工作区、用中文聊天;再上传一份自己写的资料,提问时能按文档内容回答,并尽量带来源引用。

本篇主线只用本地小模型,不填任何云端 API Key。本帖免费,下载区是钉死版本的源码包和中文部署说明。协议是 MIT,请保留包里的 LICENSE,以及字体目录里 Plus Jakarta Sans 的官方 OFL 文本。仅供学习。上传的资料必须是自己有权使用的文本;AI 生成的回答若要拿去答辩或公开发布,内容要自己核对,不要直接当原创课件。

先说清楚范围:对话和文档问答可以在本机完成,不需要云端 Key。但安装 Docker、拉取镜像和下载模型时,仍然需要正常下载,不能写成「整套安装都零联网」。

这篇不是短视频生成,不是多智能体写代码,也不是后台知识库或笔记本问答的另一套外壳。它做的是:在本机用小模型建一个私人工作区,并对你自己的文档提问。

先看几个词

工作区:一个独立的对话和资料空间。文档是按工作区放进去的,不是整站混在一起问。本机建的工作区名叫「远影本地文档实验」。

嵌入:把文本变成一组数字,方便按意思检索。它不是「把文件存进模型里」,而是先找出相关段落,再交给对话模型回答。

Ollama:在本机运行开源小模型的工具。本篇对话模型用 qwen2.5:3b,后来文档嵌入改用 nomic-embed-text:latest。体积不大,能在 CPU 上跑,文笔一般,但够做验收。

Chat 和 Agent:Chat 是普通对话;Agent 会尝试调用工具。本机默认走 Agent 时,早期出现过一次 fetch failed。后来改用 Chat 模式才完成文档问答。请先用本地 Chat,不要把这次 Agent 报错当成已经跑通。

回环地址 127.0.0.1:只有这台电脑自己能打开。本篇端口只绑本机,没有加 SYS_ADMIN,也没有把服务暴露到局域网。

4 步上手

  1. 准备环境和模型:安装 Docker 和本机 Ollama,执行 ollama pull qwen2.5:3b。建议再准备 ollama pull nomic-embed-text。这一步需要下载。
  2. 准备存储目录并启动:按包里的 DEPLOY.txt,用官方镜像 mintplexlabs/anythingllm:1.20.0(不要跟 latest),端口只绑 127.0.0.1:3001。容器里访问 Ollama 要写 http://host.docker.internal:11434,Linux 还要加 host-gateway。启动命令不加 SYS_ADMIN,也不 privileged。关掉匿名遥测。本机是无认证单用户,只适用于回环访问,并不是已经创建了管理员。
  3. 先改设置,再用 Chat:打开 http://127.0.0.1:3001。LLM 提供商选 Ollama,模型选 qwen2.5:3b,密钥留空。嵌入可以先试默认的 native;本机用它做文档检索没有成功,这里不能断定就是下载失败。后来改成 Ollama 的 nomic-embed-text:latest,地址同样是 host.docker.internal:11434,不要填云端嵌入 Key。对话请先选 Chat,不要一上来就走 Agent。
  4. 上传自己写的短文本再提问:建一个工作区,上传一份你有权使用的短文本,等嵌入完成。换一个新会话提问,问题里不要把答案写进去。能答对原文里的独有细节,并尽量看到来源引用,才算通过。3B 小模型仍可能补充原文没有的细节,下面会按实拍说明。

本机实跑(按实际操作看)

详细命令见包里的 DEPLOY.txt。下面这些图都是本机实拍,地址栏是 127.0.0.1:3001。界面语言切换成简体中文这一点本篇没有证实,截图里的菜单和按钮仍是英文,不要写成「界面已经全中文」。

本机工作区远影本地文档实验,地址栏是 127.0.0.1:3001
看这里:打开 http://127.0.0.1:3001 后,左侧工作区是「远影本地文档实验」,顶部能看到模型名 qwen2.5:3b。地址栏是本机回环,没有登录框。中间仍是英文提示 What’s on your mind,这只说明当前界面不是全中文,不代表对话不能用中文。
设置页:LLM 提供商 Ollama,模型 qwen2.5:3b,地址 host.docker.internal:11434,密钥为空
看这里:打开 http://127.0.0.1:3001/settings/llm-preference。LLM Provider 是 Ollama,模型是 qwen2.5:3b,Ollama Base URL 是 http://host.docker.internal:11434,上下文 4096。Authentication Token 是空的,没有填任何云端 Key。左下角版本是 v1.20.0。
嵌入设置改为 Ollama,模型 nomic-embed-text:latest,密钥为空
看这里:打开 http://127.0.0.1:3001/settings/embedding-preference。这是改过之后的嵌入设置。Embedding Provider 是 Ollama,模型是 nomic-embed-text:latest,地址同样是 http://host.docker.internal:11434,Auth Token 为空。默认的 native(all-MiniLM)在本机做文档检索时没有成功,不能据此断定就是网络下载失败;改用这个 Ollama 嵌入后,才进入后面的文档问答。
工作区里用简体中文普通问答,模型 qwen2.5:3b
看这里:在工作区里用 Chat 模式发了一句「你好,请用简体中文一句话介绍你可以如何帮助我整理本地文档。」模型回答「我可以帮助你搜索或总结本地文档中的信息。」这是普通中文问答已经通了,还没有问那份自写文档里的独有细节。默认 Agent 模式早期的 fetch failed 不在这张图里,也不把它当成成功。
工作区文档列表里已有自写的 qinglan-notes.txt
看这里:在工作区里打开 Documents。右侧「远影本地文档实验」下已经有本机自写的 qinglan-notes.txt。这是改用 Ollama 嵌入后重新放入工作区的文件,不是官网示例文档。左侧上传区仍是英文界面。网页抓取框不要当成已经测过联网采集。
新会话问出课题代号、设备编号和验收短语,右侧来源是 qinglan-notes.txt
看这里:换了一个新会话,问题只问「根据上传的青岚课设笔记,课题代号、设备编号和那句验收短语分别是什么?请注明来源。」没有把答案写进问题。模型在约 8.1 秒后答对了 QL-2026-7719、YB-灯塔-08 和「银杏栈桥-紫萤-4821」。右侧 Sources 面板显示 qinglan-notes.txt,并标明 Document、reference。这句短语只是虚构的验收标记,不是密码,也不要把它写进自己的配置。同一段回答还写了「发布时间是 2026 年 11 月 18 日,上午 5 点 42 分 11 秒」。原文只有「2026 年 11 月 18 日的本机验收」,没有这个时刻。这条时间未经核实,不能采信。这次问答证明模型读到了文档里的独有细节,并给出了来源,但不能写成「完全准确」或「没有幻觉」。

本机实际遇到的坑

  • 容器里写 localhost 会连到容器自己,必须用 host.docker.internal,Linux 还要加 host-gateway。Ollama 只监听 127.0.0.1:11434 时,还需要在 docker 网桥地址(本机是 172.17.0.1:11434)向回环做一条本地转发,不要因此把 Ollama 改成 0.0.0.0。
  • 不要用 host 网络图省事:程序按端口监听,在 host 网络下可能绑到全部网卡,和「只允许本机访问」冲突。
  • 官方启动示例里的 SYS_ADMIN,本篇主线没有加。
  • 存储目录必须让 uid 1000 可写,不要 chmod 777。运行后的数据库、签名密钥和上传文档不要打进源码包。
  • 默认 native 嵌入在本机文档检索中没有成功;改用 Ollama 的 nomic-embed-text:latest 并重新嵌入后,才问对了独有细节。不要把默认嵌入写成已经跑通,也不要在没证据时写成「一定是被网络拦住了」。
  • 请先用 Chat 模式。默认 Agent 模式早期出现过 fetch failed,那不是本篇的成功证据,本篇也没有测联网搜索或 MCP。
  • 3B 小模型质量一般。即使来源引用是对的,仍可能补上原文没有的细节,比如上面那条未经验证的发布时间。文档问答以「能引用并答对自写文本里的独有细节」为准,不要把效果写成商用助手。

没有在本篇验收的功能

智能体上网、MCP、定时任务、模型路由、多用户权限、语音转写、内置 LLM 引擎、白标主题、网站嵌入组件、官方桌面版、云托管或企业版,以及把界面切换成简体中文,都不是本篇必过项。不要把它们写成这份开源包已经跑通的能力。

© 版权声明
THE END
喜欢就支持一下吧
点赞7 分享
评论 抢沙发

请登录后发表评论

    暂无评论内容