跳转到主内容

使用本地 AI 模型聊天

为什么使用本地 AI 模型？​

Ollama 在本地运行模型。登录和聊天存储使用云端并需要互联网。不会自动切换到云端模型。

以上适用于普通模式。在离线模式下，一切都留在这台电脑上：应用无需网络也能使用，新的聊天只在本地加密保存。

为什么选择 Ollama？​

Ollama 是一个工具，可以让你在本地轻松运行 AI 模型。它在每台计算机上单独安装，因此没有关于用户数量的限制——无需共享服务器。

安装 Ollama​

  1. 打开 Ollama 下载页
  2. 下载与你的操作系统相符的版本（Windows、macOS 或 Linux）
  3. 按照安装程序的指引安装 Ollama
  4. 安装完成后，Ollama 将自动在后台运行

安装语言模型​

在安装 Ollama 之后，至少需要下载一个语言模型：

  1. 打开 Ollama 界面（通过系统托盘图标或终端）
  2. 下载一个你选择的语言模型

推荐模型​

优先选择具有 工具能力 和 视觉能力 的模型：

  • Tool capabilities - 模型可以使用应用中提供的所有工具，例如上网搜索和生成图片
  • Vision capabilities - 模型可以分析并描述图片
推荐模型

qwen3-vl:4b-instruct 在速度与工具/视觉功能之间提供了良好平衡。通过终端安装此模型：

ollama pull qwen3-vl:4b-instruct

请选择 -instruct 版本：它会立即回答。普通的 qwen3-vl:4b 在每一步之前都会长时间思考，在笔记本电脑上要慢很多倍。对于小型本地模型，应用只使用简短的指令和与你的问题相关的工具。如果同一步骤反复失败，AI 会停下来，并告诉你哪些成功了、哪些没有成功。

根据硬件选择模型​

模型的性能在很大程度上取决于你计算机的硬件：

硬件建议
有限 (8GB RAM，无 GPU)选择较小的模型（1-4B 参数）
中等 (16GB RAM，基础 GPU)模型到 7B 参数
强大 (32GB+ RAM，现代 GPU)可以使用更大的模型（13B+）
速度 vs. 质量

通常较小的模型在速度方面表现更好，但可能提供较不精确的答案。请尝试以找到适合你情况的最佳平衡。

桌面应用中的配置​

一旦 Ollama 运行并加载了模型，桌面应用会自动检测到。你可以在聊天中将本地模型作为云模型的替代来选择。

开始页面的输入框下方会显示模型选择器，你可以在发送第一条消息前选择本地模型。所选模型从第一条消息起生效，之后仍可更改。

可用的具备 tool/vision 支持的模型​

查看完整列表请前往 ollama.com/library。按以下标签过滤模型：

  • Tools 标签表示具备工具能力
  • Vision 标签表示具备图像识别能力

常用选项：

  • qwen3-vl:4b-instruct - 紧凑、快速、具备 tool + vision
  • llama3.2-vision - 具备视觉能力
  • mistral - 适合快速完成常规任务

在本地读取文档和扫描件​

使用本地模型时，桌面应用会在你自己的电脑上读取文档，不会上传任何内容。

  • 工作文件夹：在已批准的文件夹中，AI 可以读取 Word、PowerPoint、Excel、PDF、OpenDocument（ODT、ODP、ODS）和 RTF。旧的 .doc 和 .ppt 文件只有在安装了 LibreOffice 时才会被读取。
  • 扫描件和照片：扫描的 PDF 页面、图片（PNG、JPG、WebP、TIFF）以及 Word 和 PowerPoint 文件中的图片会通过文字识别（OCR）读取。OCR 随应用提供，可识别荷兰语、英语、德语和法语。聊天中会显示正在读取哪一页；较长的扫描件可能需要几分钟。每个文档最多用 OCR 读取 100 页。
  • 识别不确定：文字识别不确定时，AI 会说明。请在原件中核对姓名、数字和金额。手写内容、表格和示意图并不总能被正确识别。
  • 视觉模型：如果所选模型支持视觉（例如 qwen3-vl:4b-instruct），模型会亲自查看文字识别读取较少或不确定的图片。没有 GPU 时会更慢。
  • iPhone 照片（HEIC）：请先另存为 JPEG 或 PNG。

使用云端模型时，应用同样在你的电脑上读取工作文件夹中的文档，但读取到的文字会作为对话的一部分发送给该模型。

在没有网络的情况下工作（包括聊天中的附件）：请参阅离线模式。

本页