零代码本地部署Gemini 3.1 Flash：Ollama+Open WebUI实战指南

1. 为什么要在本地跑一个 Flash 级模型

先把结论摆在前面：如果你手头有一台内存 16GB 以上的普通笔记本，或者一台带独显的台式机，那么用 Ollama 加 Open WebUI 把 Gemini 3.1 Flash 这类轻量模型跑起来，是一件当天就能搞定的事。整个过程不需要写一行代码，不需要配 Python 环境，更不需要理解什么量化、蒸馏、注意力机制。你要做的只是装两个软件、拉一个模型、打开浏览器。

我之所以推荐从 Flash 级别的模型入手，而不是一上来就折腾几百亿参数的大块头，原因很实在。第一，Flash 这类模型对硬件的要求低得多，8GB 显存甚至纯 CPU 加 16GB 内存就能跑出可用的速度；第二，它的响应快，日常用来做文本润色、代码补全、资料摘要、翻译这些活儿完全够用；第三，部署门槛低意味着你可以把精力放在"怎么用好它"上，而不是耗在"怎么让它跑起来"上。

很多人对本地部署有个误解，觉得这是运维或者算法工程师才碰的东西。其实不是。Ollama 这个工具把模型下载、加载、推理服务全部打包成了一条命令，Open WebUI 则给它套了一个几乎和主流在线对话产品一样的网页界面。你装完之后的使用体验，和打开一个网页版对话工具没有本质区别，区别只在于：数据不出你的电脑，断网也能用，而且不花一分钱 token 费。

这篇文章面向的是完全没有本地部署经验的人。我会把每一步为什么这么做讲清楚，把容易卡住的地方提前标出来，尤其是模型下载慢、安装路径选择、显存不够怎么办这几个高频问题。你照着走一遍，基本能一次跑通。

2. 装之前先想清楚：硬件底线与系统选择

2.1 你的机器到底能不能跑

在动手之前，先花两分钟确认硬件，这能帮你省掉后面一堆麻烦。Flash 级模型的参数量通常在 7B 到 9B 之间，经过量化压缩后，模型文件大概在 4GB 到 6GB。运行时还需要额外的内存来存放上下文和计算中间结果。

这里有个关键点：显存不够时，Ollama 会自动把一部分计算放到 CPU 和内存上，这叫"分层卸载"。所以哪怕你只有 4GB 显存，也能跑，只是速度会降下来。真正卡死的情况是内存也不够，那就会直接报错退出。

提示：判断能不能跑，看的是"显存 + 内存"的总和，而不是单看显存。一个 8GB 显存加 16GB 内存的机器，跑 7B 量化模型是绰绰有余的。

2.2 Windows、Mac、Linux 怎么选

三个系统都能装，但体验有差异。Mac 用户最省心，Apple 芯片的统一内存让模型加载特别顺，装完基本不用调任何参数。Linux 用户次之，命令行操作最直接，适合有一定基础的人。Windows 用户稍微多一步，因为 Ollama 默认装在 C 盘，而模型文件动辄好几个 G，C 盘空间紧张的话需要提前改路径。

如果你用的是 Windows 且 C 盘快满了，我强烈建议在安装前就把模型存储路径改到 D 盘或其他大盘。这个操作在安装后也能做，但需要手动迁移已有模型，比较麻烦。具体方法后面会讲。

另外提一句 WSL2。有些人在 Windows 上通过 WSL2 装 Ollama，这条路可行，但会多一层文件系统开销，模型加载速度可能比原生 Windows 版慢一些。除非你有其他必须在 Linux 环境跑的需求，否则直接用 Windows 原生版就行。

3. Ollama 安装：路径、镜像与验证

3.1 安装包获取与安装位置

Ollama 的安装非常直接。去官网下载对应系统的安装包，Windows 是 exe，Mac 是 dmg，Linux 是一条安装脚本。双击、下一步、完成，就装好了。

但这里有个 Windows 用户必须注意的点：默认安装会把程序放在 C 盘用户目录下，模型文件也会存在那里。一个模型 5GB，你装三四个就 20GB 没了。所以如果你 C 盘空间不宽裕，安装前先做一件事——设置环境变量，把模型目录指到别处。

具体操作是：在系统环境变量里新建一个变量，名字叫OLLAMA_MODELS，值填你想存放模型的路径，比如D:\ollama-models。然后再安装 Ollama。这样它下载的模型就会直接进 D 盘。

如果你已经装完了才想起来改，也不用手忙脚乱。先把原来的模型文件夹整个剪切到新位置，再设置环境变量，重启 Ollama 服务即可。原来的默认路径在 Windows 上是C:\Users\你的用户名\.ollama\models。

3.2 下载慢怎么办：镜像源的实际用法

模型下载慢是本地部署里最劝退的一环。Ollama 默认从官方源拉取模型，国内网络环境下经常龟速甚至中断。解决办法是配置镜像源。

Ollama 支持通过环境变量指定镜像地址。在系统环境变量里加一个OLLAMA_HOST用于服务地址，而模型拉取的镜像通常通过配置 registry 来实现。实际操作中，更常见的做法是使用国内可访问的模型仓库地址，把拉取命令里的模型名前缀替换掉。

举个实际例子，原本拉取命令是：

ollama pull gemini-3.1-flash

如果配置了镜像，命令形式基本不变，但底层会走镜像地址。配置方式是在环境变量里设置对应的 registry 地址，具体地址会随镜像服务商变化，建议以你使用的镜像服务文档为准。

注意：镜像源不是万能的，热门模型在镜像上也可能拥堵。如果某个镜像拉取失败，换一个再试，或者错峰下载。深夜时段通常比白天快不少。

还有一个技巧：Ollama 支持断点续传。如果下载到一半断了，重新执行 pull 命令会从断点继续，不用从头再来。所以遇到中断别慌，重跑就行。

3.3 怎么确认装成功了

装完之后，打开终端或命令行，输入：

ollama --version

能打印出版本号，说明程序装好了。再输入：

ollama list

如果返回一个空列表或者已有模型列表，说明服务正常。第一次装完列表是空的，这是正常的，因为你还没拉模型。

如果提示命令找不到，Windows 用户检查一下是不是没重启终端，环境变量需要新开的终端才能生效。Mac 和 Linux 用户检查安装脚本是否执行完整。

4. 拉取 Gemini 3.1 Flash 与首次对话测试

4.1 模型名称与拉取命令

模型拉取就一条命令的事。在终端里执行：

ollama pull gemini-3.1-flash

然后就是等待。进度条会显示下载百分比和速度。前面说的镜像配置在这里就体现价值了，配好了速度能差好几倍。

拉取完成后，用ollama list确认模型已经在列表里。你会看到模型名、大小、修改时间这几列。

4.2 命令行里先聊两句

在装网页界面之前，建议先在命令行里测一下模型能不能正常出结果：

ollama run gemini-3.1-flash

回车后会进入交互模式，出现一个提示符，你直接输入问题就行。比如输入"用三句话解释什么是量化"，看它能不能正常回复。

这一步的意义在于隔离问题。如果命令行能正常对话，说明模型和服务都没问题，后面网页界面出问题就是界面的事；如果命令行就不行，那问题在模型或 Ollama 本身，先解决这个再往下走。

退出交互模式按Ctrl+D或者输入/bye。

4.3 首次运行的加载延迟是正常的

第一次运行某个模型时，Ollama 需要把模型从磁盘加载到内存，这个过程可能要十几秒甚至更久，取决于你的硬盘速度。固态硬盘会快很多，机械硬盘就慢。加载完成后，后续对话就快了，因为模型常驻内存。

如果你发现每次对话都要等很久加载，可能是内存不够，模型被反复换入换出。这时候要么加内存，要么换更小的模型。

5. Open WebUI：给模型套一个顺手的界面

5.1 为什么不用命令行而要用网页界面

命令行能用，但不好用。没有历史记录管理，不能方便地复制长文本，没法调参数，多轮对话体验也一般。Open WebUI 解决的就是这个问题，它提供一个浏览器界面，功能上接近主流在线对话产品：会话列表、多轮上下文、模型切换、参数调节、提示词预设，该有的都有。

更重要的是，Open WebUI 是本地运行的，它连接的是你本机的 Ollama 服务，所有对话数据存在你自己的机器上。

5.2 Docker 方式安装：最省事的路径

Open WebUI 最推荐的安装方式是 Docker。如果你还没装 Docker，先去装一个 Docker Desktop，Windows 和 Mac 都有图形化安装包，一路下一步即可。

装好 Docker 后，确保 Docker 服务在运行，然后在终端执行：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

这条命令做了几件事：把容器的 8080 端口映射到本机的 3000 端口；添加了一个主机名解析，让容器能访问到宿主机的 Ollama 服务；挂载了一个数据卷，保证你的对话记录在容器重启后不丢失；设置了自动重启，开机后自动拉起。

执行完后，打开浏览器访问http://localhost:3000，就能看到 Open WebUI 的界面了。

注意：如果你用的是 Linux，host.docker.internal这个主机名可能不生效，需要改成宿主机的实际 IP，或者在启动命令里加--network=host。这是 Linux 用户最容易卡住的地方。

5.3 不用 Docker 的备选方案

如果你实在不想装 Docker，Open WebUI 也支持用 Python 的 pip 直接安装。前提是你机器上有 Python 3.11 左右的环境。命令大致是：

pip install open-webui open-webui serve

这种方式省去了 Docker 层，但依赖管理可能麻烦一些，尤其是 Windows 上某些依赖包编译容易出错。所以除非你有明确理由不用 Docker，否则还是推荐 Docker 方式。

5.4 首次进入的账号设置

第一次访问 Open WebUI，它会让你注册一个管理员账号。这个账号是存在本地的，随便填邮箱和密码就行，不需要真实邮箱，也不联网验证。注册完登录进去，如果一切正常，左上角的模型选择里应该能看到你刚才拉的 Gemini 3.1 Flash。

如果看不到模型，八成是 Open WebUI 没连上 Ollama。检查一下 Ollama 服务是否在运行，以及连接地址配置对不对。在 Open WebUI 的设置里，连接地址默认是http://host.docker.internal:11434，11434 是 Ollama 的默认端口。

6. 跑起来之后：参数调节与性能优化

6.1 几个真正影响体验的参数

Open WebUI 的模型设置里有几个参数值得调，它们直接决定输出质量和速度。

温度（temperature）控制输出的随机性。做事实问答、代码生成时调低到 0.2 左右，输出更稳定；做创意写作时调到 0.8 以上，更有发散性。默认值通常在 0.7 左右，属于折中。

上下文长度（context length）决定模型能记住多少前文。调大能处理更长的对话和文档，但会吃更多内存。如果你发现长对话后变慢或者报错，就是这个值设太大了。Flash 级模型一般设 4096 到 8192 比较稳妥。

最大输出长度（max tokens）限制单次回复的长度。设太小会导致回复被截断，设太大在内存紧张时可能出问题。日常用 1024 到 2048 够用。

6.2 显存不够时的分层策略

前面提过分层卸载。Ollama 有个参数可以控制有多少层放到 GPU 上跑，剩下的放 CPU。这个参数叫num_gpu。默认情况下 Ollama 会自动判断，但自动判断不一定最优。

如果你有 6GB 显存跑 7B 模型，可以手动指定把大部分层放 GPU，留几层给 CPU，这样速度比全放 CPU 快很多，又不会爆显存。具体设多少需要试，一般从总层数的 70% 开始调。查看模型层数可以用ollama show gemini-3.1-flash看模型信息。

6.3 让模型常驻内存

默认情况下，Ollama 在一段时间不用模型后会把它从内存卸载，下次用再重新加载。这个"一段时间"默认是 5 分钟。如果你频繁使用，反复加载很浪费时间。可以设置OLLAMA_KEEP_ALIVE环境变量，把它设成-1表示永不卸载，或者设成一个较大的秒数。

代价是内存会被一直占用。如果你机器内存充裕，设成常驻体验最好；如果内存紧张，就保持默认或者设短一点。

7. 踩坑实录：那些让人卡住的瞬间

7.1 模型拉取报错 max retries exceeded

这个报错几乎每个国内用户都会遇到，本质是网络连不上模型仓库。前面说的镜像配置就是解决它的。如果配了镜像还报这个错，检查三件事：镜像地址是否写对、环境变量是否生效（要重启终端）、镜像服务本身是否可用。

有时候是特定模型在镜像上不存在，换个模型试试能确认是不是这个原因。

7.2 Docker 里连不上 Ollama

这是第二高频的坑。表现是 Open WebUI 界面正常，但一发消息就报连接错误。根因是容器网络和宿主机网络是隔离的，容器里的localhost指的是容器自己，不是你的电脑。

Windows 和 Mac 上用host.docker.internal能解决，Linux 上要么用宿主机 IP，要么用 host 网络模式。另外确认 Ollama 监听的地址允许外部访问，默认它只监听127.0.0.1，容器访问不到。需要设置OLLAMA_HOST=0.0.0.0让它监听所有网卡。

7.3 回复到一半卡住或截断

通常是上下文长度或最大输出长度设小了。也可能是内存不足导致计算中断。先调大 max tokens 试试，如果还不行，检查系统内存占用，关掉一些其他吃内存的程序。

还有一种情况是模型本身对某些输入处理异常，换个问法可能就正常了。这不是你的配置问题，是模型能力边界。

7.4 端口被占用

3000 端口是很多开发工具的默认端口，如果被占用，Docker 启动会失败。解决办法是把映射端口改掉，比如把命令里的-p 3000:8080改成-p 3001:8080，然后访问 3001 端口。

8. 日常使用中的几个实用习惯

用顺了之后，有几个习惯能明显提升效率。第一，把常用的提示词存成预设，Open WebUI 支持保存提示词模板，下次直接调用，不用重复打字。第二，善用会话分组，把不同项目的对话分开管理，找起来方便。第三，定期清理不用的模型，ollama rm 模型名就能删，释放磁盘空间。

还有一点，本地模型的能力和在线大模型有差距，别指望它什么都能干。把它定位成一个随时可用、数据私密的助手，处理那些不需要顶级能力的日常任务，这样预期就对了。真遇到难题，再考虑用更强的模型，本地这个作为快速响应的补充。

我自己用下来，这套组合最大的价值是"随手可用"。不用等网页加载，不用担心对话内容被记录，断网了照样能问。对于经常需要查资料、改文案、写点小脚本的人来说，这个便利性是实打实的。