news 2026/4/28 18:51:21

Ollama离线安装与配置

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
Ollama离线安装与配置

1. 下载并将Ollama离线安装到系统路径

[2025年12月11日] 我已经下载的安装包,通过百度网盘分享给大家(版本v0.13.2):

  • ollama-linux-amd64.tgz,提取码: jtid
  • ollama-windows-amd64.zip,提取码: 7pnw
  • ollama-linux-arm64.tgz,提取码: hgj2

Ollama的官方下载地址是:Releases · ollama/ollama
该文件实际大小可能在1~3GB之间,下载操作中可能极其慢(下载前期可能会快一点,后期,速度就会越来越慢,最终降低到10-20kb/s,预计用时可能4小时至10多个小时以上)。
尝试过多种下载加速等方法,都没有成功。最终找到的一种可能的方案是:官网上复制所需相应架构和版本的Ollama下载地址,使用迅雷(会员)下载,我试过这种操作下载一个版本时间大约18分钟。

我们以Linux系统(ubuntu)为例,假设已经下载Ollama安装包(ollama-linux-amd64.tgz),采用离线的方式进行安装。
建议优先将Ollama安装到系统可执行路径,以方便所有用户使用,离线(手动)安装Ollama的方式具体操作如下:

//解压到目录即安装完成sudotar-C /usr -xzvf ollama-linux-amd64.tgz //运行测试 ollama serve //ollama应该作为服务启动

sudo tar -C /usr -xzvf ollama-linux-amd64.tgz这个命令使用tar工具将ollama-linux-amd64.tgz档案文件解压到/usr目录下(-C /usr指定了目标目录)。Ollama的Linux AMD64版本手动安装包ollama-linux-amd64.tgz解压后会创建或覆盖以下结构(基于Ollama的标准打包方式):

  • 主要可执行文件/usr/bin/ollama(Ollama的核心二进制文件,用于运行服务器或命令行工具)。
  • 库文件和依赖/usr/lib/ollama/目录下的一些共享库(.so 文件)和GPU相关组件(如CUDA或ROCm支持的动态链接库,如果适用)。这些用于支持Ollama的运行时环境,特别是硬件加速。

解压不会创建额外的顶级目录(如/usr/ollama/),而是直接将档案内的bin/lib/内容合并到/usr的对应子目录中。这是一种常见的Linux手动安装方式,确保Ollama可以从系统路径中直接调用。即可安装后,/usr/bin//usr/lib/下面都会多出一个名为ollama的文件(夹)。

  • 如果/usr/bin//usr/lib/已存在同名文件,可能会被覆盖。请备份重要文件。
  • 解压后可能还需要设置systemd服务来自动运行Ollama,或者手动运行/usr/bin/ollama serve,后面步骤我们配置ollama服务自动运行。
  • 要验证安装,运行which ollama应输出/usr/bin/ollama,或ollama --version检查版本。

注意:

如果通过其它方式安装,比如复制,请注意确保/usr/bin/下的ollama文件可执行权限。

sudochmod+x /usr/bin/ollama

其它安装方法包括使用官方安装脚本安装Ollama或者手动下载二进制文件

# 使用官方安装脚本安装Ollamacurl-fsSL https://ollama.com/install.sh|sh# 或者手动下载二进制文件(推荐使用官方脚本)# sudo curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/bin/ollama# sudo chmod +x /usr/bin/ollama
  • 官方安装脚本会自动将Ollama安装到/usr/bin/ollama,并生成默认的systemd服务文件。
  • 安装时需要确保路径正确,并赋予可执行权限。

2. 创建专用系统用户和组(ollama:ollama)

创建用户需要注意:

  • 避免以root权限运行Ollama,提高安全性。
  • 创建一个非登录用户ollama,用于运行Ollama服务。
  • 确保该用户拥有访问GPU的权限(如果系统支持)。

最好是让Ollama以非root用户运行以提高安全性(注意检查,创建的前提当前暂不存在ollama用户),具体的操作命令如下:

# 创建系统用户ollama,不允许登录sudouseradd-r -s /bin/false -m -d /var/lib/ollama ollama# 创建系统组ollama(可选,但建议)sudogroupaddollama# 将ollama用户加入ollama组sudousermod-aG ollama ollama# 如果有GPU支持,将ollama加入video和render组(根据系统不同)sudousermod-aG video,render ollama

关于命令的解释说明:

  • -r: 表示这是一个系统账户,不会被用来登录。
  • -s /bin/false: 禁止该用户登录系统。
  • -m -d /var/lib/ollama: 自动创建主目录,并指定为/var/lib/ollama,这是系统标准数据存储路径。
  • video,render组:某些Linux发行版(如Ubuntu)中,GPU访问需要加入这些组。

3. 设置正确的模型存储目录权限

ollama安装后要确保ollama用户可以读写模型数据,具体操作命令如下:

# 创建模型目录sudomkdir-p /var/lib/ollama/.ollama/models# 设置权限sudochown-R ollama:ollama /var/lib/ollamasudochmod-R755/var/lib/ollama
  • chown -R: 递归更改目录所有权。
  • chmod -R 755: 设置权限为“用户可读写,其他人可读”。
  • 如果你之前用过Ollama,可能需要将.ollama目录迁移到/var/lib/ollama

4. 配置systemd服务文件并启动(关键)

  • 创建一个系统级的服务,让Ollama在后台运行,并且对所有用户可用,具体操作命令如下:
# 创建或编辑systemd服务文件sudovim/etc/systemd/system/ollama.service

ollama.service中的内容粘贴如下:

[Unit] Description=Ollama Service After=network-online.target [Service] ExecStart=/usr/bin/ollama serve # User=ollama: 以非特权账户运行 User=ollama Group=ollama Restart=always RestartSec=3 # Environment="OLLAMA_HOST=0.0.0.0": 允许远程访问(根据需要可改为127.0.0.1) Environment="OLLAMA_HOST=0.0.0.0" # Environment="HOME=/var/lib/ollama": 指定模型存储路径为系统目录 Environment="HOME=/var/lib/ollama" Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin" [Install] WantedBy=multi-user.target

注意:

  • User=ollamaGroup=ollama: 以普通用户身份运行,避免安全风险。
  • Environment="OLLAMA_HOST=0.0.0.0": 允许网络访问,若只允许本地访问,改为127.0.0.1
  • Environment="HOME=/var/lib/ollama": 设置模型存储路径为系统目录,便于共享管理。
  • WantedBy=multi-user.target: 更通用的启动目标,适用于大多数系统。
  • 启用并启动Ollama服务(ollama.service)

    重新加载systemd配置,启动服务,并设置开机自启,操作命令如下:

# 重新加载systemd配置sudosystemctl daemon-reload# 启动Ollama服务sudosystemctl start ollama# 设置开机自启sudosystemctlenableollama# 查看服务状态sudosystemctl status ollama

注意:

如果服务没有启动,请检查日志:

journalctl -u ollama.service

5. 测试:以普通用户身份运行Ollama

  • 验证(确保)所有用户都可以通过ollama run或API访问服务,命令如下(注意:以普通用户身份运行):
# 列出已下载的模型ollama list# 运行一个模型ollama run llama3

说明

  • 所有用户都可通过ollama命令连接到同一个Ollama实例。
  • 不需要每个用户单独运行服务。

6.其它建议:可选操作

为了提高服务的安全性,防止未授权访问,可考虑以下操作:

6.1. 防火墙限制端口

防火墙默认端口是11434,注意解除限制:

sudoufw allow11434/tcpsudoufwenable

6.2. 添加认证(需第三方工具):

使用第三方工具可以添加认证,例如可以使用Nginx反向代理加上Basic Auth来实现访问控制。

  • Ollama 本身没有内置认证机制,但可以通过 Nginx 反向代理加上 Basic Auth 来实现。

  • 示例配置(Nginx):

    location / { proxy_pass http://localhost:11434; auth_basic "Restricted Access"; auth_basic_user_file /etc/nginx/.htpasswd; }
  • 生成.htpasswd文件:

    sudoaptinstallapache2-utilssudohtpasswd -c /etc/nginx/.htpasswd admin

6.3. 非必要不使用0.0.0.0

如果仅允许本地访问,修改OLLAMA_HOST=127.0.0.1

7. 从系统中删除Ollama

彻底删除Ollama需要:

  1. 停止并关闭(卸载)ollama服务:

    sudosystemctl stop ollamasudosystemctl disable ollama
  2. 删除ollama安装时涉及的文件夹,主要是服务文件/etc/systemd/system/ollama.service、可执行文件(/usr/bin/ollama)和各种库文件和依赖/usr/lib/ollama/

    sudorm/etc/systemd/system/ollama.service# sudo rm /usr/bin/ollamasudorm$(whichollama)sudorm-rf /usr/lib/ollama

    注意:有些安装将ollama安装到了/usr/share/ollama或者/usr/local/bin/ollama,相应地调整可执行文件或者库文件和依赖文件夹的位置。

  3. 删除ollama用户和组:

    sudouserdelollamasudogroupdelollama
  4. 最后验证是否还有ollama进程:

    sudopsaux|grepollama
版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/4/22 23:40:51

计算机毕业设计springboot基于的产品销售数据分析平台设计一广西双迎门业为例 面向门业制造企业的 SpringBoot 产品销售数据洞察与决策支持平台 基于 SpringBoot 的门类产品

计算机毕业设计springboot基于的产品销售数据分析平台设计一广西双迎门业为例o5e77nn4 (配套有源码 程序 mysql数据库 论文) 本套源码可以在文本联xi,先看具体系统功能演示视频领取,可分享源码参考。在“双碳”战略与制造业数字化转型双重驱动…

作者头像 李华
网站建设 2026/4/24 15:28:23

springboot传统文化宣传比赛网站系统_bi31k9m7

目录已开发项目效果实现截图开发技术介绍核心代码参考示例1.建立用户稀疏矩阵,用于用户相似度计算【相似度矩阵】2.计算目标用户与其他用户的相似度系统测试总结源码文档获取/同行可拿货,招校园代理 :文章底部获取博主联系方式!已开发项目效果…

作者头像 李华
网站建设 2026/4/21 19:54:04

遇到winlicensessdk.dll丢失怎么办?最有效的修复方法在这里

在实际的软件使用或游戏运行过程中,你可能会突然遇到一个提示,指出“找不到winlicensessdk.dll”或“winlicensessdk.dll丢失”。这个动态链接库文件通常与某些软件,尤其是游戏的数字版权管理(DRM)或软件许可验证机制相…

作者头像 李华
网站建设 2026/4/26 10:47:56

基于51单片机的水族箱控制系统设计与应用

一、系统设计背景与核心目标 随着水族饲养爱好者增多,传统水族箱管理依赖人工调节水温、手动换水、定时开关灯,不仅操作繁琐,还易因人为疏忽导致水质恶化、水温波动,影响水生生物存活。51单片机凭借成本低、操作简便、稳定性强的特…

作者头像 李华
网站建设 2026/4/27 11:20:53

基于“大型园区”网络设计

第一章 设计背景与核心需求 大型园区(如产业园区、高校校园、科技园区等)作为集办公、研发、生活、服务于一体的综合性区域,对网络的可靠性、带宽、安全性及扩展性有着极高要求。传统园区网络存在设备分散管理难、带宽分配不合理、安全防护薄…

作者头像 李华