ollama 本都部署模型
ollama 是什么
ollama 是一个开源的运行大模型的框架,可以让我们在不依赖GPU的情况下运行模型
ollama官网
运行ollama
有两种方式,第一个官网下载安装包 linux/macos/windows 都有
第二种就是通过docker 方式运行 ,官方镜像
ollama官方docker 镜像
拉取命令docker pull ollama/ollama
我们直接下载安装包运行即可
下载运行模型
在官网搜索你想运行的模型,这里使用deepseek
我电脑内存32G,运行一个 7b的,跑起来还可以,很流畅
找到模型,点进去详细页,复制这条命令即可运行
运行效果如下:直接控制台输入
接入ui界面
这里选择 open-web-ui ,直接使用docker 运行 ,
open-webui docker镜像
docker pull openwebui/open-webui docker run open-webui运行起来之后访问localhost:3000端口
选择模型就可以开始聊天了