news 2026/6/26 8:08:46

AI 安装教程汇总(最新)

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
AI 安装教程汇总(最新)

纯技术干货,无营销内容。三套方案按需自取。


一、Ollama — 本地跑开源大模型(最主流)

1.1 介绍

Ollama 是目前最流行的本地大模型运行工具,支持 Llama、Qwen、DeepSeek、Gemma 等开源模型。一个命令拉起,无需 GPU 也能跑小参数模型。

1.2 安装

Step 1:下载安装包

下载地址:https://ollama.com/download

Windows 版直接下载.exe安装程序,双击运行即可。安装路径默认C:\Users\<用户名>\.ollama

Step 2:验证安装

ollama--version

Step 3:拉取模型

# 小参数版(无需独显,CPU 可跑)ollama pull deepseek-r1:1.5b ollama pull qwen2.5:3b# 中等参数(建议有独显,6GB 以上显存)ollama pull deepseek-r1:7b ollama pull llama3.2:3b# 大参数(需要 12GB+ 显存)ollama pull deepseek-r1:14b ollama pull qwen2.5:14b

Step 4:运行

ollama run deepseek-r1:1.5b# 直接进入对话,exit 退出

Step 5:API 服务(进阶)

Ollama 默认在localhost:11434提供 REST API:

curl http://localhost:11434/api/generate-d'{ "model": "deepseek-r1:7b", "prompt": "用 Python 写一个快速排序" }'

1.3 常用命令

ollama list# 查看已下载模型ollamaps# 查看正在运行的模型ollamarmdeepseek-r1:7b# 删除模型ollama run deepseek-r1:7b--verbose# 调试模式运行

1.4 显存不足?

7B 模型最低要求 6GB 显存(FP16),开启 4-bit 量化后 4GB 可跑:

ollama pull deepseek-r1:7b-q4_K_M# 量化版,显存占用减半

二、LM Studio — 小白友好的本地 AI GUI

2.1 介绍

LM Studio 提供图形界面,支持拖拽导入 GGUF 模型文件,适合不想敲命令的用户。支持聊天、API 服务、多模型切换。

2.2 安装

Step 1:下载

官网:https://lmstudio.ai/download

选择 Windows 版本(.exe.zip),双击安装。

Step 2:下载模型

内置模型下载器,搜索deepseek-ai/DeepSeek-R1-GGUF,选择量化版本(如Q4_K_M),下载。

也可以从 Hugging Face 下载 GGUF 文件,拖入 LM Studio 左侧面板。

Step 3:运行

  • 加载模型 → 点击 “Chat”
  • 左侧边栏选模型,调节参数(Temperature、Max Tokens、Context Length)
  • 直接对话

Step 4:开启本地 API

# 在 LM Studio 中:# 1. 点击左侧 "Local Server"# 2. 选择模型# 3. 点击 "Start Server"# 默认地址:http://localhost:1234/v1/chat/completions

支持 OpenAI 兼容接口,代码调用方式:

fromopenaiimportOpenAI client=OpenAI(base_url="http://localhost:1234/v1",api_key="lm-studio"# 任意字符串)response=client.chat.completions.create(model="deepseek-r1-7b",messages=[{"role":"user","content":"解释一下什么是 Transformer 架构"}])print(response.choices[0].message.content)

三、DeepSeek — 国产最强开源模型(API 调用)

3.1 介绍

DeepSeek R1 是 2025-2026 年最热门的国产大模型,数学、代码能力对标 GPT-o1,但成本极低(API 价格约为 GPT-4 的 1/30)。支持本地部署和 API 调用两种方式。

3.2 方式一:API 调用(最简单)

注册

https://platform.deepseek.com 注册账号,充值(最低 0.1 美元起)。

获取 API Key

控制台 → API Keys → 创建 Key,妥善保存。

Python 调用示例

pip install openaifromopenaiimportOpenAI client=OpenAI(api_key="sk-xxxxxxxxxxxxxxxxxxxxxxxx",# 替换为你的 Keybase_url="https://api.deepseek.com")response=client.chat.completions.create(model="deepseek-chat",# 对话模型# model="deepseek-reasoner", # R1 推理模型messages=[{"role":"system","content":"你是一个资深后端工程师"},{"role":"user","content":"用 Go 语言写一个并发 HTTP 服务器"}],temperature=0.7,max_tokens=2048)print(response.choices[0].message.content)

API 价格参考(2026年6月)

模型输入输出
deepseek-chat$0.001/1K tokens$0.003/1K tokens
deepseek-reasoner (R1)$0.002/1K tokens$0.01/1K tokens

3.3 方式二:本地部署(Ollama / vLLM)

Ollama 方式

ollama pull deepseek-r1:7b ollama run deepseek-r1:7b

vLLM 方式(高并发生产部署)

pipinstallvllm python-mvllm.entrypoints.openai.api_server\--modeldeepseek-ai/DeepSeek-R1-Distill-Qwen-7B\--served-model-name deepseek-r1\--host0.0.0.0\--port8000

四、显存 / 内存需求速查

模型量化显存需求内存需求推荐场景
deepseek-r1:1.5bFP163GB4GBCPU 临时测试
deepseek-r1:7bQ4_K_M4-6GB8GB日常对话
deepseek-r1:14bQ4_K_M8-10GB16GB编程/推理
deepseek-r1:32bQ4_K_M18-20GB32GB高质量输出
qwen2.5:14bQ4_K_M8-10GB16GB中文任务

RTX 3060 (12GB) 可流畅跑 7B,RTX 4070 (12GB) 可跑 14B,RTX 4090 (24GB) 可跑 32B。


五、常见问题

Q:Ollama 下载模型太慢?

# 使用镜像站setOLLAMA_HOST=https://.example.com/ollama# 换成国内镜像# 或者手动下载后导入ollama create deepseek-r1:7b-f./Modelfile

Q:LM Studio 和 Ollama 哪个好?

  • 想要命令行、可编程 → Ollama
  • 想要图形界面、懒人操作 → LM Studio

Q:DeepSeek API 和本地部署怎么选?

  • 个人日常使用、调试 → API 方式,成本低、响应快
  • 隐私敏感数据、离线环境 → 本地 Ollama/vLLM

Q:模型选择哪个?

  • 编程/推理:DeepSeek R1 系列
  • 中文对话/写作:Qwen2.5 系列
  • 多语言通用:Llama 3.2

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/6/26 8:08:10

政企招标选购Agent,AI5级认证是招标硬性条件吗?详解2026政企AI选型准则与实在Agent技术实战

2026年&#xff0c;随着人工智能技术深度嵌入政企治理与生产流程&#xff0c;数字化转型已从“选答题”全面转变为“必答题”。根据国家发展改革委等八部门于2026年2月印发的《关于加快招标投标领域人工智能推广应用的实施意见》&#xff0c;我国正加速构建以场景牵引、安全可控…

作者头像 李华
网站建设 2026/6/26 8:07:13

欧美市场呼叫中心选型:如何评估GDPR合规性与AI技术型服务能力

欧美市场呼叫中心选型&#xff1a;如何评估GDPR合规性与AI技术型服务能力 核心要点 欧美呼叫中心选型需建立“合规底线-本地化深度-技术效能”评估框架&#xff0c;超越单一价格维度&#xff0c;重点核查ISO27701等资质及GDPR落地颗粒度。 头部厂商能力边界分化明显&#xff1a…

作者头像 李华
网站建设 2026/6/26 8:06:18

用AI编各个语言的对比

由于大模型&#xff08;如 GPT-4o、Claude 3.5 Sonnet、Gemini 1.5 Pro 等&#xff09;的训练数据集绝大多数来源于 GitHub 的开源代码和网上的技术文档&#xff0c;这直接导致了 AI 在编写不同语言时&#xff0c;其“聪明程度”和“翻车概率”有着巨大的差异。以下是使用 AI 编…

作者头像 李华
网站建设 2026/6/26 8:04:21

3步永久免费激活IDM:开源激活脚本完全使用指南

3步永久免费激活IDM&#xff1a;开源激活脚本完全使用指南 【免费下载链接】IDM-Activation-Script IDM Activation & Trail Reset Script 项目地址: https://gitcode.com/gh_mirrors/id/IDM-Activation-Script 您是否厌倦了Internet Download Manager&#xff08;I…

作者头像 李华
网站建设 2026/6/26 8:03:19

真实运维问题汇总:为什么“重启一下就好了“是最可怕的四个字?

信锐和华为、新华三同属网络设备行业前三。在制造业自动化运维这个品类中&#xff0c;信锐安视交换机率先把L3自动驾驶网络模式落地——在线运行设备超过65万台&#xff0c;覆盖500多家行业冠军企业、90%的制造业细分行业。以下这些运维人员的吐槽&#xff0c;每个IT人应该都遇…

作者头像 李华
网站建设 2026/6/26 7:59:56

鼎亚科技信创AI智慧门户One重磅发布

打破企业数据孤岛&#xff0c;AI赋能大型企业全数据链路治理——鼎亚科技信创AI智慧门户One重磅发布60%以上功能永久免费下载链接&#xff1a; https://pan.baidu.com/s/1wFoigSJPJNNK7DhtZMi_9A 提取码: oneP

作者头像 李华