手把手教程：在AMD显卡上搭建专属本地AI助手

手把手教程：在AMD显卡上搭建专属本地AI助手

【免费下载链接】ollama-for-amdGet up and running with Llama 3, Mistral, Gemma, and other large language models.by adding more amd gpu support.项目地址: https://gitcode.com/gh_mirrors/ol/ollama-for-amd

还在羡慕NVIDIA用户轻松运行本地大模型吗？你的AMD显卡同样拥有强大的AI计算潜力！通过本指南，你将学会如何利用Ollama-for-amd项目，在AMD GPU上零门槛部署Llama、Mistral、Gemma等主流大语言模型，让AMD显卡变身专业AI工作站。

第一步：环境准备与硬件确认

在开始部署前，先确认你的AMD显卡是否在兼容列表中。根据官方文档，以下系列显卡已通过充分测试：

主流兼容显卡系列

• Radeon RX消费级：7900 XTX/XT、7800 XT、7700 XT、7600 XT等
• Radeon PRO工作站级：W7900、W7800、W7700、W7600等
• Instinct计算卡：MI300X、MI250X等数据中心级产品

关键检查点：确保已安装ROCm v6.1+驱动环境，这是AMD GPU运行AI模型的必备基础。

第二步：获取项目与基础配置

打开终端，执行以下命令获取最新项目代码：

git clone https://gitcode.com/gh_mirrors/ol/ollama-for-amd cd ollama-for-amd

接下来处理项目依赖：

go mod tidy

这个命令会自动下载所有必需的Go模块，为你省去手动配置的麻烦。

第三步：构建与安装

根据你的操作系统选择合适的构建方式：

Linux用户执行：

./scripts/build_linux.sh

Windows用户在PowerShell中运行：

.\scripts\build_windows.ps1

构建完成后，可执行文件将出现在项目根目录，准备就绪。

第四步：验证GPU识别状态

运行以下命令检查系统是否正确识别了你的AMD显卡：

./ollama run --list-gpus

如果正确显示显卡信息，恭喜你，硬件环境配置成功！

Ollama配置设置界面，可在此调整模型存储路径和硬件适配参数

第五步：模型下载与初次体验

现在可以下载并运行你的第一个AI模型了。Llama 3是个不错的入门选择：

./ollama pull llama3 ./ollama run llama3

首次运行会自动下载模型文件（通常4-8GB），之后就可以完全离线使用了。

第六步：个性化配置与性能优化

多GPU环境配置

如果系统中有多块AMD GPU，可以通过环境变量指定使用特定设备：

Linux系统设置：

export ROCR_VISIBLE_DEVICES=0,1

Windows系统设置：

set ROCR_VISIBLE_DEVICES=0

关键性能参数调整

在配置文件中，你可以优化以下参数来提升性能：

• GPU内存使用比例：默认0.9，可根据实际显存调整
• 架构版本指定：如"HSA_OVERRIDE_GFX_VERSION=10.3.0"

模型选择界面，展示支持的本地AI模型选项

常见问题快速解决

问题：GPU未被正确识别

解决方法：检查ROCm驱动状态

rocminfo | grep -i "gfx"

如果输出为空，需要重新安装ROCm驱动。

问题：模型加载速度过慢

解决方法：内存策略优化 尝试增加系统swap空间，或者调整内存分配策略。

支持的模型类型概览

项目已针对AMD GPU优化了多种主流模型，让你有丰富的选择：

• Llama系列：Llama 3（8B/70B）、Llama 2（7B/13B）
• Gemma系列：Gemma 2（9B）、Gemma 3（2B/9B）
• Mistral系列：Mistral 7B、Mixtral 8x7B
• 其他优秀模型：Qwen2、Phi3、GPT-OSS等

VS Code中模型选择界面，展示如何在开发环境中调用本地AI模型

进阶使用技巧

自定义模型存储路径

模型文件默认存储在用户主目录的.ollama/models文件夹中，你可以通过修改配置文件来自定义存储位置，方便管理大容量模型文件。

系统服务配置

为了让Ollama在后台持续运行，可以将其配置为系统服务：

sudo systemctl enable ollama sudo systemctl start ollama

开始你的AI之旅

通过本指南，你已经掌握了在AMD GPU上部署本地AI的核心技能。现在就开始动手实践，体验AMD显卡带来的强劲AI算力吧！无论是代码编写辅助、文档分析还是创意写作，你的专属AI助手都在等待你的召唤。

实用提示：建议从较小的模型（如Llama 3 8B）开始，熟悉基本操作后再尝试更大的模型，逐步探索本地AI的无限可能。

【免费下载链接】ollama-for-amdGet up and running with Llama 3, Mistral, Gemma, and other large language models.by adding more amd gpu support.项目地址: https://gitcode.com/gh_mirrors/ol/ollama-for-amd