Qwen3-ASR-1.7B部署教程：Mac M2 Ultra Metal加速+MLX框架轻量化尝试

Qwen3-ASR-1.7B部署教程：Mac M2 Ultra Metal加速+MLX框架轻量化尝试

1. 项目概述

Qwen3-ASR-1.7B是一款基于阿里云通义千问语音识别模型开发的本地智能语音转文字工具。相比之前的0.6B版本，这个1.7B参数量的模型在复杂长难句和中英文混合语音识别方面有了显著提升。

这个工具特别适合需要在本地处理音频转文字的场景，比如会议记录、视频字幕制作等。它支持多种音频格式，包括WAV、MP3、M4A和OGG，并且完全在本地运行，不需要联网，确保了音频内容的隐私安全。

2. 环境准备

2.1 硬件要求

• Mac电脑：建议使用M2 Ultra芯片的Mac设备
• 内存：建议16GB或以上
• 存储空间：至少10GB可用空间

2.2 软件依赖

在开始之前，请确保你的Mac上已经安装了以下软件：

1. Python 3.8或更高版本
2. Homebrew（Mac包管理工具）
3. Xcode命令行工具

可以通过以下命令检查是否已安装：

python3 --version brew --version xcode-select --install

3. 安装步骤

3.1 创建虚拟环境

首先，我们创建一个独立的Python虚拟环境：

python3 -m venv qwen-asr-env source qwen-asr-env/bin/activate

3.2 安装依赖包

安装必要的Python包：

pip install torch mlx transformers streamlit

3.3 下载模型

从官方仓库下载Qwen3-ASR-1.7B模型：

git clone https://github.com/Qwen/Qwen-ASR.git cd Qwen-ASR

4. Metal加速配置

Mac M2 Ultra的Metal加速可以显著提升模型推理速度。以下是配置步骤：

4.1 启用Metal后端

在Python代码中添加以下配置：

import mlx.core as mx mx.set_default_device(mx.gpu)

4.2 模型加载优化

使用MLX框架加载模型时，添加以下参数：

from transformers import AutoModelForSpeechSeq2Seq model = AutoModelForSpeechSeq2Seq.from_pretrained( "Qwen/Qwen3-ASR-1.7B", torch_dtype="auto", device_map="auto", use_flash_attention_2=True )

5. 运行语音识别工具

5.1 启动Streamlit界面

进入项目目录，运行以下命令启动Web界面：

streamlit run app.py

5.2 使用说明

1. 点击"上传音频文件"按钮，选择本地音频文件
2. 等待音频上传完成，可以点击播放按钮预览
3. 点击"开始高精度识别"按钮进行转写
4. 查看识别结果，包括检测到的语种和转写文本

6. 常见问题解决

6.1 模型加载失败

如果遇到模型加载问题，可以尝试：

pip install --upgrade transformers

6.2 Metal加速不生效

确保你的Mac系统是最新版本，并且已经安装了最新的Metal驱动。

6.3 显存不足

虽然1.7B模型已经做了优化，但如果遇到显存问题，可以尝试：

model = AutoModelForSpeechSeq2Seq.from_pretrained( "Qwen/Qwen3-ASR-1.7B", torch_dtype=torch.float16, device_map="auto" )

7. 总结

通过本教程，我们成功在Mac M2 Ultra上部署了Qwen3-ASR-1.7B语音识别模型，并利用Metal加速和MLX框架进行了优化。这个工具相比0.6B版本在识别准确率上有显著提升，特别是在处理复杂长难句和中英文混合语音时表现更好。

主要优势包括：

1. 本地运行，保障隐私安全
2. 支持多种音频格式
3. 自动语种检测功能
4. 优化的显存使用，适合更多设备

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。