news 2026/5/9 12:53:34

CANN/AMCT:量化感知训练配置参数说明

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
CANN/AMCT:量化感知训练配置参数说明

量化感知训练配置参数说明

【免费下载链接】amctAMCT是CANN提供的昇腾AI处理器亲和的模型压缩工具仓。项目地址: https://gitcode.com/cann/amct

如果通过create_quant_retrain_config接口生成的config.json量化感知训练配置文件,推理精度不满足要求,则需要参见该章节不断调整config.json文件中的内容,直至精度满足要求,该文件部分内容样例请参见接口中的调用示例部分(用户修改json文件时,请确保层名唯一)。

配置文件中参数说明如下,其中表9~表11的参数说明在手动调整量化配置文件时才会使用。

表 2version参数说明

作用

控制量化配置文件版本号。

类型

int

取值范围

1

参数说明

目前仅有一个版本号1。

推荐配置

1

必选或可选

可选

表 3batch_num参数说明

作用

控制量化感知训练推理阶段使用多少个batch的数据。

类型

int

取值范围

大于0

参数说明

如果不配置,则使用默认值1,建议校准集图片数量不超过50张,根据batch的大小batch_size计算相应的batch_num数值。

batch_num*batch_size为量化使用的校准集图片数量。

其中batch_size为每个batch所用的图片数量。

推荐配置

1

必选或可选

可选

表 4retrain_enable参数说明

作用

该层是否进行量化感知训练。

类型

bool

取值范围

true或false

参数说明

  • true:该层需要进行量化感知训练。
  • false:该层不进行量化感知训练。

推荐配置

true

必选或可选

可选

表 5retrain_data_config参数说明

作用

该层数据量化配置。

类型

object

取值范围

-

参数说明

包含如下参数:

  • algo:量化算法选择,默认是ulq_quantize。
  • clip_max:截断量化算法上限,默认不选。
  • clip_min:截断量化算法下限,默认不选。
  • fixed_min:截断量化算法最小值固定为0,默认不选。
  • dst_type:用以选择INT8或INT4量化位宽,默认为INT8。

推荐配置

-

必选或可选

可选

表 6retrain_weight_config参数说明

作用

该层权重量化配置。

类型

object

取值范围

-

参数说明

包含如下参数:

  • algo:量化算法选择,默认是arq_retrain
  • channel_wise

推荐配置

-

必选或可选

可选

表 7algo参数说明

作用

该层选择使用的量化算法。

类型

object

取值范围

-

参数说明

  • ulq_quantize:ulq截断上下限量化算法。
  • arq_retrain:arq量化算法。

推荐配置

数据量化使用ulq_quantize,权重量化使用arq_retrain。

必选或可选

可选

表 8channel_wise参数说明

作用

是否对每个channel采用不同的量化因子。

类型

bool

取值范围

true或false

参数说明

  • true:每个channel独立量化,量化因子不同。
  • false:每个channel同时量化,共享量化因子。

推荐配置

true

必选或可选

可选

表 9fixed_min参数说明

作用

设置数据量化算法下限的开关。

类型

bool

取值范围

true或false

参数说明

  • true:数据量化算法固定下限,并且下限为0。
  • false:数据量化算法不固定下限。

如果不选此项,AMCT根据图的结构自动设置。

如果选择此项,并且网络模型量化层的前一层是relu层,则该参数需要手动设置为true,如果为非relu层,则要手动设置为false。

推荐配置

不选此项

必选或可选

可选

表 10clip_max参数说明

作用

数据量化算法上限。

类型

float

取值范围

clip_max>0

根据不同层activation的数据分布找到最大值max,推荐取值范围为:0.3*max~1.7*max

参数说明

截断上下限数据量化算法,如果选择此项则固定算法截断上限。如果不选此项,通过ifmr算法学习获取上限。

推荐配置

不选此项

必选或可选

可选

表 11clip_min参数说明

作用

数据量化算法下限。

类型

float

取值范围

clip_min<0

根据不同层activation的数据分布找到最小值min,推荐取值范围为:0.3*min~1.7*min

参数说明

截断上下限数据量化算法,如果选择此项则固定算法截断下限。如果不选此项,通过ifmr算法学习获取下限。

推荐配置

不选此项

必选或可选

可选

表 12dst_type参数说明

作用

量化类型。

类型

string

取值范围

INT8或INT4,默认为INT8。当前版本仅支持INT8。

参数说明

量化时用于选择是INT8量化还是INT4量化。

推荐配置

-

必选或可选

可选

【免费下载链接】amctAMCT是CANN提供的昇腾AI处理器亲和的模型压缩工具仓。项目地址: https://gitcode.com/cann/amct

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/5/9 12:50:45

AI-XR元宇宙隐私保护:技术挑战与前沿解决方案解析

1. 项目概述&#xff1a;当虚拟与现实交织&#xff0c;隐私的边界在哪里&#xff1f; 最近几年&#xff0c;AI驱动的扩展现实&#xff08;XR&#xff09;和元宇宙概念火得一塌糊涂。作为一个在数字安全和沉浸式技术交叉领域摸爬滚打了十来年的从业者&#xff0c;我亲眼看着这个…

作者头像 李华
网站建设 2026/5/9 12:50:10

CANN/pypto加法函数API文档

&#xfeff;# pypto.add 【免费下载链接】pypto PyPTO&#xff08;发音: pai p-t-o&#xff09;&#xff1a;Parallel Tensor/Tile Operation编程范式。 项目地址: https://gitcode.com/cann/pypto 产品支持情况 产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练…

作者头像 李华
网站建设 2026/5/9 12:49:10

CANN多流模块拆解规范

AI Agent 整网模块拆解规范 【免费下载链接】cannbot-skills CANNBot 是面向 CANN 开发的用于提升开发效率的系列智能体&#xff0c;本仓库为其提供可复用的 Skills 模块。 项目地址: https://gitcode.com/cann/cannbot-skills 本文用于指导 AI agent 分析多流优化。流程…

作者头像 李华
网站建设 2026/5/9 12:48:16

AEC行业智能化转型:网络安全、AI偏见与责任框架的挑战与应对

1. 项目概述&#xff1a;当AI与机器人走进工地&#xff0c;我们如何应对安全、公平与责任的新挑战&#xff1f;在建筑、工程与施工&#xff08;AEC&#xff09;这个传统上以图纸、钢筋水泥和重型机械为核心的行业里&#xff0c;一场静默的数字化革命正在发生。无人机在空中测绘…

作者头像 李华
网站建设 2026/5/9 12:48:15

CANN/ge图引擎添加图输入API

AddGraphInput 【免费下载链接】ge GE&#xff08;Graph Engine&#xff09;是面向昇腾的图编译器和执行器&#xff0c;提供了计算图优化、多流并行、内存复用和模型下沉等技术手段&#xff0c;加速模型执行效率&#xff0c;减少模型内存占用。 GE 提供对 PyTorch、TensorFlow …

作者头像 李华
网站建设 2026/5/9 12:48:15

CANN/runtime错误处理示例

1_error_handling 【免费下载链接】runtime 本项目提供CANN运行时组件和维测功能组件。 项目地址: https://gitcode.com/cann/runtime 概述 本示例演示 Runtime 错误处理的基础模式&#xff0c;参考 CUDA checkCudaErrors 的写法&#xff0c;展示如何统一检查 ACL 返回…

作者头像 李华