create_distill_config
【免费下载链接】amctAMCT是CANN提供的昇腾AI处理器亲和的模型压缩工具仓。项目地址: https://gitcode.com/cann/amct
产品支持情况
| 产品 | 是否支持 |
|---|---|
| Ascend 950PR/Ascend 950DT | √ |
| Atlas A3 训练系列产品/Atlas A3 推理系列产品 | √ |
| Atlas A2 训练系列产品/Atlas A2 推理系列产品 | √ |
功能说明
蒸馏接口，根据图的结构找到所有可蒸馏量化的层和可蒸馏量化的结构，自动生成蒸馏量化配置文件，并将可蒸馏量化层的量化配置和蒸馏结构写入配置文件。
函数原型
create_distill_config(config_file, model, input_data, config_defination=None)参数说明
含义：简易配置文件。基于distill_config_pytorch.proto文件生成的简易配置文件distill.cfg，*.proto文件所在路径为：AMCT安装目录/amct_pytorch/proto/。*.proto文件参数解释以及生成的distill.cfg简易量化配置文件样例请参见蒸馏简易配置文件。 |
返回值说明
无
调用示例
import amct_pytorch as amct # 建立待进行蒸馏量化的网络图结构 model = build_model() model.load_state_dict(torch.load(state_dict_path)) input_data = tuple([torch.randn(input_shape)]) # 生成蒸馏配置文件 amct.create_distill_config(config_file="./configs/config.json", model, input_data, config_defination="./configs/distill.cfg")落盘文件说明：
生成JSON格式的蒸馏量化配置文件，样例如下（重新执行蒸馏时，该接口输出的配置文件将会被覆盖，如下为INT8量化场景下的配置文件）：
{ "version":1, "batch_num":1, "group_size":1, "data_dump":false, "distill_group":[ [ "conv1", "bn", "relu" ], [ "conv2", "bn2", "relu2" ] ], "conv1":{ "quant_enable":true, "distill_data_config":{ "algo":"ulq_quantize", "dst_type":"INT8" }, "distill_weight_config":{ "algo":"arq_distill", "channel_wise":true, "dst_type":"INT8" } }, "conv2":{ "quant_enable":true, "distill_data_config":{ "algo":"ulq_quantize", "dst_type":"INT8" }, "distill_weight_config":{ "algo":"arq_distill", "channel_wise":true, "dst_type":"INT8" } } }【免费下载链接】amctAMCT是CANN提供的昇腾AI处理器亲和的模型压缩工具仓。项目地址: https://gitcode.com/cann/amct
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
