CANN/amct量化校准算子

QuantCalibrationOp

【免费下载链接】amctAMCT是CANN提供的昇腾AI处理器亲和的模型压缩工具仓。项目地址: https://gitcode.com/cann/amct

产品支持情况

注：标记“x”的产品，调用接口不会报错，但是获取不到性能收益。

功能说明

KV Cache量化接口，用于用户构图，在前向传播时，根据用户的量化算法配置调用IFMR/HFMG量化算法对输出做校准，校准后，将量化因子依据对应格式输出到record_file文件指定层名中。

在进行前向传播时，算子对原始输出会做透传，不修改activation输入信息：

• 若当前传入数据个数小于batch_num时，使用IFMR/HFMG算子中的积攒数据方法，将数据集进行保存。
• 若当前传入数据个数等于batch_num时，会调用IFMR/HFMG算法计算量化因子，根据quant_method参数进行区分写出来的量化因子格式，按照格式写入对应record文件；quant_method目前仅支持“kv_cache_quant”方式。

写入时，对record文件进行增量写入，如果进行了覆盖写入，则会提示哪个层哪些参数被覆盖。

函数原型

QuantCalibrationOp (record_file,quant_algo_params, quant_method)

参数说明

{ "act_algo": "hfmg", "num_bits": 8, "quant_granularity": "1", "with_offset": true, "batch_num": 1 }

表 1quant_algo_params参数支持配置的字段

返回值说明

无

调用示例

import amct_pytorch as amct from amct_pytorch.nn.module.quantization.quant_calibration_op import QuantCalibrationOp class LinearNet(nn.Module): def __init__(self, quant_algo_params): super(LinearNet,self).__init__() self.quant_algo_params = quant_algo_params self.layer1 = nn.Linear(28, 1024, bias=False) self.ptq_1 = QuantCalibrationOp(record_file, quant_algo_params=self.quant_algo_params, quant_method="kv_cache_quant") def forward(self, layer_name, x): x = self.layer1(x) x = self.ptq_1(layer_name, x) # 保存量化因子的record文件路径 temp_folder = "./" record_file = os.path.join(temp_folder, 'kv_cache.txt') input_data = torch.randn((2, 2, 28, 28)) quant_algo_params = {"act_algo": "hfmg"} model = LinearNet(quant_algo_params).to(torch.device("cpu")) model.eval() ans_2 = model("qat_1", input_data)

【免费下载链接】amctAMCT是CANN提供的昇腾AI处理器亲和的模型压缩工具仓。项目地址: https://gitcode.com/cann/amct