news 2026/9/19 19:03:53

CANN ops-math GreaterEqual 算子使用指南:aclnnGeScalar / aclnnGeTensor 逐元素比较接口详解

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
CANN ops-math GreaterEqual 算子使用指南:aclnnGeScalar / aclnnGeTensor 逐元素比较接口详解

CANN ops-math GreaterEqual 算子使用指南:aclnnGeScalar / aclnnGeTensor 逐元素比较接口详解

【免费下载链接】ops-math本项目是CANN提供的数学类基础计算算子库,实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-math

GreaterEqual(>=)是 CANN ops-math 数学算子库中提供的逐元素比较算子,用于在 NPU 上判断张量每个元素是否大于等于另一个张量或标量,输出 BOOL 类型结果。本文以 experimental/math/greater_equal/README.md 为核心,结合配套的 aclnnGeScalar 接口文档、aclnnGeTensor 接口文档 以及 op_api / op_host / op_kernel 源码,系统讲解算子的功能语义、两段式调用流程、四种 API 的完整原型与参数约束、错误码含义,并从源码层面剖析类型提升、Broadcast、AiCore/AiCpu 调度与 Kernel 实现,帮助开发者在 Atlas 训练/推理产品上快速完成 GreaterEqual 的接入与调优。

算子功能与数学语义

GreaterEqual 算子逐元素比较输入selfother(可以是 tensor 或 scalar),判断每个位置是否满足self >= other,并将比较结果写入 BOOL 类型输出张量的对应位置。

  • 计算公式(tensor 形态):

    $$out_i = (self_i \geq other_i) ? True : False$$

  • 计算公式(scalar 形态):

    $$out_i = (self_i \geq other) ? True : False$$

典型应用场景包括阈值过滤、Mask 生成、条件分支计算等需要在 NPU 上批量做大小比较的网络结构。该算子在 greater_equal_def.cpp 中通过OP_ADD(GreaterEqual)完成算子注册,输入为x1x2两个 REQUIRED 张量,输出为y,输入数据类型覆盖 BF16、FP16、FP32、INT32、UINT32、UINT16、INT16、UINT8、INT8、INT64、UINT64、BOOL 共 12 种,输出统一为DT_BOOL

产品支持情况

README 中声明的产品支持矩阵如下:

产品是否支持
Atlas A2 训练系列产品 / Atlas 800I A2 推理产品 / A200I A2 Box 异构组件

配套 API 文档进一步细化了四个接口在各芯片形态上的支持情况:

产品是否支持
Ascend 950PR / Ascend 950DT
Atlas A3 训练系列产品 / Atlas A3 推理系列产品
Atlas A2 训练系列产品 / Atlas A2 推理系列产品
Atlas 200I/500 A2 推理产品×
Atlas 推理系列产品
Atlas 训练系列产品

需要注意两个产品级 dtype 约束(在 aclnn_ge_scalar.cpp 与 aclnn_ge_tensor.cpp 中均有体现):

  • Atlas 推理系列产品、Atlas 训练系列产品不支持 BFLOAT16;
  • 是否支持 BF16 由CheckSocExtraType按当前 NPU 架构(如DAV_2201或 RegBase 架构)动态判定。

两段式接口:先 GetWorkspaceSize 再执行

GreaterEqual 的四个对外接口都采用 CANN 标准的两段式接口设计:必须先调用 GetWorkspaceSize 段获取 workspace 大小与执行器,再调用执行段在指定 Stream 上提交计算。整体调用模式为:

aclnnGeScalarGetWorkspaceSize(self, other, out, &workspaceSize, &executor) -> 校验入参、构建算子执行流程、返回 workspace 大小 aclnnGeScalar(workspace, workspaceSize, executor, stream) -> 在 Device 上执行计算

从源码看,aclnnGeScalarGetWorkspaceSize内部先通过CREATE_EXECUTOR()创建OpExecutor,随后执行四步入参检查(空指针、dtype 合法性、类型可提升性、shape 约束),通过后调用l0op::ContiguousConvertToTensorl0op::Castl0op::GreaterEquall0op::ViewCopy组合出完整计算图,最后通过GetWorkspaceSize()汇总中间过程所需内存,见 aclnn_ge_scalar.cpp。

aclnnGeScalar / aclnnInplaceGeScalar:与标量比较

函数原型

aclnnStatus aclnnGeScalarGetWorkspaceSize( const aclTensor* self, const aclScalar* other, aclTensor* out, uint64_t* workspaceSize, aclOpExecutor** executor) aclnnStatus aclnnGeScalar( void* workspace, uint64_t workspaceSize, aclOpExecutor* executor, const aclrtStream stream) aclnnStatus aclnnInplaceGeScalarGetWorkspaceSize( aclTensor* selfRef, const aclScalar* other, uint64_t* workspaceSize, aclOpExecutor** executor) aclnnStatus aclnnInplaceGeScalar( void* workspace, uint64_t workspaceSize, aclOpExecutor* executor, const aclrtStream stream)

参数说明(GetWorkspaceSize 段)

参数名输入/输出描述使用说明数据类型数据格式维度(shape)非连续 Tensor
self(aclTensor*)输入参与比较的输入张量-DOUBLE、BFLOAT16、FLOAT16、FLOAT、INT32、UINT32、INT64、UINT64、INT16、UINT16、INT8、UINT8、BOOLND0-8
other(aclScalar*)输入参与比较的输入标量数据类型需与 self 满足数据类型推导规则同上(标量)---
out(aclTensor*)输出比较结果输出数据类型需是 BOOL 可转换的类型,shape 与 self 相同DOUBLE、BFLOAT16、FLOAT16、FLOAT、INT32、UINT32、INT64、UINT64、INT16、UINT16、INT8、UINT8、BOOL、COMPLEX64、COMPLEX128ND0-8
workspaceSize(uint64_t*)输出需要在 Device 侧申请的 workspace 大小-----
executor(aclOpExecutor**)输出包含算子计算流程的执行器-----

对于 inplace 版本,selfRef同时充当输入与输出(即公式中的 self 与 out 为同一块内存),因此不再单独传out,参数为selfRefotherworkspaceSizeexecutor四个。

执行段参数

参数名输入/输出描述
workspace输入在 Device 侧申请的 workspace 内存地址
workspaceSize输入workspace 大小,由第一段接口返回
executor输入第一段接口返回的 op 执行器
stream输入指定执行任务的 Stream

aclnnGeTensor / aclnnInplaceGeTensor:与张量比较

函数原型

aclnnStatus aclnnGeTensorGetWorkspaceSize( const aclTensor* self, const aclTensor* other, aclTensor* out, uint64_t* workspaceSize, aclOpExecutor** executor) aclnnStatus aclnnGeTensor( void* workspace, uint64_t workspaceSize, aclOpExecutor* executor, const aclrtStream stream) aclnnStatus aclnnInplaceGeTensorGetWorkspaceSize( aclTensor* selfRef, const aclTensor* other, uint64_t* workspaceSize, aclOpExecutor** executor) aclnnStatus aclnnInplaceGeTensor( void* workspace, uint64_t workspaceSize, aclOpExecutor* executor, const aclrtStream stream)

参数说明(GetWorkspaceSize 段)

参数名输入/输出描述使用说明数据类型数据格式维度(shape)非连续 Tensor
self(aclTensor*)输入参与比较的输入张量-DOUBLE、FLOAT16、FLOAT32、INT32、UINT32、INT64、UINT64、INT16、UINT16、INT8、UINT8、BOOL、BFLOAT16ND0-8
other(aclTensor*)输入参与比较的输入张量数据类型需与 self 满足数据类型推导规则,shape 需与 self 满足broadcast 关系同上ND0-8
out(aclTensor*)输出比较结果输出数据类型需是 BOOL 可转换的类型DOUBLE、BFLOAT16、FLOAT16、FLOAT32、INT32、UINT32、INT64、UINT64、INT16、UINT16、INT8、UINT8、BOOL、COMPLEX64、COMPLEX128ND0-8
workspaceSize(uint64_t*)输出需要在 Device 侧申请的 workspace 大小-----
executor(aclOpExecutor**)输出包含算子计算流程的执行器-----

Tensor 形态与 Scalar 形态的关键差异在于:other也必须是 ND 格式的aclTensor,且参与广播(broadcast)——selfother的 shape 需要满足 broadcast 关系,输出 shape 等于两者广播后的 shape。

约束与校验逻辑(错误码)

第一段接口完成全部入参校验,出现异常时通过aclnnStatus返回状态码(错误码含义可参考 aclnn返回码)。四个接口的校验错误场景如下:

aclnnGeScalarGetWorkspaceSize 报错场景:

返回码错误码描述
ACLNN_ERR_PARAM_NULLPTR161001self、other 或 out 是空指针
ACLNN_ERR_PARAM_INVALID161002self 和 out 的数据类型不在支持范围之内
ACLNN_ERR_PARAM_INVALID161002self 和 out 的维度大于 8
ACLNN_ERR_PARAM_INVALID161002self 和 out 的数据类型不满足数据类型推导规则
ACLNN_ERR_PARAM_INVALID161002self 和 out 的 shape 不同

aclnnGeTensorGetWorkspaceSize 报错场景:

返回码错误码描述
ACLNN_ERR_PARAM_NULLPTR161001self、other、out 是空指针
ACLNN_ERR_PARAM_INVALID161002self、other 或 out 的数据类型不在支持范围之内
ACLNN_ERR_PARAM_INVALID161002self、other 或 out 的维度大于 8
ACLNN_ERR_PARAM_INVALID161002self 和 other 的数据类型无法进行推导
ACLNN_ERR_PARAM_INVALID161002self 和 other 的 shape 无法进行 broadcast
ACLNN_ERR_PARAM_INVALID161002out 的 shape 与 broadcast 后的 shape 不一致

这些校验逻辑在源码中均有对应实现:空指针检查见CheckNotNull;dtype 检查见CheckDtypeValid(对照OUT_DTYPE_SUPPORT_LIST与按架构分发的GetDtypeSupportList);类型提升见CheckPromoteType;shape 检查见CheckShape(使用OP_CHECK_MAX_DIM限制最大维度DIM_BOUND = 8,tensor 形态还通过OP_CHECK_BROADCAST_AND_INFER_SHAPE校验广播结果),参见 aclnn_ge_tensor.cpp。

此外,约束说明中还强调:aclnnGeScalar / aclnnInplaceGeScalar 与 aclnnGeTensor / aclnnInplaceGeTensor 默认均为确定性实现(详见确定性计算)。

完整调用示例

以下为aclnnGeScalar的完整可运行示例(仓库中还提供有 test_aclnn_ge_scalar.cpp 与 test_aclnn_ge_tensor.cpp 可直接参考,编译执行流程见编译与运行样例):

#include <iostream> #include <vector> #include "acl/acl.h" #include "aclnnop/aclnn_ge_scalar.h" #define CHECK_RET(cond, return_expr) \ do { \ if (!(cond)) { \ return_expr; \ } \ } while (0) #define LOG_PRINT(message, ...) \ do { \ printf(message, ##__VA_ARGS__); \ } while (0) int64_t GetShapeSize(const std::vector<int64_t>& shape) { int64_t shapeSize = 1; for (auto i : shape) { shapeSize *= i; } return shapeSize; } int Init(int32_t deviceId, aclrtStream* stream) { auto ret = aclInit(nullptr); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclInit failed. ERROR: %d\n", ret); return ret); ret = aclrtSetDevice(deviceId); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSetDevice failed. ERROR: %d\n", ret); return ret); ret = aclrtCreateStream(stream); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtCreateStream failed. ERROR: %d\n", ret); return ret); return 0; } template <typename T> int CreateAclTensor(const std::vector<T>& hostData, const std::vector<int64_t>& shape, void** deviceAddr, aclDataType dataType, aclTensor** tensor) { auto size = GetShapeSize(shape) * sizeof(T); auto ret = aclrtMalloc(deviceAddr, size, ACL_MEM_MALLOC_HUGE_FIRST); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtMalloc failed. ERROR: %d\n", ret); return ret); ret = aclrtMemcpy(*deviceAddr, size, hostData.data(), size, ACL_MEMCPY_HOST_TO_DEVICE); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtMemcpy failed. ERROR: %d\n", ret); return ret); std::vector<int64_t> strides(shape.size(), 1); for (int64_t i = shape.size() - 2; i >= 0; i--) { strides[i] = shape[i + 1] * strides[i + 1]; } *tensor = aclCreateTensor(shape.data(), shape.size(), dataType, strides.data(), 0, aclFormat::ACL_FORMAT_ND, shape.data(), shape.size(), *deviceAddr); return 0; } int main() { // 1. device/stream 初始化 int32_t deviceId = 0; aclrtStream stream; auto ret = Init(deviceId, &stream); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("Init acl failed. ERROR: %d\n", ret); return ret); // 2. 构造输入与输出 std::vector<int64_t> selfShape = {4, 2}; std::vector<int64_t> outShape = {4, 2}; void* selfDeviceAddr = nullptr; void* outDeviceAddr = nullptr; aclTensor* self = nullptr; aclScalar* other = nullptr; aclTensor* out = nullptr; std::vector<float> selfHostData = {0, 1, 2, 3, 4, 5, 6, 7}; std::vector<char> outHostData(8, 0); float otherValue = 3.5f; ret = CreateAclTensor(selfHostData, selfShape, &selfDeviceAddr, aclDataType::ACL_FLOAT, &self); CHECK_RET(ret == ACL_SUCCESS, return ret); other = aclCreateScalar(&otherValue, aclDataType::ACL_FLOAT); CHECK_RET(other != nullptr, return ret); ret = CreateAclTensor(outHostData, outShape, &outDeviceAddr, aclDataType::ACL_BOOL, &out); CHECK_RET(ret == ACL_SUCCESS, return ret); // 3. 两段式调用 CANN 算子库 API uint64_t workspaceSize = 0; aclOpExecutor* executor; ret = aclnnGeScalarGetWorkspaceSize(self, other, out, &workspaceSize, &executor); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclnnGeScalarGetWorkspaceSize failed. ERROR: %d\n", ret); return ret); void* workspaceAddr = nullptr; if (workspaceSize > 0) { ret = aclrtMalloc(&workspaceAddr, workspaceSize, ACL_MEM_MALLOC_HUGE_FIRST); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("allocate workspace failed. ERROR: %d\n", ret); return ret); } ret = aclnnGeScalar(workspaceAddr, workspaceSize, executor, stream); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclnnGeScalar failed. ERROR: %d\n", ret); return ret); // 4. 同步等待任务执行结束 ret = aclrtSynchronizeStream(stream); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSynchronizeStream failed. ERROR: %d\n", ret); return ret); // 5. 将 device 侧结果拷回 host 并打印 auto size = GetShapeSize(outShape); std::vector<char> resultData(size, 0); ret = aclrtMemcpy(resultData.data(), resultData.size() * sizeof(resultData[0]), outDeviceAddr, size * sizeof(resultData[0]), ACL_MEMCPY_DEVICE_TO_HOST); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("copy result from device to host failed. ERROR: %d\n", ret); return ret); for (int64_t i = 0; i < size; i++) { LOG_PRINT("result[%ld] is: %d\n", i, resultData[i]); } // 6. 释放 aclTensor 与 aclScalar aclDestroyTensor(self); aclDestroyScalar(other); aclDestroyTensor(out); // 7. 释放 device 资源 aclrtFree(selfDeviceAddr); aclrtFree(outDeviceAddr); if (workspaceSize > 0) { aclrtFree(workspaceAddr); } aclrtDestroyStream(stream); aclrtResetDevice(deviceId); aclFinalize(); return 0; }

针对{0,1,2,3,4,5,6,7}(shape{4,2})与标量3.5f,输出应为{0,0,0,0,1,1,1,1}(即 4、5、6、7 大于等于 3.5,其余为 False)。inplace 版本差异仅在于:不再创建out,第一段接口为aclnnInplaceGeScalarGetWorkspaceSize(self, other, &workspaceSize, &executor),结果直接写回self所在内存,且回拷数据从selfDeviceAddr读取;同理可参考 test_aclnn_ge_tensor.cpp 将aclScalar替换为aclTensor使用aclnnGeTensor/aclnnInplaceGeTensor

源码级实现原理

类型提升与中间转换链

aclnnGeScalar为例,第一段接口在通过校验后构建如下计算链(aclnn_ge_scalar.cpp):

  1. self非连续时先经l0op::Contiguous转为连续张量;
  2. 通过ConvertToTensoraclScalar转为张量,并提升到推导出的promoteType
  3. l0op::Castself转换到promoteType
  4. 调用l0op::GreaterEqual完成逐元素比较,产出 BOOL 结果;
  5. l0op::Cast将 BOOL 结果转换为out声明的数据类型;
  6. out非连续,用l0op::ViewCopy写回非连续视图。

类型提升规则核心为PromoteType/CombineCategoriesWithComplex:布尔提升为 INT8 参与比较;浮点与复数按类别取更高精度类型(BF16 映射为 COMPLEX64 等);标量默认 dtype 由GetScalarDefaultDtype决定(浮点默认 FLOAT、复数默认 COMPLEX64)。这与 README 中"与 self 可广播、可类型提升"的表述一一对应。

AiCore / AiCpu 双路径调度

l0 算子 greater_equal.cpp 中GreaterEqual会先对selfother的 view shape 做BroadcastInferShape推导出输出 shape,再根据芯片架构与 dtype 决定计算路径:

  • IsAiCoreSupport依据当前 NPU 架构匹配支持列表(如 RegBase/950 支持 FLOAT、INT32、FP16、INT8、UINT8、BF16、INT64、UINT64、BOOL;Ascend 610Lite 等仅支持子集),满足条件则走GreaterEqualAiCore
  • 否则回退GreaterEqualAiCpu,通过 AICPU 任务空间执行。

Host 侧定义与 InferShape

  • 算子定义:greater_equal_def.cpp 注册GreaterEqual,声明x1x2输入与y输出的 dtype/format(ND),并针对ascend950ascend910_55配置 AICore 编译信息(动态 shape/rank 支持、PrecisionReduceFlag(true)等);
  • InferShape:greater_equal_infershape.cpp 直接复用Ops::Base::InferShape4Broadcast,即输出 shape 由广播规则推导——这解释了 README 约束说明中"以 aclnn 实现中的维度与 dtype 校验为准(例如 broadcast、最大维度等)"一句的由来。

Kernel 实现

AiCore kernel greater_equal_apt.cpp 使用BroadcastSch调度模板,按模板参数schMode选择调度模式;BOOL 输入会先转换为int8_t参与比较(见GreaterEqualOp::GreaterEqualCompute<int8_t>),其余 dtype 直接以DTYPE_X1实例化计算 DAG,DAG 定义位于 greater_equal_dag.h,tiling key 结构见 greater_equal_struct.h。

测试与验证

仓库为 GreaterEqual 提供了完整的单测与 ST 用例:

  • UT(op_host):test_greater_equal_infershape.cpp 覆盖 broadcast InferShape 逻辑;
  • UT(arch35 tiling):test_greater_equal_tiling_arch35.cpp 覆盖 950 架构 tiling 计算;
  • UT(op_api):test_aclnn_inplace_GeTensor.cpp 覆盖 inplace 形态接口调用链;
  • ST:all_aclnnGeScalar.json 与 all_aclnnGeTensor.json 提供接口级测试用例数据,可用于验证各 dtype、各 shape(含广播与最大维度边界)下的计算正确性。

开发者接入算子后,可通过构建 op_api UT 工程运行上述用例回归验证,确保接口行为与本文描述一致。

总结

GreaterEqual 是 ops-math 数学算子库中一个典型的逐元素二元比较算子:功能上覆盖"张量对张量"与"张量对标量"两种形态,并提供 inplace 版本避免额外输出内存;使用上遵循 CANN 两段式 aclnn 接口范式,支持 ND 格式、非连续 Tensor、0-8 维、多种数值类型与广播语义;实现上由 op_api 类型提升链路 + AiCore/AiCpu 双路径调度 + Broadcast 型 Kernel 组成。理解 README 与配套 API 文档中的参数约束和错误码语义,再结合本仓库源码与测试用例,即可在 Atlas 平台上正确、高效地使用与扩展该算子。

【免费下载链接】ops-math本项目是CANN提供的数学类基础计算算子库,实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-math

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/9/19 19:03:17

340+精选AI提示词模板:论文写作与PDF翻译的完整实操指南

340精选AI提示词模板&#xff1a;论文写作与PDF翻译的完整实操指南 【免费下载链接】awesome-prompts Curated list of chatgpt prompts from the top-rated GPTs in the GPTs Store. Prompt Engineering, prompt attack & prompt protect. Advanced Prompt Engineering pa…

作者头像 李华
网站建设 2026/9/19 19:02:17

方波信号的傅里叶分解与合成:MATLAB实验与吉布斯现象解析

简介&#xff1a;信号与系统课程中关于信号分解与合成实验的完整报告文档&#xff0c;适合电子信息类本科在读学生、备考或开展信号处理实验的初学者使用。内容依托实验五任务&#xff0c;涵盖方波与三角波信号的分解、各次谐波提取与再合成&#xff0c;并给出示波器观测结果、…

作者头像 李华
网站建设 2026/9/19 19:01:50

Nimmake:面向MCU的跨架构固件构建DSL工具

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

作者头像 李华
网站建设 2026/9/19 19:00:49

初中物理电路教学:从串并联定义到实物连接诊断

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

作者头像 李华