CANN ops-math GreaterEqual 算子使用指南:aclnnGeScalar / aclnnGeTensor 逐元素比较接口详解
【免费下载链接】ops-math本项目是CANN提供的数学类基础计算算子库,实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-math
GreaterEqual(>=)是 CANN ops-math 数学算子库中提供的逐元素比较算子,用于在 NPU 上判断张量每个元素是否大于等于另一个张量或标量,输出 BOOL 类型结果。本文以 experimental/math/greater_equal/README.md 为核心,结合配套的 aclnnGeScalar 接口文档、aclnnGeTensor 接口文档 以及 op_api / op_host / op_kernel 源码,系统讲解算子的功能语义、两段式调用流程、四种 API 的完整原型与参数约束、错误码含义,并从源码层面剖析类型提升、Broadcast、AiCore/AiCpu 调度与 Kernel 实现,帮助开发者在 Atlas 训练/推理产品上快速完成 GreaterEqual 的接入与调优。
算子功能与数学语义
GreaterEqual 算子逐元素比较输入self与other(可以是 tensor 或 scalar),判断每个位置是否满足self >= other,并将比较结果写入 BOOL 类型输出张量的对应位置。
计算公式(tensor 形态):
$$out_i = (self_i \geq other_i) ? True : False$$
计算公式(scalar 形态):
$$out_i = (self_i \geq other) ? True : False$$
典型应用场景包括阈值过滤、Mask 生成、条件分支计算等需要在 NPU 上批量做大小比较的网络结构。该算子在 greater_equal_def.cpp 中通过OP_ADD(GreaterEqual)完成算子注册,输入为x1、x2两个 REQUIRED 张量,输出为y,输入数据类型覆盖 BF16、FP16、FP32、INT32、UINT32、UINT16、INT16、UINT8、INT8、INT64、UINT64、BOOL 共 12 种,输出统一为DT_BOOL。
产品支持情况
README 中声明的产品支持矩阵如下:
| 产品 | 是否支持 |
|---|---|
| Atlas A2 训练系列产品 / Atlas 800I A2 推理产品 / A200I A2 Box 异构组件 | √ |
配套 API 文档进一步细化了四个接口在各芯片形态上的支持情况:
| 产品 | 是否支持 |
|---|---|
| Ascend 950PR / Ascend 950DT | √ |
| Atlas A3 训练系列产品 / Atlas A3 推理系列产品 | √ |
| Atlas A2 训练系列产品 / Atlas A2 推理系列产品 | √ |
| Atlas 200I/500 A2 推理产品 | × |
| Atlas 推理系列产品 | √ |
| Atlas 训练系列产品 | √ |
需要注意两个产品级 dtype 约束(在 aclnn_ge_scalar.cpp 与 aclnn_ge_tensor.cpp 中均有体现):
- Atlas 推理系列产品、Atlas 训练系列产品不支持 BFLOAT16;
- 是否支持 BF16 由
CheckSocExtraType按当前 NPU 架构(如DAV_2201或 RegBase 架构)动态判定。
两段式接口:先 GetWorkspaceSize 再执行
GreaterEqual 的四个对外接口都采用 CANN 标准的两段式接口设计:必须先调用 GetWorkspaceSize 段获取 workspace 大小与执行器,再调用执行段在指定 Stream 上提交计算。整体调用模式为:
aclnnGeScalarGetWorkspaceSize(self, other, out, &workspaceSize, &executor) -> 校验入参、构建算子执行流程、返回 workspace 大小 aclnnGeScalar(workspace, workspaceSize, executor, stream) -> 在 Device 上执行计算从源码看,aclnnGeScalarGetWorkspaceSize内部先通过CREATE_EXECUTOR()创建OpExecutor,随后执行四步入参检查(空指针、dtype 合法性、类型可提升性、shape 约束),通过后调用l0op::Contiguous、ConvertToTensor、l0op::Cast、l0op::GreaterEqual、l0op::ViewCopy组合出完整计算图,最后通过GetWorkspaceSize()汇总中间过程所需内存,见 aclnn_ge_scalar.cpp。
aclnnGeScalar / aclnnInplaceGeScalar:与标量比较
函数原型
aclnnStatus aclnnGeScalarGetWorkspaceSize( const aclTensor* self, const aclScalar* other, aclTensor* out, uint64_t* workspaceSize, aclOpExecutor** executor) aclnnStatus aclnnGeScalar( void* workspace, uint64_t workspaceSize, aclOpExecutor* executor, const aclrtStream stream) aclnnStatus aclnnInplaceGeScalarGetWorkspaceSize( aclTensor* selfRef, const aclScalar* other, uint64_t* workspaceSize, aclOpExecutor** executor) aclnnStatus aclnnInplaceGeScalar( void* workspace, uint64_t workspaceSize, aclOpExecutor* executor, const aclrtStream stream)参数说明(GetWorkspaceSize 段)
| 参数名 | 输入/输出 | 描述 | 使用说明 | 数据类型 | 数据格式 | 维度(shape) | 非连续 Tensor |
|---|---|---|---|---|---|---|---|
| self(aclTensor*) | 输入 | 参与比较的输入张量 | - | DOUBLE、BFLOAT16、FLOAT16、FLOAT、INT32、UINT32、INT64、UINT64、INT16、UINT16、INT8、UINT8、BOOL | ND | 0-8 | √ |
| other(aclScalar*) | 输入 | 参与比较的输入标量 | 数据类型需与 self 满足数据类型推导规则 | 同上(标量) | - | - | - |
| out(aclTensor*) | 输出 | 比较结果输出 | 数据类型需是 BOOL 可转换的类型,shape 与 self 相同 | DOUBLE、BFLOAT16、FLOAT16、FLOAT、INT32、UINT32、INT64、UINT64、INT16、UINT16、INT8、UINT8、BOOL、COMPLEX64、COMPLEX128 | ND | 0-8 | √ |
| workspaceSize(uint64_t*) | 输出 | 需要在 Device 侧申请的 workspace 大小 | - | - | - | - | - |
| executor(aclOpExecutor**) | 输出 | 包含算子计算流程的执行器 | - | - | - | - | - |
对于 inplace 版本,selfRef同时充当输入与输出(即公式中的 self 与 out 为同一块内存),因此不再单独传out,参数为selfRef、other、workspaceSize、executor四个。
执行段参数
| 参数名 | 输入/输出 | 描述 |
|---|---|---|
| workspace | 输入 | 在 Device 侧申请的 workspace 内存地址 |
| workspaceSize | 输入 | workspace 大小,由第一段接口返回 |
| executor | 输入 | 第一段接口返回的 op 执行器 |
| stream | 输入 | 指定执行任务的 Stream |
aclnnGeTensor / aclnnInplaceGeTensor:与张量比较
函数原型
aclnnStatus aclnnGeTensorGetWorkspaceSize( const aclTensor* self, const aclTensor* other, aclTensor* out, uint64_t* workspaceSize, aclOpExecutor** executor) aclnnStatus aclnnGeTensor( void* workspace, uint64_t workspaceSize, aclOpExecutor* executor, const aclrtStream stream) aclnnStatus aclnnInplaceGeTensorGetWorkspaceSize( aclTensor* selfRef, const aclTensor* other, uint64_t* workspaceSize, aclOpExecutor** executor) aclnnStatus aclnnInplaceGeTensor( void* workspace, uint64_t workspaceSize, aclOpExecutor* executor, const aclrtStream stream)参数说明(GetWorkspaceSize 段)
| 参数名 | 输入/输出 | 描述 | 使用说明 | 数据类型 | 数据格式 | 维度(shape) | 非连续 Tensor |
|---|---|---|---|---|---|---|---|
| self(aclTensor*) | 输入 | 参与比较的输入张量 | - | DOUBLE、FLOAT16、FLOAT32、INT32、UINT32、INT64、UINT64、INT16、UINT16、INT8、UINT8、BOOL、BFLOAT16 | ND | 0-8 | √ |
| other(aclTensor*) | 输入 | 参与比较的输入张量 | 数据类型需与 self 满足数据类型推导规则,shape 需与 self 满足broadcast 关系 | 同上 | ND | 0-8 | √ |
| out(aclTensor*) | 输出 | 比较结果输出 | 数据类型需是 BOOL 可转换的类型 | DOUBLE、BFLOAT16、FLOAT16、FLOAT32、INT32、UINT32、INT64、UINT64、INT16、UINT16、INT8、UINT8、BOOL、COMPLEX64、COMPLEX128 | ND | 0-8 | √ |
| workspaceSize(uint64_t*) | 输出 | 需要在 Device 侧申请的 workspace 大小 | - | - | - | - | - |
| executor(aclOpExecutor**) | 输出 | 包含算子计算流程的执行器 | - | - | - | - | - |
Tensor 形态与 Scalar 形态的关键差异在于:other也必须是 ND 格式的aclTensor,且参与广播(broadcast)——self与other的 shape 需要满足 broadcast 关系,输出 shape 等于两者广播后的 shape。
约束与校验逻辑(错误码)
第一段接口完成全部入参校验,出现异常时通过aclnnStatus返回状态码(错误码含义可参考 aclnn返回码)。四个接口的校验错误场景如下:
aclnnGeScalarGetWorkspaceSize 报错场景:
| 返回码 | 错误码 | 描述 |
|---|---|---|
| ACLNN_ERR_PARAM_NULLPTR | 161001 | self、other 或 out 是空指针 |
| ACLNN_ERR_PARAM_INVALID | 161002 | self 和 out 的数据类型不在支持范围之内 |
| ACLNN_ERR_PARAM_INVALID | 161002 | self 和 out 的维度大于 8 |
| ACLNN_ERR_PARAM_INVALID | 161002 | self 和 out 的数据类型不满足数据类型推导规则 |
| ACLNN_ERR_PARAM_INVALID | 161002 | self 和 out 的 shape 不同 |
aclnnGeTensorGetWorkspaceSize 报错场景:
| 返回码 | 错误码 | 描述 |
|---|---|---|
| ACLNN_ERR_PARAM_NULLPTR | 161001 | self、other、out 是空指针 |
| ACLNN_ERR_PARAM_INVALID | 161002 | self、other 或 out 的数据类型不在支持范围之内 |
| ACLNN_ERR_PARAM_INVALID | 161002 | self、other 或 out 的维度大于 8 |
| ACLNN_ERR_PARAM_INVALID | 161002 | self 和 other 的数据类型无法进行推导 |
| ACLNN_ERR_PARAM_INVALID | 161002 | self 和 other 的 shape 无法进行 broadcast |
| ACLNN_ERR_PARAM_INVALID | 161002 | out 的 shape 与 broadcast 后的 shape 不一致 |
这些校验逻辑在源码中均有对应实现:空指针检查见CheckNotNull;dtype 检查见CheckDtypeValid(对照OUT_DTYPE_SUPPORT_LIST与按架构分发的GetDtypeSupportList);类型提升见CheckPromoteType;shape 检查见CheckShape(使用OP_CHECK_MAX_DIM限制最大维度DIM_BOUND = 8,tensor 形态还通过OP_CHECK_BROADCAST_AND_INFER_SHAPE校验广播结果),参见 aclnn_ge_tensor.cpp。
此外,约束说明中还强调:aclnnGeScalar / aclnnInplaceGeScalar 与 aclnnGeTensor / aclnnInplaceGeTensor 默认均为确定性实现(详见确定性计算)。
完整调用示例
以下为aclnnGeScalar的完整可运行示例(仓库中还提供有 test_aclnn_ge_scalar.cpp 与 test_aclnn_ge_tensor.cpp 可直接参考,编译执行流程见编译与运行样例):
#include <iostream> #include <vector> #include "acl/acl.h" #include "aclnnop/aclnn_ge_scalar.h" #define CHECK_RET(cond, return_expr) \ do { \ if (!(cond)) { \ return_expr; \ } \ } while (0) #define LOG_PRINT(message, ...) \ do { \ printf(message, ##__VA_ARGS__); \ } while (0) int64_t GetShapeSize(const std::vector<int64_t>& shape) { int64_t shapeSize = 1; for (auto i : shape) { shapeSize *= i; } return shapeSize; } int Init(int32_t deviceId, aclrtStream* stream) { auto ret = aclInit(nullptr); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclInit failed. ERROR: %d\n", ret); return ret); ret = aclrtSetDevice(deviceId); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSetDevice failed. ERROR: %d\n", ret); return ret); ret = aclrtCreateStream(stream); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtCreateStream failed. ERROR: %d\n", ret); return ret); return 0; } template <typename T> int CreateAclTensor(const std::vector<T>& hostData, const std::vector<int64_t>& shape, void** deviceAddr, aclDataType dataType, aclTensor** tensor) { auto size = GetShapeSize(shape) * sizeof(T); auto ret = aclrtMalloc(deviceAddr, size, ACL_MEM_MALLOC_HUGE_FIRST); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtMalloc failed. ERROR: %d\n", ret); return ret); ret = aclrtMemcpy(*deviceAddr, size, hostData.data(), size, ACL_MEMCPY_HOST_TO_DEVICE); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtMemcpy failed. ERROR: %d\n", ret); return ret); std::vector<int64_t> strides(shape.size(), 1); for (int64_t i = shape.size() - 2; i >= 0; i--) { strides[i] = shape[i + 1] * strides[i + 1]; } *tensor = aclCreateTensor(shape.data(), shape.size(), dataType, strides.data(), 0, aclFormat::ACL_FORMAT_ND, shape.data(), shape.size(), *deviceAddr); return 0; } int main() { // 1. device/stream 初始化 int32_t deviceId = 0; aclrtStream stream; auto ret = Init(deviceId, &stream); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("Init acl failed. ERROR: %d\n", ret); return ret); // 2. 构造输入与输出 std::vector<int64_t> selfShape = {4, 2}; std::vector<int64_t> outShape = {4, 2}; void* selfDeviceAddr = nullptr; void* outDeviceAddr = nullptr; aclTensor* self = nullptr; aclScalar* other = nullptr; aclTensor* out = nullptr; std::vector<float> selfHostData = {0, 1, 2, 3, 4, 5, 6, 7}; std::vector<char> outHostData(8, 0); float otherValue = 3.5f; ret = CreateAclTensor(selfHostData, selfShape, &selfDeviceAddr, aclDataType::ACL_FLOAT, &self); CHECK_RET(ret == ACL_SUCCESS, return ret); other = aclCreateScalar(&otherValue, aclDataType::ACL_FLOAT); CHECK_RET(other != nullptr, return ret); ret = CreateAclTensor(outHostData, outShape, &outDeviceAddr, aclDataType::ACL_BOOL, &out); CHECK_RET(ret == ACL_SUCCESS, return ret); // 3. 两段式调用 CANN 算子库 API uint64_t workspaceSize = 0; aclOpExecutor* executor; ret = aclnnGeScalarGetWorkspaceSize(self, other, out, &workspaceSize, &executor); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclnnGeScalarGetWorkspaceSize failed. ERROR: %d\n", ret); return ret); void* workspaceAddr = nullptr; if (workspaceSize > 0) { ret = aclrtMalloc(&workspaceAddr, workspaceSize, ACL_MEM_MALLOC_HUGE_FIRST); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("allocate workspace failed. ERROR: %d\n", ret); return ret); } ret = aclnnGeScalar(workspaceAddr, workspaceSize, executor, stream); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclnnGeScalar failed. ERROR: %d\n", ret); return ret); // 4. 同步等待任务执行结束 ret = aclrtSynchronizeStream(stream); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSynchronizeStream failed. ERROR: %d\n", ret); return ret); // 5. 将 device 侧结果拷回 host 并打印 auto size = GetShapeSize(outShape); std::vector<char> resultData(size, 0); ret = aclrtMemcpy(resultData.data(), resultData.size() * sizeof(resultData[0]), outDeviceAddr, size * sizeof(resultData[0]), ACL_MEMCPY_DEVICE_TO_HOST); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("copy result from device to host failed. ERROR: %d\n", ret); return ret); for (int64_t i = 0; i < size; i++) { LOG_PRINT("result[%ld] is: %d\n", i, resultData[i]); } // 6. 释放 aclTensor 与 aclScalar aclDestroyTensor(self); aclDestroyScalar(other); aclDestroyTensor(out); // 7. 释放 device 资源 aclrtFree(selfDeviceAddr); aclrtFree(outDeviceAddr); if (workspaceSize > 0) { aclrtFree(workspaceAddr); } aclrtDestroyStream(stream); aclrtResetDevice(deviceId); aclFinalize(); return 0; }针对{0,1,2,3,4,5,6,7}(shape{4,2})与标量3.5f,输出应为{0,0,0,0,1,1,1,1}(即 4、5、6、7 大于等于 3.5,其余为 False)。inplace 版本差异仅在于:不再创建out,第一段接口为aclnnInplaceGeScalarGetWorkspaceSize(self, other, &workspaceSize, &executor),结果直接写回self所在内存,且回拷数据从selfDeviceAddr读取;同理可参考 test_aclnn_ge_tensor.cpp 将aclScalar替换为aclTensor使用aclnnGeTensor/aclnnInplaceGeTensor。
源码级实现原理
类型提升与中间转换链
以aclnnGeScalar为例,第一段接口在通过校验后构建如下计算链(aclnn_ge_scalar.cpp):
self非连续时先经l0op::Contiguous转为连续张量;- 通过
ConvertToTensor将aclScalar转为张量,并提升到推导出的promoteType; l0op::Cast将self转换到promoteType;- 调用
l0op::GreaterEqual完成逐元素比较,产出 BOOL 结果; - 再
l0op::Cast将 BOOL 结果转换为out声明的数据类型; - 若
out非连续,用l0op::ViewCopy写回非连续视图。
类型提升规则核心为PromoteType/CombineCategoriesWithComplex:布尔提升为 INT8 参与比较;浮点与复数按类别取更高精度类型(BF16 映射为 COMPLEX64 等);标量默认 dtype 由GetScalarDefaultDtype决定(浮点默认 FLOAT、复数默认 COMPLEX64)。这与 README 中"与 self 可广播、可类型提升"的表述一一对应。
AiCore / AiCpu 双路径调度
l0 算子 greater_equal.cpp 中GreaterEqual会先对self、other的 view shape 做BroadcastInferShape推导出输出 shape,再根据芯片架构与 dtype 决定计算路径:
IsAiCoreSupport依据当前 NPU 架构匹配支持列表(如 RegBase/950 支持 FLOAT、INT32、FP16、INT8、UINT8、BF16、INT64、UINT64、BOOL;Ascend 610Lite 等仅支持子集),满足条件则走GreaterEqualAiCore;- 否则回退
GreaterEqualAiCpu,通过 AICPU 任务空间执行。
Host 侧定义与 InferShape
- 算子定义:greater_equal_def.cpp 注册
GreaterEqual,声明x1、x2输入与y输出的 dtype/format(ND),并针对ascend950、ascend910_55配置 AICore 编译信息(动态 shape/rank 支持、PrecisionReduceFlag(true)等); - InferShape:greater_equal_infershape.cpp 直接复用
Ops::Base::InferShape4Broadcast,即输出 shape 由广播规则推导——这解释了 README 约束说明中"以 aclnn 实现中的维度与 dtype 校验为准(例如 broadcast、最大维度等)"一句的由来。
Kernel 实现
AiCore kernel greater_equal_apt.cpp 使用BroadcastSch调度模板,按模板参数schMode选择调度模式;BOOL 输入会先转换为int8_t参与比较(见GreaterEqualOp::GreaterEqualCompute<int8_t>),其余 dtype 直接以DTYPE_X1实例化计算 DAG,DAG 定义位于 greater_equal_dag.h,tiling key 结构见 greater_equal_struct.h。
测试与验证
仓库为 GreaterEqual 提供了完整的单测与 ST 用例:
- UT(op_host):test_greater_equal_infershape.cpp 覆盖 broadcast InferShape 逻辑;
- UT(arch35 tiling):test_greater_equal_tiling_arch35.cpp 覆盖 950 架构 tiling 计算;
- UT(op_api):test_aclnn_inplace_GeTensor.cpp 覆盖 inplace 形态接口调用链;
- ST:all_aclnnGeScalar.json 与 all_aclnnGeTensor.json 提供接口级测试用例数据,可用于验证各 dtype、各 shape(含广播与最大维度边界)下的计算正确性。
开发者接入算子后,可通过构建 op_api UT 工程运行上述用例回归验证,确保接口行为与本文描述一致。
总结
GreaterEqual 是 ops-math 数学算子库中一个典型的逐元素二元比较算子:功能上覆盖"张量对张量"与"张量对标量"两种形态,并提供 inplace 版本避免额外输出内存;使用上遵循 CANN 两段式 aclnn 接口范式,支持 ND 格式、非连续 Tensor、0-8 维、多种数值类型与广播语义;实现上由 op_api 类型提升链路 + AiCore/AiCpu 双路径调度 + Broadcast 型 Kernel 组成。理解 README 与配套 API 文档中的参数约束和错误码语义,再结合本仓库源码与测试用例,即可在 Atlas 平台上正确、高效地使用与扩展该算子。
【免费下载链接】ops-math本项目是CANN提供的数学类基础计算算子库,实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-math
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考