CANN ops-math GreaterEqual 算子使用指南aclnnGeScalar / aclnnGeTensor 逐元素比较接口详解【免费下载链接】ops-math本项目是CANN提供的数学类基础计算算子库实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-mathGreaterEqual是 CANN ops-math 数学算子库中提供的逐元素比较算子用于在 NPU 上判断张量每个元素是否大于等于另一个张量或标量输出 BOOL 类型结果。本文以 experimental/math/greater_equal/README.md 为核心结合配套的 aclnnGeScalar 接口文档、aclnnGeTensor 接口文档 以及 op_api / op_host / op_kernel 源码系统讲解算子的功能语义、两段式调用流程、四种 API 的完整原型与参数约束、错误码含义并从源码层面剖析类型提升、Broadcast、AiCore/AiCpu 调度与 Kernel 实现帮助开发者在 Atlas 训练/推理产品上快速完成 GreaterEqual 的接入与调优。算子功能与数学语义GreaterEqual 算子逐元素比较输入self与other可以是 tensor 或 scalar判断每个位置是否满足self other并将比较结果写入 BOOL 类型输出张量的对应位置。计算公式tensor 形态$$out_i (self_i \geq other_i) ? True : False$$计算公式scalar 形态$$out_i (self_i \geq other) ? True : False$$典型应用场景包括阈值过滤、Mask 生成、条件分支计算等需要在 NPU 上批量做大小比较的网络结构。该算子在 greater_equal_def.cpp 中通过OP_ADD(GreaterEqual)完成算子注册输入为x1、x2两个 REQUIRED 张量输出为y输入数据类型覆盖 BF16、FP16、FP32、INT32、UINT32、UINT16、INT16、UINT8、INT8、INT64、UINT64、BOOL 共 12 种输出统一为DT_BOOL。产品支持情况README 中声明的产品支持矩阵如下产品是否支持Atlas A2 训练系列产品 / Atlas 800I A2 推理产品 / A200I A2 Box 异构组件√配套 API 文档进一步细化了四个接口在各芯片形态上的支持情况产品是否支持Ascend 950PR / Ascend 950DT√Atlas A3 训练系列产品 / Atlas A3 推理系列产品√Atlas A2 训练系列产品 / Atlas A2 推理系列产品√Atlas 200I/500 A2 推理产品×Atlas 推理系列产品√Atlas 训练系列产品√需要注意两个产品级 dtype 约束在 aclnn_ge_scalar.cpp 与 aclnn_ge_tensor.cpp 中均有体现Atlas 推理系列产品、Atlas 训练系列产品不支持 BFLOAT16是否支持 BF16 由CheckSocExtraType按当前 NPU 架构如DAV_2201或 RegBase 架构动态判定。两段式接口先 GetWorkspaceSize 再执行GreaterEqual 的四个对外接口都采用 CANN 标准的两段式接口设计必须先调用 GetWorkspaceSize 段获取 workspace 大小与执行器再调用执行段在指定 Stream 上提交计算。整体调用模式为aclnnGeScalarGetWorkspaceSize(self, other, out, workspaceSize, executor) - 校验入参、构建算子执行流程、返回 workspace 大小 aclnnGeScalar(workspace, workspaceSize, executor, stream) - 在 Device 上执行计算从源码看aclnnGeScalarGetWorkspaceSize内部先通过CREATE_EXECUTOR()创建OpExecutor随后执行四步入参检查空指针、dtype 合法性、类型可提升性、shape 约束通过后调用l0op::Contiguous、ConvertToTensor、l0op::Cast、l0op::GreaterEqual、l0op::ViewCopy组合出完整计算图最后通过GetWorkspaceSize()汇总中间过程所需内存见 aclnn_ge_scalar.cpp。aclnnGeScalar / aclnnInplaceGeScalar与标量比较函数原型aclnnStatus aclnnGeScalarGetWorkspaceSize( const aclTensor* self, const aclScalar* other, aclTensor* out, uint64_t* workspaceSize, aclOpExecutor** executor) aclnnStatus aclnnGeScalar( void* workspace, uint64_t workspaceSize, aclOpExecutor* executor, const aclrtStream stream) aclnnStatus aclnnInplaceGeScalarGetWorkspaceSize( aclTensor* selfRef, const aclScalar* other, uint64_t* workspaceSize, aclOpExecutor** executor) aclnnStatus aclnnInplaceGeScalar( void* workspace, uint64_t workspaceSize, aclOpExecutor* executor, const aclrtStream stream)参数说明GetWorkspaceSize 段参数名输入/输出描述使用说明数据类型数据格式维度(shape)非连续 TensorselfaclTensor*输入参与比较的输入张量-DOUBLE、BFLOAT16、FLOAT16、FLOAT、INT32、UINT32、INT64、UINT64、INT16、UINT16、INT8、UINT8、BOOLND0-8√otheraclScalar*输入参与比较的输入标量数据类型需与 self 满足数据类型推导规则同上标量---outaclTensor*输出比较结果输出数据类型需是 BOOL 可转换的类型shape 与 self 相同DOUBLE、BFLOAT16、FLOAT16、FLOAT、INT32、UINT32、INT64、UINT64、INT16、UINT16、INT8、UINT8、BOOL、COMPLEX64、COMPLEX128ND0-8√workspaceSizeuint64_t*输出需要在 Device 侧申请的 workspace 大小-----executoraclOpExecutor**输出包含算子计算流程的执行器-----对于 inplace 版本selfRef同时充当输入与输出即公式中的 self 与 out 为同一块内存因此不再单独传out参数为selfRef、other、workspaceSize、executor四个。执行段参数参数名输入/输出描述workspace输入在 Device 侧申请的 workspace 内存地址workspaceSize输入workspace 大小由第一段接口返回executor输入第一段接口返回的 op 执行器stream输入指定执行任务的 StreamaclnnGeTensor / aclnnInplaceGeTensor与张量比较函数原型aclnnStatus aclnnGeTensorGetWorkspaceSize( const aclTensor* self, const aclTensor* other, aclTensor* out, uint64_t* workspaceSize, aclOpExecutor** executor) aclnnStatus aclnnGeTensor( void* workspace, uint64_t workspaceSize, aclOpExecutor* executor, const aclrtStream stream) aclnnStatus aclnnInplaceGeTensorGetWorkspaceSize( aclTensor* selfRef, const aclTensor* other, uint64_t* workspaceSize, aclOpExecutor** executor) aclnnStatus aclnnInplaceGeTensor( void* workspace, uint64_t workspaceSize, aclOpExecutor* executor, const aclrtStream stream)参数说明GetWorkspaceSize 段参数名输入/输出描述使用说明数据类型数据格式维度(shape)非连续 TensorselfaclTensor*输入参与比较的输入张量-DOUBLE、FLOAT16、FLOAT32、INT32、UINT32、INT64、UINT64、INT16、UINT16、INT8、UINT8、BOOL、BFLOAT16ND0-8√otheraclTensor*输入参与比较的输入张量数据类型需与 self 满足数据类型推导规则shape 需与 self 满足broadcast 关系同上ND0-8√outaclTensor*输出比较结果输出数据类型需是 BOOL 可转换的类型DOUBLE、BFLOAT16、FLOAT16、FLOAT32、INT32、UINT32、INT64、UINT64、INT16、UINT16、INT8、UINT8、BOOL、COMPLEX64、COMPLEX128ND0-8√workspaceSizeuint64_t*输出需要在 Device 侧申请的 workspace 大小-----executoraclOpExecutor**输出包含算子计算流程的执行器-----Tensor 形态与 Scalar 形态的关键差异在于other也必须是 ND 格式的aclTensor且参与广播broadcast——self与other的 shape 需要满足 broadcast 关系输出 shape 等于两者广播后的 shape。约束与校验逻辑错误码第一段接口完成全部入参校验出现异常时通过aclnnStatus返回状态码错误码含义可参考 aclnn返回码。四个接口的校验错误场景如下aclnnGeScalarGetWorkspaceSize 报错场景返回码错误码描述ACLNN_ERR_PARAM_NULLPTR161001self、other 或 out 是空指针ACLNN_ERR_PARAM_INVALID161002self 和 out 的数据类型不在支持范围之内ACLNN_ERR_PARAM_INVALID161002self 和 out 的维度大于 8ACLNN_ERR_PARAM_INVALID161002self 和 out 的数据类型不满足数据类型推导规则ACLNN_ERR_PARAM_INVALID161002self 和 out 的 shape 不同aclnnGeTensorGetWorkspaceSize 报错场景返回码错误码描述ACLNN_ERR_PARAM_NULLPTR161001self、other、out 是空指针ACLNN_ERR_PARAM_INVALID161002self、other 或 out 的数据类型不在支持范围之内ACLNN_ERR_PARAM_INVALID161002self、other 或 out 的维度大于 8ACLNN_ERR_PARAM_INVALID161002self 和 other 的数据类型无法进行推导ACLNN_ERR_PARAM_INVALID161002self 和 other 的 shape 无法进行 broadcastACLNN_ERR_PARAM_INVALID161002out 的 shape 与 broadcast 后的 shape 不一致这些校验逻辑在源码中均有对应实现空指针检查见CheckNotNulldtype 检查见CheckDtypeValid对照OUT_DTYPE_SUPPORT_LIST与按架构分发的GetDtypeSupportList类型提升见CheckPromoteTypeshape 检查见CheckShape使用OP_CHECK_MAX_DIM限制最大维度DIM_BOUND 8tensor 形态还通过OP_CHECK_BROADCAST_AND_INFER_SHAPE校验广播结果参见 aclnn_ge_tensor.cpp。此外约束说明中还强调aclnnGeScalar / aclnnInplaceGeScalar 与 aclnnGeTensor / aclnnInplaceGeTensor 默认均为确定性实现详见确定性计算。完整调用示例以下为aclnnGeScalar的完整可运行示例仓库中还提供有 test_aclnn_ge_scalar.cpp 与 test_aclnn_ge_tensor.cpp 可直接参考编译执行流程见编译与运行样例#include iostream #include vector #include acl/acl.h #include aclnnop/aclnn_ge_scalar.h #define CHECK_RET(cond, return_expr) \ do { \ if (!(cond)) { \ return_expr; \ } \ } while (0) #define LOG_PRINT(message, ...) \ do { \ printf(message, ##__VA_ARGS__); \ } while (0) int64_t GetShapeSize(const std::vectorint64_t shape) { int64_t shapeSize 1; for (auto i : shape) { shapeSize * i; } return shapeSize; } int Init(int32_t deviceId, aclrtStream* stream) { auto ret aclInit(nullptr); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclInit failed. ERROR: %d\n, ret); return ret); ret aclrtSetDevice(deviceId); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclrtSetDevice failed. ERROR: %d\n, ret); return ret); ret aclrtCreateStream(stream); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclrtCreateStream failed. ERROR: %d\n, ret); return ret); return 0; } template typename T int CreateAclTensor(const std::vectorT hostData, const std::vectorint64_t shape, void** deviceAddr, aclDataType dataType, aclTensor** tensor) { auto size GetShapeSize(shape) * sizeof(T); auto ret aclrtMalloc(deviceAddr, size, ACL_MEM_MALLOC_HUGE_FIRST); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclrtMalloc failed. ERROR: %d\n, ret); return ret); ret aclrtMemcpy(*deviceAddr, size, hostData.data(), size, ACL_MEMCPY_HOST_TO_DEVICE); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclrtMemcpy failed. ERROR: %d\n, ret); return ret); std::vectorint64_t strides(shape.size(), 1); for (int64_t i shape.size() - 2; i 0; i--) { strides[i] shape[i 1] * strides[i 1]; } *tensor aclCreateTensor(shape.data(), shape.size(), dataType, strides.data(), 0, aclFormat::ACL_FORMAT_ND, shape.data(), shape.size(), *deviceAddr); return 0; } int main() { // 1. device/stream 初始化 int32_t deviceId 0; aclrtStream stream; auto ret Init(deviceId, stream); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(Init acl failed. ERROR: %d\n, ret); return ret); // 2. 构造输入与输出 std::vectorint64_t selfShape {4, 2}; std::vectorint64_t outShape {4, 2}; void* selfDeviceAddr nullptr; void* outDeviceAddr nullptr; aclTensor* self nullptr; aclScalar* other nullptr; aclTensor* out nullptr; std::vectorfloat selfHostData {0, 1, 2, 3, 4, 5, 6, 7}; std::vectorchar outHostData(8, 0); float otherValue 3.5f; ret CreateAclTensor(selfHostData, selfShape, selfDeviceAddr, aclDataType::ACL_FLOAT, self); CHECK_RET(ret ACL_SUCCESS, return ret); other aclCreateScalar(otherValue, aclDataType::ACL_FLOAT); CHECK_RET(other ! nullptr, return ret); ret CreateAclTensor(outHostData, outShape, outDeviceAddr, aclDataType::ACL_BOOL, out); CHECK_RET(ret ACL_SUCCESS, return ret); // 3. 两段式调用 CANN 算子库 API uint64_t workspaceSize 0; aclOpExecutor* executor; ret aclnnGeScalarGetWorkspaceSize(self, other, out, workspaceSize, executor); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclnnGeScalarGetWorkspaceSize failed. ERROR: %d\n, ret); return ret); void* workspaceAddr nullptr; if (workspaceSize 0) { ret aclrtMalloc(workspaceAddr, workspaceSize, ACL_MEM_MALLOC_HUGE_FIRST); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(allocate workspace failed. ERROR: %d\n, ret); return ret); } ret aclnnGeScalar(workspaceAddr, workspaceSize, executor, stream); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclnnGeScalar failed. ERROR: %d\n, ret); return ret); // 4. 同步等待任务执行结束 ret aclrtSynchronizeStream(stream); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclrtSynchronizeStream failed. ERROR: %d\n, ret); return ret); // 5. 将 device 侧结果拷回 host 并打印 auto size GetShapeSize(outShape); std::vectorchar resultData(size, 0); ret aclrtMemcpy(resultData.data(), resultData.size() * sizeof(resultData[0]), outDeviceAddr, size * sizeof(resultData[0]), ACL_MEMCPY_DEVICE_TO_HOST); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(copy result from device to host failed. ERROR: %d\n, ret); return ret); for (int64_t i 0; i size; i) { LOG_PRINT(result[%ld] is: %d\n, i, resultData[i]); } // 6. 释放 aclTensor 与 aclScalar aclDestroyTensor(self); aclDestroyScalar(other); aclDestroyTensor(out); // 7. 释放 device 资源 aclrtFree(selfDeviceAddr); aclrtFree(outDeviceAddr); if (workspaceSize 0) { aclrtFree(workspaceAddr); } aclrtDestroyStream(stream); aclrtResetDevice(deviceId); aclFinalize(); return 0; }针对{0,1,2,3,4,5,6,7}shape{4,2}与标量3.5f输出应为{0,0,0,0,1,1,1,1}即 4、5、6、7 大于等于 3.5其余为 False。inplace 版本差异仅在于不再创建out第一段接口为aclnnInplaceGeScalarGetWorkspaceSize(self, other, workspaceSize, executor)结果直接写回self所在内存且回拷数据从selfDeviceAddr读取同理可参考 test_aclnn_ge_tensor.cpp 将aclScalar替换为aclTensor使用aclnnGeTensor/aclnnInplaceGeTensor。源码级实现原理类型提升与中间转换链以aclnnGeScalar为例第一段接口在通过校验后构建如下计算链aclnn_ge_scalar.cppself非连续时先经l0op::Contiguous转为连续张量通过ConvertToTensor将aclScalar转为张量并提升到推导出的promoteTypel0op::Cast将self转换到promoteType调用l0op::GreaterEqual完成逐元素比较产出 BOOL 结果再l0op::Cast将 BOOL 结果转换为out声明的数据类型若out非连续用l0op::ViewCopy写回非连续视图。类型提升规则核心为PromoteType/CombineCategoriesWithComplex布尔提升为 INT8 参与比较浮点与复数按类别取更高精度类型BF16 映射为 COMPLEX64 等标量默认 dtype 由GetScalarDefaultDtype决定浮点默认 FLOAT、复数默认 COMPLEX64。这与 README 中与 self 可广播、可类型提升的表述一一对应。AiCore / AiCpu 双路径调度l0 算子 greater_equal.cpp 中GreaterEqual会先对self、other的 view shape 做BroadcastInferShape推导出输出 shape再根据芯片架构与 dtype 决定计算路径IsAiCoreSupport依据当前 NPU 架构匹配支持列表如 RegBase/950 支持 FLOAT、INT32、FP16、INT8、UINT8、BF16、INT64、UINT64、BOOLAscend 610Lite 等仅支持子集满足条件则走GreaterEqualAiCore否则回退GreaterEqualAiCpu通过 AICPU 任务空间执行。Host 侧定义与 InferShape算子定义greater_equal_def.cpp 注册GreaterEqual声明x1、x2输入与y输出的 dtype/formatND并针对ascend950、ascend910_55配置 AICore 编译信息动态 shape/rank 支持、PrecisionReduceFlag(true)等InferShapegreater_equal_infershape.cpp 直接复用Ops::Base::InferShape4Broadcast即输出 shape 由广播规则推导——这解释了 README 约束说明中以 aclnn 实现中的维度与 dtype 校验为准例如 broadcast、最大维度等一句的由来。Kernel 实现AiCore kernel greater_equal_apt.cpp 使用BroadcastSch调度模板按模板参数schMode选择调度模式BOOL 输入会先转换为int8_t参与比较见GreaterEqualOp::GreaterEqualComputeint8_t其余 dtype 直接以DTYPE_X1实例化计算 DAGDAG 定义位于 greater_equal_dag.htiling key 结构见 greater_equal_struct.h。测试与验证仓库为 GreaterEqual 提供了完整的单测与 ST 用例UTop_hosttest_greater_equal_infershape.cpp 覆盖 broadcast InferShape 逻辑UTarch35 tilingtest_greater_equal_tiling_arch35.cpp 覆盖 950 架构 tiling 计算UTop_apitest_aclnn_inplace_GeTensor.cpp 覆盖 inplace 形态接口调用链STall_aclnnGeScalar.json 与 all_aclnnGeTensor.json 提供接口级测试用例数据可用于验证各 dtype、各 shape含广播与最大维度边界下的计算正确性。开发者接入算子后可通过构建 op_api UT 工程运行上述用例回归验证确保接口行为与本文描述一致。总结GreaterEqual 是 ops-math 数学算子库中一个典型的逐元素二元比较算子功能上覆盖张量对张量与张量对标量两种形态并提供 inplace 版本避免额外输出内存使用上遵循 CANN 两段式 aclnn 接口范式支持 ND 格式、非连续 Tensor、0-8 维、多种数值类型与广播语义实现上由 op_api 类型提升链路 AiCore/AiCpu 双路径调度 Broadcast 型 Kernel 组成。理解 README 与配套 API 文档中的参数约束和错误码语义再结合本仓库源码与测试用例即可在 Atlas 平台上正确、高效地使用与扩展该算子。【免费下载链接】ops-math本项目是CANN提供的数学类基础计算算子库实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-math创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考