CANN/HCCL执行超时配置-开发者社区

HCCL_EXEC_TIMEOUT

【免费下载链接】hccl集合通信库（Huawei Collective Communication Library，简称HCCL）是基于昇腾AI处理器的高性能集合通信库，为计算集群提供高性能、高可靠的通信方案项目地址: https://gitcode.com/cann/hccl

功能描述

不同设备进程在分布式训练或推理过程中存在卡间执行任务不一致的场景（如仅特定进程会保存checkpoint数据），通过该环境变量可控制设备间执行时同步等待的时间，在该配置时间内各设备进程等待其他设备执行通信同步。

针对Ascend 950PR/Ascend 950DT：单位为s，取值范围为：[0, 2147483647]，默认值为1836，支持整数秒配置。当配置为0时代表永不超时。
针对Atlas A3 训练系列产品/Atlas A3 推理系列产品：
- “AI_CPU”与“AICPU_CacheDisable”模式下（参见HCCL_OP_EXPANSION_MODE）：单位为s，取值范围为：[0, 2147483647]，默认值为1836，支持十毫秒级精度配置（例如，需要50毫秒超时，则配置为0.05）。当配置为0时代表永不超时。
- “AIV”模式下：单位为s，取值范围为[0, 1091]，默认值为1091，支持十毫秒级精度配置（例如，需要50毫秒超时，则配置为0.05）。若设置为0或超出最大值1091，将按照1091处理。
  “AIV”模式下实际生效的超时时间为interval*N*10^-3毫秒，其中interval为硬件支持的算子超时最短时间间隔（可通过aclrtGetOpTimeoutInterval接口获取），N的取值为[1, 254]范围内整数，如果配置的超时时间不等于interval*N*10^-3毫秒，则向上对齐至interval*N*10^-3毫秒。
针对Atlas A2 训练系列产品/Atlas A2 推理系列产品：
- “HOST”与“HOST_TS”模式下（参见HCCL_OP_EXPANSION_MODE）：单位为s，取值范围为：[0, 2147483647]，默认值为1836，支持整数秒配置。当配置为0时代表永不超时。
- “AIV”模式下：单位为s，取值范围为[0, 1091]，默认值为1091，支持十毫秒级精度配置（例如，需要50毫秒超时，则配置为0.05）。若设置为0或超出最大值1091，将按照1091处理。
  “AIV”模式下实际生效的超时时间为interval*N*10^-3毫秒，其中interval为硬件支持的算子超时最短时间间隔（可通过aclrtGetOpTimeoutInterval接口获取），N的取值为[1, 254]范围内整数，如果配置的超时时间不等于interval*N*10^-3毫秒，则向上对齐到interval*N*10^-3毫秒。
**针对Atlas 训练系列产品：**单位为s，取值范围为：(0, 17340]，默认值为1836，支持整数秒配置。
需要注意：针对Atlas 训练系列产品，系统实际设置的超时时间 = 环境变量的取值先整除“68”，然后再乘以“68”，单位s。如果环境变量的取值小于68，则默认按照68s进行处理。
例如，假设HCCL_EXEC_TIMEOUT=600，则系统实际设置的超时时间为：600整除68乘以68 = 8*68 = 544s。
**针对Atlas 推理系列产品：**单位为s，取值范围为：(0, 17340]，默认值为1836，支持整数秒配置。
需要注意：针对Atlas 推理系列产品，系统实际设置的超时时间 = 环境变量的取值先整除“68”，然后再乘以“68”，单位s。如果环境变量的取值小于68，则默认按照68s进行处理。
例如，假设HCCL_EXEC_TIMEOUT=600，则系统实际设置的超时时间为：600整除68乘以68 = 8*68 = 544s。