试验参数【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/gege.autoMultistreamParallelMode调试功能扩展参数当前不支持应用于商用产品中后续版本会作为正式功能更新发布。该参数仅适用于静态shape图场景开发者可通过配置此参数控制多流并行模式的自动分配策略以提升图执行性能。参数取值cv代表开启Cube算子与Vector算子的并行执行功能。LoadBalance负载均衡算法将所有算子均匀分布在8条流上执行。LoadBalance:N负载均衡算法将所有算子均匀分布在N条流上执行。N为最大流数量正整数取值范围[1,64]。若N取值超过了实际可用核数性能可能会降低。MainStream:N主流算法串行算子分布在主流上执行其他可并行算子分布在其他流上执行。N为最大流数量正整数取值范围[1,64]。若N取值超过了实际可用核数性能可能会降低。None默认值不启用任何多流并行优化。[!NOTE]说明该参数仅限于推荐类型网络的训练场景使用。算子的并行执行功能不能与多流并发执行功能通过ENABLE_DYNAMIC_SHAPE_MULTI_STREAM同时使用。 关于环境变量详细说明请参见《环境变量参考》。配置示例{ge.autoMultistreamParallelMode, cv};必选/可选可选生效级别session/graphge.build_inner_model当前版本暂不支持。ge.deterministicLevel调试功能扩展参数当前不支持应用于商用产品中后续版本会作为正式功能更新发布。确定性计算级别。默认情况下确定性级别为0即不开启确定性计算是否开启确定性计算的选项ge.deterministic也需要是0。当需要开启确定性计算时确定性级别需要设置为1同时确定性计算选项ge.deterministic也需设置为1。当开启强一致性计算时级别需要设置为2同时确定性计算选项ge.deterministic也需设置为1。当开启强一致性计算功能时ge.deterministicLevel2计算结果是确定的多次执行将产生相同的输出。此外计算结果与数据的位置无关。例如在进行矩阵乘时不同行的累加顺序可能不同这可能会导致相同数据在不同行的计算结果出现细微差异。但在启用强一致性计算的情况下只要输入相同即使在不同的行中计算结果都将保持一致。默认情况下强一致性计算功能不会启用。在这种默认模式下相同数据出现在不同行时可能会产生计算结果上的不一致。出于性能考虑通常建议不开启强一致性计算因为它会降低算子的计算速度影响整体效率。只有在以下情形下才建议启用该功能需要严格保证相同数据在不同位置上的结果一致性或者正在对模型进行精度调整和调试以优化整体表现。参数取值0默认值不开启确定性计算。1开启确定性计算。2开启强一致性计算。配置示例{ge.deterministic, 0}; {ge.deterministicLevel, 0};使用约束该配置项需要和ge.deterministic配合使用。必选/可选可选生效级别全局ge.disableOptimizations该参数为调试参数当前不支持应用于商用产品中后续版本会作为正式特性更新发布。该参数仅适用于如下产品Atlas A2 训练系列产品/Atlas A2 推理系列产品Atlas A3 训练系列产品/Atlas A3 推理系列产品用于指定关闭的某一个或者多个编译优化pass。当前仅支持关闭如下passRemoveSameConstPass,ConstantFoldingPass,TransOpWithoutReshapeFusionPass注意多个pass之间使用英文逗号分隔。若用户指定关闭了其他passgraph编译时不会处理只会打印warning级别的日志。若指定关闭了ConstantFoldingPassgraph编译或运行时可能会失败。如果同时配置了其他编译优化选项比如ge.oo.constantFolding则ge.disableOptimizations优先级更高。配置示例关闭单个passstd::map AscendString, AscendString session_options { {ge.disableOptimizations, RemoveSameConstPass} };关闭多个passstd::map AscendString, AscendString session_options { {ge.disableOptimizations, RemoveSameConstPass, ConstantFoldingPass} };必选/可选可选生效级别全局/session/graphge.jit_compile调试功能扩展参数当前不支持应用于商用产品中后续版本会作为正式功能更新发布。模型编译时选择是优先在线编译算子还是优先使用已编译好的算子二进制文件。参数取值0优先查找系统中已编译好的算子二进制文件如果能查找到则不再编译算子编译性能更优如果查找不到则再编译算子。1默认值在线编译算子系统根据得到的图信息进行融合及优化从而编译出运行性能更优的算子。2针对静态shape网络在线编译算子针对动态shape网络优先查找系统中已编译好的算子二进制如果查找不到对应的二进制再编译算子。配置示例{ge.jit_compile, 1};必选/可选可选生效级别全局/sessionge.oo.constantFolding调试功能扩展参数当前不支持应用于商用产品中后续版本会作为正式功能更新发布。是否开启常量折叠优化。常量折叠是将计算图中可以预先确定输出值的节点替换成常量并对计算图进行一些结构简化的操作。参数取值true默认值开启。false关闭。配置示例{ge.oo.constantFolding, true};使用约束如果同时配置了其他编译优化选项比如ge.disableOptimizations则ge.disableOptimizations优先级更高。必选/可选可选生效级别全局/session/graphge.oo.deadCodeElimination调试功能扩展参数当前不支持应用于商用产品中后续版本会作为正式功能更新发布。是否开启死边消除优化。死边消除switch死边消除switch的pred输入1号输入为const节点时根据const的值消除其中一条分支const为true时消除false分支const为false时消除true分支。参数取值true默认值开启。false关闭。配置示例{ge.oo.deadCodeElimination, true};必选/可选可选生效级别全局/session/graphge.oo.level调试功能扩展参数当前不支持应用于商用产品中后续版本会作为正式功能更新发布。图编译多级优化选项包括子图优化、整图优化、静态Shape模型下沉等。静态Shape模型下沉静态Shape模型在编译时即可确定所有算子的输入输出Shape完成模型级内存编排、算子的Tiling计算等Host侧计算在模型加载时整体下发到Device流上但不立即执行通过下发模型执行Task触发模型中所有Task的执行。参数取值O1会关闭所有图融合和UB融合Pass只做促成静态下沉的相关优化如InferShape进行输出Tensor的shape推导、常量折叠、死边消除等。Ascend 950PR/Ascend 950DT不支持UB融合只关闭图融合Pass。O3默认值开启所有优化。使用约束取值为O1时会关闭所有图融合和UB融合PASS只开启静态下沉的相关PASS但是如下路径文件中的图融合PASS由于关闭后会有功能问题会默认开启${INSTALL_DIR}/x86_64-linux/lib64/plugin/opskernel/fusion_pass/config/fusion_config.json文件中ExceptionalPassOfO1Level字段下的所有图融合PASS。其中${INSTALL_DIR}请替换为CANN软件安装后文件存储路径。以root用户安装为例安装后文件默认存储路径为/usr/local/Ascend/cann。配置示例{ge.oo.level, O3};必选/可选可选生效级别全局/session/graph【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 CANN/ge实验参数配置说明
试验参数【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/gege.autoMultistreamParallelMode调试功能扩展参数当前不支持应用于商用产品中后续版本会作为正式功能更新发布。该参数仅适用于静态shape图场景开发者可通过配置此参数控制多流并行模式的自动分配策略以提升图执行性能。参数取值cv代表开启Cube算子与Vector算子的并行执行功能。LoadBalance负载均衡算法将所有算子均匀分布在8条流上执行。LoadBalance:N负载均衡算法将所有算子均匀分布在N条流上执行。N为最大流数量正整数取值范围[1,64]。若N取值超过了实际可用核数性能可能会降低。MainStream:N主流算法串行算子分布在主流上执行其他可并行算子分布在其他流上执行。N为最大流数量正整数取值范围[1,64]。若N取值超过了实际可用核数性能可能会降低。None默认值不启用任何多流并行优化。[!NOTE]说明该参数仅限于推荐类型网络的训练场景使用。算子的并行执行功能不能与多流并发执行功能通过ENABLE_DYNAMIC_SHAPE_MULTI_STREAM同时使用。 关于环境变量详细说明请参见《环境变量参考》。配置示例{ge.autoMultistreamParallelMode, cv};必选/可选可选生效级别session/graphge.build_inner_model当前版本暂不支持。ge.deterministicLevel调试功能扩展参数当前不支持应用于商用产品中后续版本会作为正式功能更新发布。确定性计算级别。默认情况下确定性级别为0即不开启确定性计算是否开启确定性计算的选项ge.deterministic也需要是0。当需要开启确定性计算时确定性级别需要设置为1同时确定性计算选项ge.deterministic也需设置为1。当开启强一致性计算时级别需要设置为2同时确定性计算选项ge.deterministic也需设置为1。当开启强一致性计算功能时ge.deterministicLevel2计算结果是确定的多次执行将产生相同的输出。此外计算结果与数据的位置无关。例如在进行矩阵乘时不同行的累加顺序可能不同这可能会导致相同数据在不同行的计算结果出现细微差异。但在启用强一致性计算的情况下只要输入相同即使在不同的行中计算结果都将保持一致。默认情况下强一致性计算功能不会启用。在这种默认模式下相同数据出现在不同行时可能会产生计算结果上的不一致。出于性能考虑通常建议不开启强一致性计算因为它会降低算子的计算速度影响整体效率。只有在以下情形下才建议启用该功能需要严格保证相同数据在不同位置上的结果一致性或者正在对模型进行精度调整和调试以优化整体表现。参数取值0默认值不开启确定性计算。1开启确定性计算。2开启强一致性计算。配置示例{ge.deterministic, 0}; {ge.deterministicLevel, 0};使用约束该配置项需要和ge.deterministic配合使用。必选/可选可选生效级别全局ge.disableOptimizations该参数为调试参数当前不支持应用于商用产品中后续版本会作为正式特性更新发布。该参数仅适用于如下产品Atlas A2 训练系列产品/Atlas A2 推理系列产品Atlas A3 训练系列产品/Atlas A3 推理系列产品用于指定关闭的某一个或者多个编译优化pass。当前仅支持关闭如下passRemoveSameConstPass,ConstantFoldingPass,TransOpWithoutReshapeFusionPass注意多个pass之间使用英文逗号分隔。若用户指定关闭了其他passgraph编译时不会处理只会打印warning级别的日志。若指定关闭了ConstantFoldingPassgraph编译或运行时可能会失败。如果同时配置了其他编译优化选项比如ge.oo.constantFolding则ge.disableOptimizations优先级更高。配置示例关闭单个passstd::map AscendString, AscendString session_options { {ge.disableOptimizations, RemoveSameConstPass} };关闭多个passstd::map AscendString, AscendString session_options { {ge.disableOptimizations, RemoveSameConstPass, ConstantFoldingPass} };必选/可选可选生效级别全局/session/graphge.jit_compile调试功能扩展参数当前不支持应用于商用产品中后续版本会作为正式功能更新发布。模型编译时选择是优先在线编译算子还是优先使用已编译好的算子二进制文件。参数取值0优先查找系统中已编译好的算子二进制文件如果能查找到则不再编译算子编译性能更优如果查找不到则再编译算子。1默认值在线编译算子系统根据得到的图信息进行融合及优化从而编译出运行性能更优的算子。2针对静态shape网络在线编译算子针对动态shape网络优先查找系统中已编译好的算子二进制如果查找不到对应的二进制再编译算子。配置示例{ge.jit_compile, 1};必选/可选可选生效级别全局/sessionge.oo.constantFolding调试功能扩展参数当前不支持应用于商用产品中后续版本会作为正式功能更新发布。是否开启常量折叠优化。常量折叠是将计算图中可以预先确定输出值的节点替换成常量并对计算图进行一些结构简化的操作。参数取值true默认值开启。false关闭。配置示例{ge.oo.constantFolding, true};使用约束如果同时配置了其他编译优化选项比如ge.disableOptimizations则ge.disableOptimizations优先级更高。必选/可选可选生效级别全局/session/graphge.oo.deadCodeElimination调试功能扩展参数当前不支持应用于商用产品中后续版本会作为正式功能更新发布。是否开启死边消除优化。死边消除switch死边消除switch的pred输入1号输入为const节点时根据const的值消除其中一条分支const为true时消除false分支const为false时消除true分支。参数取值true默认值开启。false关闭。配置示例{ge.oo.deadCodeElimination, true};必选/可选可选生效级别全局/session/graphge.oo.level调试功能扩展参数当前不支持应用于商用产品中后续版本会作为正式功能更新发布。图编译多级优化选项包括子图优化、整图优化、静态Shape模型下沉等。静态Shape模型下沉静态Shape模型在编译时即可确定所有算子的输入输出Shape完成模型级内存编排、算子的Tiling计算等Host侧计算在模型加载时整体下发到Device流上但不立即执行通过下发模型执行Task触发模型中所有Task的执行。参数取值O1会关闭所有图融合和UB融合Pass只做促成静态下沉的相关优化如InferShape进行输出Tensor的shape推导、常量折叠、死边消除等。Ascend 950PR/Ascend 950DT不支持UB融合只关闭图融合Pass。O3默认值开启所有优化。使用约束取值为O1时会关闭所有图融合和UB融合PASS只开启静态下沉的相关PASS但是如下路径文件中的图融合PASS由于关闭后会有功能问题会默认开启${INSTALL_DIR}/x86_64-linux/lib64/plugin/opskernel/fusion_pass/config/fusion_config.json文件中ExceptionalPassOfO1Level字段下的所有图融合PASS。其中${INSTALL_DIR}请替换为CANN软件安装后文件存储路径。以root用户安装为例安装后文件默认存储路径为/usr/local/Ascend/cann。配置示例{ge.oo.level, O3};必选/可选可选生效级别全局/session/graph【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考