--dynamic_dims【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge产品支持情况全量芯片支持IPV350不支持功能说明设置ND格式下动态维度的档位。适用于执行推理时每次处理任意维度的场景。为支持Transformer等网络在输入格式的维度不确定的场景通过该参数实现ND格式下任意维度的档位设置。ND表示支持任意格式。关联参数该参数需要与--input_shape、--input_format配合使用不能与--dynamic_batch_size、--dynamic_image_size、--insert_op_conf同时使用。参数取值参数值通过dim1,dim2,dim3;dim4,dim5,dim6;dim7,dim8,dim9的形式设置。参数值格式所有档位必须放在双引号中档位之间使用英文分号分隔每档内参数使用英文逗号分隔每档内的dim值与--input_shape参数中的-1标识的参数依次对应--input_shape参数中有几个-1则每档必须设置几个维度。参数值约束针对如下产品档位数约束为档位数取值范围为(1,100]即必须设置至少2个档位最多支持100档配置建议配置为3~4档。Atlas A3 训练系列产品/Atlas A3 推理系列产品Atlas A2 训练系列产品/Atlas A2 推理系列产品Atlas 200I/500 A2 推理产品Atlas 推理系列产品Atlas 训练系列产品针对Ascend 950PR/Ascend 950DT档位数约束为档位数取值范围为(1, 256]即必须设置至少2个档位最多支持256档配置建议配置为3~4档。推荐配置及收益无。示例若网络模型只有一个输入每档中的dim值与--input_shape参数中的-1标识的参数依次对应--input_shape参数中有几个-1则每档必须设置几个维度。例如ATC参数取值为atc --input_shapedata:1,-1 --dynamic_dims4;8;16;64 --input_formatND ...则ATC在编译模型时支持的data算子的shape为1,4; 1,8; 1,16; 1,64。ATC参数取值为atc --input_shapedata:1,-1,-1 --dynamic_dims1,2;3,4;5,6;7,8 --input_formatND则ATC在编译模型时支持的data算子的shape为1,1,2; 1,3,4; 1,5,6; 1,7,8。若网络模型有多个输入每档中的dim值与网络模型输入参数中的-1标识的参数依次对应网络模型输入参数中有几个-1则每档必须设置几个维度。例如网络模型有三个输入分别为data(1,1,40,T)label(1,T)mask(T,T) 其中T为动态可变。则配置示例为atc --input_shapedata:1,1,40,-1;label:1,-1;mask:-1,-1 --dynamic_dims20,20,1,1;40,40,2,2;80,60,4,4 --input_formatND在ATC编译模型时支持的输入dims组合档数分别为第0档data(1,1,40,20)label(1,20)mask(1,1)第1档data(1,1,40,40)label(1,40)mask(2,2)第2档data(1,1,40,80)label(1,60)mask(4,4)依赖约束使用约束不支持含有过程动态shape算子网络中间层shape不固定的网络。接口约束如果模型转换时通过该参数设置了动态维度则使用应用工程进行模型推理时在模型执行接口之前使用aclmdlSetInputDynamicDims接口用于设置真实的维度。不使用aclmdlSetInputDynamicDims接口则模型执行时默认按照动态维度设置范围的最大值进行赋值。【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考