权重更新【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge对于权重更新的场景为便于用户一次编译模型后在模型执行阶段能动态更新权重可通过本章节提供的接口实现该功能。功能介绍将权重可更新的Graph编译为离线模型涉及的主要接口为Graph定义完成后调用aclgrphBuildInitialize进行系统初始化申请系统资源。调用aclgrphConvertToWeightRefreshableGraphs生成权重可更新的图包括三部分权重初始化图权重更新图推理图。调用aclgrphBundleBuildModel将权重更新的Graph编译为适配AI处理器的离线模型编译过程中会加载内置算子库和自定义算子库。此时模型保存在内存缓冲区中。如果希望将内存缓冲区中的模型保存为离线模型文件xx.om需要调用aclgrphBundleSaveModel序列化保存离线模型到文件中。调用aclgrphBuildFinalize结束进程释放系统资源。当前支持在一个进程中连续调用模型编译和模型文件保存接口用于编译和保存多个离线模型。使用方法// 包含的头文件 #include ge_ir_build.h #include ge_api_types.h // 1.生成Graph Graph origin_graph(Irorigin_graph); GenGraph(origin_graph); // 2.创建完Graph以后通过aclgrphBuildInitialize接口进行系统初始化并申请资源 std::mapAscendString, AscendString global_options; auto status aclgrphBuildInitialize(global_options); // 3. 生成权重可更新的图包括三部分权重初始化图权重更新图推理图 // 权重初始化是可选步骤根据业务场景由用户判断是否需要包含权重初始化图不包含的情况下可节省模型加载所需的Device内存 WeightRefreshableGraphs weight_refreshable_graphs; std::vectorAscendString const_names; const_names.emplace_back(AscendString(const_1)); const_names.emplace_back(AscendString(const_2)); status aclgrphConvertToWeightRefreshableGraphs(origin_graph, const_names, weight_refreshable_graphs); if (status ! GRAPH_SUCCESS) { cout aclgrphConvertToWeightRefreshableGraphs failed! endl; aclgrphBuildFinalize(); return -1; } // 4.将权重可更新的图编译成离线模型并保存在内存缓冲区中 std::mapAscendString, AscendString options; std::vectorge::GraphWithOptions graph_and_options; // 推理图 graph_and_options.push_back(GraphWithOptions{weight_refreshable_graphs.infer_graph, options}); // 权重初始化图 graph_and_options.push_back(GraphWithOptions{weight_refreshable_graphs.var_init_graph, options}); // 权重更新图 graph_and_options.push_back(GraphWithOptions{weight_refreshable_graphs.var_update_graph, options}); ge::ModelBufferData model; status aclgrphBundleBuildModel(graph_and_options, model); if (status ! GRAPH_SUCCESS) { cout aclgrphBundleBuildModel failed endl; aclgrphBuildFinalize(); return -1; } // 5.将内存缓冲区中的模型保存为离线模型文件 const char *file./xxx ; status aclgrphBundleSaveModel(file, model); if (status ! GRAPH_SUCCESS) { cout aclgrphBundleSaveModel failed endl; aclgrphBuildFinalize(); return -1; } // 6.构图进程结束释放资源 aclgrphBuildFinalize();后续步骤上述权重更新后的图编译生成的离线模型如果要进行推理业务则必须通过aclmdlBundleLoadFromFile或aclmdlBundleLoadFromMem接口加载模型然后使用aclmdlExecute接口执行推理详细介绍请参见《应用开发 (CC)》中的“模型推理 权重更新”章节。【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考