样例使用指导【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge1、功能描述本样例演示离线图编译执行的流程关于编译图为离线模型更多信息请参考 生成离线模型。2、目录结构cpp/ ├── CMakeLists.txt // CMake 构建文件 ├── main.cpp // 程序主入口 ├── run_sample.sh // 执行脚本 ├── README.md // README 文件 └── src/ ├── CMakeLists.txt // CMake 构建文件 ├── common.h / common.cpp // 公共逻辑文件 ├── single_model/ // 单模型编译与推理 └── bundle_model/ // Bundle 编译与推理3、使用方法3.1、准备cann包通过 环境准备 中“方式三手动安装软件包 场景1体验master版本能力或基于master版本进行开发”正确安装toolkit和ops包设置环境变量 (假设包安装在/usr/local/Ascend/)source /usr/local/Ascend/cann/set_env.sh3.2、图编译和图执行执行单模型样例bash run_sample.sh -t sample_and_run该命令会编译 C 可执行程序构建Add图离线编译并生成add_sample.om加载、执行该离线模型执行 bundle 样例bash run_sample.sh -t sample_and_run_bundle该命令会编译 C 可执行程序将Add图与Mul图打成 Bundle离线编译并生成bundle_sample.om加载 Bundle并分别执行两个子模型离线编译在无卡场景下如需指定目标芯片版本可增加--soc-versionbash run_sample.sh -s Ascend910B1 -t sample_and_run bash run_sample.sh -s Ascend910B1 -t sample_and_run_bundle也可以拆分为只做图编译和只做图执行两个阶段bash run_sample.sh -t build_model bash run_sample.sh -t run_infer bash run_sample.sh -t build_bundle_model bash run_sample.sh -t run_bundle_inferrun_infer/run_bundle_infer要求 om 模型已存在执行成功后会看到[Success] sample 执行成功输出文件说明执行成功后会在当前目录生成以下文件add_sample.om- 单模型离线文件bundle_sample.om- Bundle 离线模型文件3.3、日志打印可执行程序执行过程中如果需要日志打印来辅助定位可以在bash run_sample.sh之前设置如下环境变量来让日志打印到屏幕export ASCEND_SLOG_PRINT_TO_STDOUT1 #日志打印到屏幕 export ASCEND_GLOBAL_LOG_LEVEL0 #日志级别为debug级别4、核心流程介绍4.1、单模型离线编译执行使用aclgrphBuildInitialize初始化编译环境构建Graph并通过aclgrphBuildModel生成离线模型使用aclgrphSaveModel保存om文件通过aclmdlLoadFromFile、aclmdlExecute执行离线模型4.2、Bundle 离线编译执行使用多个Graph组织 Bundle通过aclgrphBundleBuildModel一次性构建 Bundle 模型使用aclgrphBundleSaveModel保存bundle_sample.om通过aclmdlBundleLoadFromFile加载 Bundle并逐个执行子模型【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考