快速入门【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge本章节以各框架下模型转换为例演示如何快速转换一个离线模型。[!NOTE]说明版本兼容性说明针对8.5.0及之后版本使用ATC工具进行模型转换时必须安装与目标AI处理器匹配的ops算子包否则会导致编译失败。低版本的CANN软件包环境上转换出的离线模型支持在高版本的CANN软件包环境上运行兼容4个版本周期。若开发环境架构为Armaarch64模型转换耗时较长则可以参考开发环境架构为Armaarch64时模型转换耗时较长解决。如果模型转换时用户使用了设置网络模型精度参数--precision_mode或--precision_mode_v2上述两个参数默认都为性能优先后续推理时可能会导致精度溢出问题。如果推理时出现精度问题可以参见《应用开发 (CC)》中的“模型推理 精度/性能优化 模型推理精度提升建议”进行定位。如果用户聚焦精度问题可以修改为其他取值比如--precision_mode设置为must_keep_origin_dtype或--precision_mode_v2设置为origin。开源框架的TensorFlow网络模型转换成离线模型获取TensorFlow网络模型。单击Link根据页面提示获取ResNet50网络的模型文件*.pb并以CANN软件包运行用户将获取的文件上传至开发环境任意目录例如上传到$HOME_/module__/_目录下。执行如下命令生成离线模型。如下命令中使用的目录以及文件均为样例请以实际为准atc --model$HOME/module/resnet50_tensorflow_1.7.pb --framework3 --output$HOME/module/out/tf_resnet50 --soc_versionsoc_version--modelResNet50网络模型文件所在路径。--framework原始框架类型3表示TensorFlow。--output生成的离线模型路径。--soc_versionAI处理器的型号。关于参数的详细解释请参见参数说明请使用与芯片名相对应的_soc_version_取值进行模型转换然后再进行推理具体使用芯片查询方法请参见--soc_version。若提示如下信息则说明模型转换成功。ATC run success, welcome to the next use.成功执行命令后在--output参数指定的路径下可查看离线模型如tf_resnet50.om。若模型转换失败请参见《故障处理》“错误码参考”章节进行辅助定位。ONNX网络模型转换成离线模型获取ONNX网络模型。单击Link进入ModelZoo页面查看README.md中“快速上手模型推理”章节获取*.onnx模型文件再以CANN软件包运行用户将获取的文件上传至开发环境任意目录例如上传到$HOME_/module__/_目录下。执行如下命令生成离线模型。如下命令中使用的目录以及文件均为样例请以实际为准atc --model$HOME/module/resnet50_official.onnx --framework5 --output$HOME/module/out/onnx_resnet50 --soc_versionsoc_version--modelResNet50网络模型文件所在路径。--framework原始框架类型5表示ONNX。--output生成的离线模型路径。--soc_versionAI处理器的型号。关于参数的详细解释请参见参数说明请使用与芯片名相对应的_soc_version_取值进行模型转换然后再进行推理具体使用芯片查询方法请参见--soc_version。若提示如下信息则说明模型转换成功。ATC run success, welcome to the next use.成功执行命令后在--output参数指定的路径下可查看离线模型如onnx_resnet50.om。若模型转换失败请参见《故障处理》“错误码参考”章节进行辅助定位。开源框架的Caffe网络模型转换成离线模型获取Caffe网络模型。您可以从以下链接中获取ResNet50网络的模型文件*.prototxt、权重文件*.caffemodel并以CANN软件包运行用户将获取的文件上传至开发环境任意目录例如上传到$HOME_/module__/_目录下。ResNet50网络的模型文件*.prototxt单击Link下载该文件。ResNet50网络的权重文件*.caffemodel单击Link下载该文件。执行如下命令生成离线模型。如下命令中使用的目录以及文件均为样例请以实际为准atc --model$HOME/module/resnet50.prototxt --weight$HOME/module/resnet50.caffemodel --framework0 --output$HOME/module/out/caffe_resnet50 --soc_versionsoc_version--modelResNet50网络模型文件所在路径。--weightResNet50网络权重文件所在路径。--framework原始框架类型0表示Caffe。--output生成的离线模型路径。--soc_versionAI处理器的型号。关于参数的详细解释请参见参数说明请使用与芯片名相对应的_soc_version_取值进行模型转换然后再进行推理具体使用芯片查询方法请参见--soc_version。若提示如下信息则说明模型转换成功。ATC run success, welcome to the next use.成功执行命令后在--output参数指定的路径下可查看离线模型如caffe_resnet50.om。若模型转换失败请参见《故障处理》“错误码参考”章节进行辅助定位。*.air格式的模型文件转换成离线模型获取*.air格式模型文件。单击Link获取ResNet50网络的模型文件并以CANN软件包运行用户将获取的文件上传到开发环境任意路径例如$HOME_/module__/_目录下。执行如下命令生成离线模型。如下命令中使用的目录以及文件均为样例请以实际为准atc --model$HOME/module/resnet50_export.air --framework1 --output$HOME/module/out/resnet50_air --soc_versionsoc_version--model*.air格式的模型文件所在路径。--framework原始框架类型1表示*.air格式的模型文件。--output生成的离线模型路径。--soc_versionAI处理器的型号。关于参数的详细解释请参见参数说明请使用与芯片名相对应的_soc_version_取值进行模型转换然后再进行推理具体使用芯片查询方法请参见--soc_version。若提示如下信息则说明模型转换成功。ATC run success, welcome to the next use.成功执行命令后在--output参数指定的路径下可查看离线模型如resnet50_air.om。若模型转换失败请参见《故障处理》“错误码参考”章节进行辅助定位。【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考