graph engine 个人开发工具链使用说明【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/geGE开发者工具链是graph engine中的一套面向个人开发者的自动化脚本工具链。目前支持基于容器开发环境准备、构建依赖的自动下载安装和配置、代码格式化、编译、测试、代码覆盖率检查、文档生成等一系列开发者常用功能。前置准备下面是使用GE开发者工具链需要手动进行的前置准备下列是经过验证后的性能最佳推荐配置操作系统以下任选其一原生的Linux操作系统如ubuntuWindows操作系统推荐安装WSL的ubuntu系统强烈建议登录WSL内直接下载代码不要挂卷构建性能差MAC OSdocker安装docker安装成功并且相关镜像源已经设置正确可正常下载外部镜像。OS支持的命令行工具 原生Linux or WSL shell可用但不推荐的配置在windows中直接安装docker采用仿linux bashCygwinminGW等执行ge工具链 使用这种方式也可以执行所有GE工具链的操作但是因为windows和容器异构内核的文件访问限制会导致构建速度比较慢快速上手GE工具链对应的脚本在scripts下可以按照下面流程来执行进入到scripts目录$ cd ./scripts2.执行ge env自动下载容器环境并登陆到环境中$ ./ge.sh env3.下载和安装构建所依赖的外部库sh $ ge update注进入容器后ge命令已经自动注册进系统因此容器内不需要写脚本全称4.执行测试默认执行单元测试用例ge test会自动触发构建$ ge test详细用法在scripts目录下运行./ge.sh -h 即可查看到所有的子命令集合。$ ./ge.sh -h Usage: ge COMMANDS Run ge commands Commands: env Prepare docker env config Config dependencies server update Update dependencies format Format code lint Static verify build Build code test Run test of UT/ST cov Run Coverage docs Generate documents clean Clean脚本内置的每个子命令代表一个独立功能每个子命令还提供了二级参数用于灵活指定执行方式。每个子命令可以通过-h查看支持的可配参数。例如查询env子命令的参数可以使用如下命令$ ./ge.sh env -h每个子命令在不带参数时会有一个默认的行为。ge env该命令用于准备构建和测试使用的容器环境具体包含参数如下$ ./ge.sh env -h Usage: ge env [OPTIONS] Prepare for docker env for build and test Options: -b, --build Build docker image -p, --pull Pull docker image -e, --enter Enter container -r, --reset Reset container -h, --help参数详细解释-b -- build 依据“scripts/env/Dockerfile”生成需要运行的容器镜像-p -- pull 从本地配置的容器中央仓拉取需要的的容器镜像-e -- enter 在本地已有容器镜像的前提下登录容器运行环境-r -- reset 删除本地运行的容器镜像环境默认从中央容器仓拉取对应的容器镜像运行实例并登陆。ge config配置外部依赖服务器具体参数如下$ ge config -h Usage: ge config [OPTIONS] update server config for ge, you need input all config info (ip, user, password) Options: -i, --ip Config ip config -u, --user Config user name -p, --password Config password -h, --help Example: ge config -iip-adress -uusername -ppassword (Need add escape character \ before special charactor $、#、!)参数详细解释-i, --ip: 配置依赖库服务器IP地址-u, --usr: 配置依赖库服务器用户名-p, --password: 配置依赖库地址默认打印帮助信息。ge update安装graph engine构建所需的外部依赖库具体参数如下$ ge update -h Usage: ge update [OPTIONS] update dependencies of build and test Options: -p, --public Download dependencies from community -d, --download Download dependencies -i, --install Install dependencies -c, --clear Clear dependencies -h, --help参数详细解释-p, --public: 从社区下载安装依赖库-d, --download: 下载构建需要外部依赖库-i, --install: 安装外部依赖包到对应位置-c, --clear: 清除下载的外部依赖包默认根据scripts/update/deps_config.sh的配置下载外部依赖库并安装到对应目录。 注请确保“scripts/update/server_config.sh”中的服务器地址、用户名、密码已经配置ge format使用clang-format进行代码格式化具体参数如下$ ge format -h Options: -a format of all files -c format of the files changed compared to last commit, default case -l format of the files changed in last commit -h Print usage参数详细解释-a: 格式化所有代码-c: 只格式化本次修改的代码-l: 格式化上次提交的代码默认格式化本次修改代码。ge build执行构建 (注调用原有build.sh脚本改造中...)ge test构建和运行测试用例目前可以支持参数如下$ ge test -h Usage: ge test [OPTIONS] Options: -u, --unit Run unit Test -c, --component Run component Test -h, --help参数详细解释-u, --unit: 执行单元测试-c, --component: 执行组件测试默认执行单元测试。ge cov执行代码覆盖率检查, 支持全量覆盖和增量覆盖的功能该命令需要已经跑完测试用例目前可以支持参数如下$ ge cov -h Usage: ge cov [OPTIONS] Options: -a, --all Full coverage -i, --increment Increment coverage -d, --directory Coverage of directory -h, --help参数详细解释-a, --all: 执行全量覆盖率统计-i, --increment: 执行增量覆盖率检查默认是分析未提交修改的代码覆盖率如果存在新增加的git未跟踪文件需要先git add 添加进来才可以-d, --directory: 代码进行增量覆盖率检查的代码路径支持传入路径参数默认执行增量覆盖率检查下面的命令演示了如何检查ge目录下所有代码的增量覆盖率$ ge cov -dgege docsDoxygen文档生成包含代码逻辑和物理结构和关系方便阅读和理解代码目前可以支持参数如下$ ge docs -h Usage: ge docs [OPTIONS] Options: -b, --brief Build brief docs -a, --all Build all docs -h, --help参数详细解释-b, --brief: 生成简要文档忽略部分关系图生成速度快-a, --all: 生成全量文档包含各种代码关系图速度相对慢默认 生成全量代码文档。ge clean清除各种下载或生成的中间文件目前支持的参数如下$ ge clean -h Usage: ge clean [OPTIONS] Options: -b, --build Clean build dir -d, --docs Clean generate docs -i, --install Clean dependenices -a, --all Clean all -h, --help参数详细解释-b, --build: 清除生成的编译构建临时文件-d, --docs: 清除生成的文档临时文件-i, --install: 清除安装的依赖文件-a, --all: 清除所有下载和生成的临时文件默认清除编译构建产生临时文件。Follow us工具链的功能还在不断完善中有问题请提issue谢谢【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考