深度学习机器学习人工智能【免费下载链接】mxnetLightweight, Portable, Flexible Distributed/Mobile Deep Learning with Dynamic, Mutation-aware Dataflow Dep Scheduler; for Python, R, Julia, Scala, Go, Javascript and more项目地址https://gitcode.com/gh_mirrors/mxnet1/mxnet点击查看免费下载MXNet Amalgamation 是仓库中一套把整个 MXNet 推理库合并进单个 C 源文件的构建方案核心服务于 c_predict_api.h 定义的预测 API让模型推理可以脱离完整 MXNet 环境、以平台无关的方式嵌入 Android、iOS、JavaScript 等场景。读完本文你将掌握单文件预测库的生成原理、Makefile 构建选项以及 Android / JavaScript / iOS 三端的完整编译流程与常见坑点。一、为什么需要 Amalgamation常规的 MXNet 构建会产出依赖大量头文件与多个第三方库dmlc-core、mshadow、nnvm 等的动态链接库移植到移动端或浏览器时需要携带一整套头文件与链接配置。Amalgamation 的思路与之相反通过脚本把 MXNet 预测所需的全部实现平铺内联到一个mxnet_predict-all.cc文件中下游只需要编译这一个文件即可链接出可独立运行的预测库。从仓库布局看该模块位于 amalgamation 目录其设计目标非常明确仅支持预测对应头文件 include/mxnet/c_predict_api.h 自述为 contains a minimum API to run prediction且该头文件自包含、不依赖其他文件平台无关同一份合并产物可通过不同工具链编译为桌面.so、Android.so、iOS.a与 JavaScript 库依赖最小化除 BLAS 外不依赖其他外部库训练、分布式、OpenCV 等模块全部被裁剪。二、单文件是如何生成的amalgamation.py 原理合并动作由 amalgamation/amalgamation.py 完成入口在 Makefile 的mxnet_predict-all.cc目标中mxnet_predict-all.cc: mxnet_predict0.d dmlc-minimum0.cc nnvm.cc mxnet_predict0.cc python ./amalgamation.py $ $ $(MIN) $(ANDROID)其工作方式可以概括为三段式源码展开收集源文件清单get_sources解析编译器-M生成的依赖文件dmlc.d、nnvm.d、mxnet_predict0.d得到参与合并的全部.cc/.h路径递归内联头文件expand函数逐行扫描每个源文件遇到#include时尝试在源文件清单中定位被引用的头文件命中则递归展开其内容并写入带STAGE与文件序号的注释标记//[ n] STAGE: EXPANDING: xxx 以便追踪合并来源未命中的系统头文件被收集进sysheaders列表统一在合并文件头部输出三段式展开按3rdparty/dmlc-core→3rdparty/tvm/nnvm→src三个阶段依次展开最终写入 amalgamation/amalgamation.py 中expand()调用的顺序对应脚本末尾的expand(sys.argv[2]...)、expand(sys.argv[3]...)、expand(sys.argv[4]...)。同时脚本维护一个blacklist黑名单CUDA/cuDNN/MKL/OpenCV/HDFS 等无关或平台专属头文件与history集合避免同一头文件重复展开mshadow 的expr_scalar-inl.h是允许多次展开的特例从而保证合并结果既最小化又无重复定义。预测库的源码构成合并的内容骨架由 mxnet_predict0.cc 定义它先通过宏关闭所有无关能力#define MSHADOW_USE_CUDA 0 #define MSHADOW_USE_MKL 0 #define MSHADOW_RABIT_PS 0 #define MSHADOW_DIST_PS 0 #define MXNET_USE_OPENCV 0 #define MXNET_PREDICT_ONLY 1 #define DISABLE_OPENMP 1 #define DMLC_LOG_STACK_TRACE 0然后以#include src/...方式列出预测所需的模块主要包括基础运行时src/common/utils.cc、src/engine/engine.cc、src/engine/naive_engine.cc、src/storage/storage.cc、src/resource.cc、src/initialize.ccNDArray 与命令式接口src/ndarray/ndarray.cc、src/ndarray/ndarray_function.cc、src/imperative/imperative.cc等计算图执行src/executor/graph_executor.cc及多个 graph pass算子子集卷积、全连接、池化、BatchNorm、Dropout、激活、softmax、逐元素算子、矩阵算子等src/operator/nn/*.cc、src/operator/tensor/*.ccC API 层src/c_api/c_predict_api.cc、c_api_symbolic.cc、c_api_ndarray.cc、c_api_error.cc、c_api_profile.cc。此外 dmlc-minimum0.cc 负责并入 dmlc-core 的 RecordIO 数据读取等最小依赖prep_nnvm.sh 则负责在3rdparty/tvm/nnvm/amalgamation中生成 NNVM 的依赖清单与nnvm.cc合并文件。三、构建产物与依赖要求根据 amalgamation/README.md 与 amalgamation/Makefile在amalgamation目录下直接执行make将生成两个关键产物产物说明mxnet_predict-all.cc合并后的单文件源码可直接用于编译预测 API../lib/libmxnet_predict.so由该单文件生成的预测动态库依赖方面README 明确说明唯一的第三方依赖是一个 BLAS 库并强调需要在config.mk中关闭所有其他依赖项。从 Makefile 看编译期默认注入的宏amalgamation/Makefile 的DEFS行已经强制关掉了 CUDA、MKL、分布式参数服务器、OpenCV并开启MXNET_PREDICT_ONLY1这正是只依赖 BLAS得以成立的原因。Makefile 中除all外还有多个可直接调用的目标make mxnet_predict-all.cc # 仅生成合并单文件 make libmxnet_predict.a # 生成静态库 make jni_libmxnet_predict.so # 生成含 JNI 的 Android 动态库 make libmxnet_predict.js # 生成 JavaScript 库配合 EMCC make clean # 清理 *.d *.o *.so *.a *.js 及合并产物四、核心构建选项解析amalgamation/Makefile 通过环境变量暴露了以下关键选项理解它们有助于按目标平台定制构建变量默认值作用OPENBLAS_ROOT/usr/local/opt/openblasOpenBLAS 安装路径默认值面向 macOS Homebrew可make OPENBLAS_ROOT...覆盖MIN0最小化构建开关MIN1时MSHADOW_USE_CBLAS0完全不依赖 BLAS 与 SSE但 README 警告会使库非常慢ANDROID0Android 构建开关开启时追加-DMSHADOW_USE_SSE0并启用-O3与-Wl,--no-warn-mismatch -lm_hardEMCCemccEmscripten 编译器路径可用 Docker 镜像覆盖见 JavaScript 一节USE_BLASopenblasBLAS 实现选择atlas链接-lcblas、blas链接-lblas、默认openblas链接-lopenblasUSE_F16C未设置设为1时追加-mf16c以启用 CPU 上的快速 fp16 计算否则定义MSHADOW_USE_F16C0DISABLE_OPENMP未设置定义后追加-DDISABLE_OPENMP1用于无 OpenMP 支持的移动端环境另外编译统一使用-stdc11与-Wno-unknown-pragmas -Wall并在非 MIN 模式下通过-I${OPENBLAS_ROOT}引入 BLAS 头文件路径。五、Android 构建含 JNIAndroid 场景的核心诉求是拿到一个可供 Java/Kotlin 调用的.so。README 给出的步骤为准备独立工具链安装 NDK 并构建 standalone toolchain官方文档要求使用 Advanced Method特别注意设置PATH、CC、CXX最低 API 级别为16。示例export PATH/tmp/my-android-toolchain/bin:$PATH export CCarm-linux-androideabi-gcc # 或 export CCarm-linux-androideabi-clang export CXXarm-linux-androideabi-g # 或 export CXXarm-linux-androideabi-clang编译 Android 版 OpenBLAS源码需放在 MXNet 目录之外编译完成后修改 Makefile 中的OPENBLAS_ROOT指向其安装位置执行构建make ANDROID1构建产出包括jni_libmxnet_predict.so已内含 JNI 绑定与libmxnet_predict.o供需要自写 JNI 时链接。JNI 层的实现位于 amalgamation/jni/predictor.cc它以#include ../mxnet_predict-all.cc的方式直接复用合并单文件并通过Java_org_dmlc_mxnet_Predictor_*系列函数把MXPredCreate、MXPredSetInput、MXPredForward、MXPredGetOutput、MXPredFree等 C API 暴露给 Java 层对应的 Java 封装在 amalgamation/jni/org/dmlc/mxnet/Predictor.java含inputFromImage等从 Bitmap 构造输入的工具方法C 头文件为 amalgamation/jni/org_dmlc_mxnet_Predictor.h。六、JavaScript 构建Emscripten 交叉编译JS 版本利用 Emscripten 把合并后的单文件交叉编译为可在客户端运行的 JavaScript 库。若本机已装好 emscriptenmake clean libmxnet_predict.js MIN1未安装时可使用 emscripten 的 Docker 镜像编译make clean libmxnet_predict.js MIN1 EMCCdocker run -v ${PWD}:/src apiaryio/emcc emcc注意JS 构建固定使用MIN1最小化、无 BLAS这是浏览器端无 BLAS 依赖的前提。Makefile 中 JS 目标的编译命令为${EMCC} -stdc11 -O2 $(DEFS) -DMSHADOW_USE_SSE0 -D__MXNET_JS__ -o libmxnet_predict.js mxnet_predict-all.cc \ -s EXPORTED_FUNCTIONS[_MXPredCreate,_MXPredGetOutputShape,_MXPredSetInput, \ _MXPredForward,_MXPredPartialForward,_MXPredGetOutput, \ _MXPredFree,_MXNDListCreate,_MXNDListGet,_MXNDListFree] \ -s ALLOW_MEMORY_GROWTH1关键点通过-s EXPORTED_FUNCTIONS显式导出 10 个预测相关 C API 符号含_MXNDList*系列用于解析参数 NDArray 文件-s ALLOW_MEMORY_GROWTH1允许 Emscripten 堆动态增长-D__MXNET_JS__与MSHADOW_USE_SSE0保证生成的代码可在无 SSE 的 JS 环境中运行该宏定义在 mxnet_predict0.cc 中也有对应处理。七、iOS 构建静态库与 arm32 适配iOS 上同样需要 OpenBLAS但先要为宿主机macOS编译一份 OpenBLAS再修改 Makefile 的OPENBLAS_ROOT后执行make。构建成功后会看到ar rcs libmxnet_predict.a mxnet_predict-all.o即生成 iOS 可用的静态库libmxnet_predict.a。由于 iOS 工具链与桌面 Linux/macOS 存在差异README 要求对生成的mxnet_predict-all.cc做四处手工修改替换 BLAS 头文件若存在#include cblas.h则注释掉改为#include Accelerate/Accelerate.h移除 SSE 头文件注释掉所有#include emmintrin.h出现处关闭 SSE 宏将#if defined(__ANDROID__) || defined(__MXNET_JS__) #define MSHADOW_USE_SSE 0 #endif改为无条件定义#define MSHADOW_USE_SSE 0修正线程局部存储宏将MX_THREAD_LOCAL的三平台条件判断改为 iOS 编译器可识别的形式#define MX_THREAD_LOCAL __declspec(thread)arm32 兼容版本如 iPhone 5若目标是 arm32 设备例如 iPhone 5还需把线程局部错误存储替换为空实现将typedef mxnet::common::ThreadLocalStoreErrorEntry MXAPIErrorStore; const char *MXGetLastError() { return MXAPIErrorStore::Get()-last_error.c_str(); } void MXAPISetLastError(const char* msg) { MXAPIErrorStore::Get()-last_error msg; }改为//typedef mxnet::common::ThreadLocalStoreErrorEntry MXAPIErrorStore; const char *MXGetLastError() { //return MXAPIErrorStore::Get()-last_error.c_str(); return ; } void MXAPISetLastError(const char* msg) { //MXAPIErrorStore::Get()-last_error msg; (void) msg; }即用空实现规避 arm32 上线程局部存储的编译问题代价是错误信息不再透出。八、在编译产物之上使用 Predict API无论哪个平台最终暴露的都是 include/mxnet/c_predict_api.h 中声明的一组 C 函数核心流程为创建预测器 → 设置输入 → 前向计算 → 取输出 → 释放。主要接口如下函数作用MXPredCreate由 symbol JSON、参数字节流与输入 shape 创建预测器dev_type取值 1cpu、2gpuMXPredCreateEx扩展版额外支持为每个输入指定 dtypeMXPredCreatePartialOut支持只取指定输出节点如中间层global_poolMXPredCreateMultiThread一次创建多个预测器句柄供多线程各持一个使用MXPredReshape不改建句柄的前提下调整输入 shape返回新句柄MXPredSetInput/MXPredForward/MXPredPartialForward设置输入、执行前向、执行部分层前向MXPredGetOutputShape/MXPredGetOutputType/MXPredGetOutput查询并读取输出MXPredFree释放预测器MXNDListCreate/MXNDListGet/MXNDListFree从内存字节解析 NDArray 参数文件对应load_ndarray_fileMXGetLastError获取最近一次错误信息一个可直接运行的 Python 用法示例见 amalgamation/python/mxnet_predict.py它通过ctypes加载libmxnet_predict.so搜索路径依次为amalgamation/../../lib/下的libmxnet_predict.so、mxnet.libinfo封装了Predictor类与load_ndarray_filefrom mxnet_predict import Predictor, load_ndarray_file with open(symbol.json) as f: symbol f.read() params load_ndarray_file(open(params.nd, rb).read()) pred Predictor(symbol_filesymbol, param_raw_bytesparams, input_shapes{data: (1, 3, 224, 224)}, dev_typecpu, dev_id0) pred.forward(datainput_blob) out pred.get_output(0)其中dev_type支持cpu / gpu / cpu_pinnedtype_dict可指定输入 dtype默认 float32reshape()方法对应 C 层的MXPredReshape便于切换 batch 等动态尺寸。九、小结MXNet Amalgamation 以单文件 单一 BLAS 依赖为代价换来了预测库在桌面、Android、JavaScript、iOS 等异构平台上的极简移植路径amalgamation.py负责把 dmlc-core、NNVM 与 MXNet 预测子集递归内联为mxnet_predict-all.ccMakefile 通过MIN / ANDROID / EMCC / OPENBLAS_ROOT / USE_BLAS等变量驱动各平台构建最终统一暴露 c_predict_api.h 中稳定的 C 接口。对于需要在移动端或浏览器中嵌入 MXNet 模型推理的场景这套方案提供了从源码到.so/.a/.js的完整可复制流程iOS 与 arm32 的特殊改动则提醒我们跨平台单文件仍需要针对目标工具链做少量适配。如需深入探究建议继续阅读 amalgamation/README.md 原始文档、amalgamation/Makefile 的完整规则以及 amalgamation/mxnet_predict0.cc 中列出的算子裁剪清单。赞分享深度学习机器学习人工智能【免费下载链接】mxnetLightweight, Portable, Flexible Distributed/Mobile Deep Learning with Dynamic, Mutation-aware Dataflow Dep Scheduler; for Python, R, Julia, Scala, Go, Javascript and more项目地址https://gitcode.com/gh_mirrors/mxnet1/mxnet点击查看免费下载相关推荐Servas安全配置手册双因素认证与数据加密最佳实践Servas安全配置手册双因素认证与数据加密最佳实践 Servas作为一款自托管书签管理工具在帮助用户高效管理网络资源的同时也面临着数据安全的重要挑战。本开源音乐播放器终极指南一次装好听遍全网音乐开源音乐播放器终极指南一次装好听遍全网音乐 你手机里是不是躺着 5 个音乐 App酷狗的歌网易没有、QQ 收藏的歌酷我搜不到、想听的歌总是仅限会员。明桌面应用音视频前端终极指南llama2.c跨平台编译Windows/Linux/macOS全方案终极指南llama2.c跨平台编译Windows/Linux/macOS全方案 llama2.c是一个纯C实现的Llama 2推理项目让你能够在单一C文件中人工智能大模型预训练本地部署上一篇超星学习通智能签到工具终极指南从零到一构建高效自动化签到系统下一篇如何快速构建企业级vLLM API网关Gateway API集成与负载均衡完整指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考