人工智能编译器模型编译高性能计算深度学习CANN【免费下载链接】pyptoPyPTO发音: pai p-t-oParallel Tensor/Tile Operation编程范式。项目地址https://gitcode.com/cann/pypto点击查看免费下载导读vf.prelu是 CANN PyPTO 项目 SIMDSIMT/SIMD向量函数Vector Function简称 VF编程范式提供的逐元素参数化 ReLUParametric ReLU激活接口用于在 Ascend 950PR/Ascend 950DT 的向量寄存器RegTensor上完成条件乘加运算正数元素原样透传负数元素乘以逐元素的斜率向量。本文以 prelu.md 为骨架结合仓库内 Python API 声明、向量运算流水_op_pipeline与 Tile 算子级实现完整讲解其数学语义、参数约定、寄存器/掩码使用方式与可运行的调用示例帮助读者在自研向量函数中直接落地 PReLU 激活。一、功能说明逐元素斜率的参数化 ReLUPReLU 激活函数是 Leaky ReLU 的推广形式。与使用标量斜率 alpha的 Leaky ReLU 不同vf.prelu为每个元素提供独立的斜率slope斜率寄存器中与src逐元素对应的斜率值从而在负半轴保留每通道/每元素可学习的非线性当源操作数src中对应元素 0时直接将该元素写入目的操作数dst当src 0时将src与slope对应元素相乘的结果写入dst。计算公式如下$$dst_i \begin{cases} src_i src_i \geq 0 \ src_i \times slope_i src_i 0 \end{cases}$$这一语义在 Python 层 API 的 docstring 中有明确对应dst[i] src[i] if src[i] 0 else src[i] * slope[i]并特别注明“Unlike leaky_relu which uses a scalar alpha, prelu uses a per-element slope vector”区别于使用标量 alpha 的 leaky_reluprelu 使用逐元素斜率向量见 python/pypto_pro/language/_vf_api.py。因此vf.prelu尤其适合需要对每个特征通道channel独立学习负斜率系数的网络层如 PReLU 激活层或自定义的加权负值通路。二、产品支持情况vf.prelu的产品支持矩阵与当前仓库中 SIMD-API 文档体系保持一致按昇腾硬件平台划分如下产品形态支持情况Ascend 950PR / Ascend 950DT支持Atlas A3 训练系列产品 / Atlas A3 推理系列产品不支持Atlas A2 训练系列产品 / Atlas A2 推理系列产品不支持从源码实现看vf.prelu依赖的OP_PRELU算子注册于 framework/src/interface/operation/vector/prelu.cpp其支持的浮点类型为 FP16、BF16、FP32并要求张量采用TILEOP_NZ格式在 VF 寄存器层面文档明确限定为 DT_FP16 与 DT_FP32 两种。使用前请确认目标硬件与数据格式满足上述前提。三、函数原型prelu(src, slope, preg, mode: Optional[MergeMode] None) - dst其中src、slope为源寄存器preg为掩码寄存器mode为可选的合并模式参数。四、参数说明参数输入/输出说明src输入源操作数reg_tensor源操作数 src 与目的操作数 dst 的数据类型保持一致。支持的数据类型为DT_FP16、DT_FP32。slope输入斜率源操作数reg_tensor数据类型与 src 一致提供逐元素负斜率值。preg输入mask_reg用于控制哪些元素参与运算。mode输入可选对应 MergeMode 类型。- pypto_pro.language.MergeMode.ZEROING默认preg 未筛选的元素在 dst 中置 0。- pypto_pro.language.MergeMode.MERGING当前不支持。4.1 关于寄存器RegTensorvf.prelu的输入输出均为向量寄存器reg_tensor。寄存器是 VF 计算的基本数据容器不能直接调用构造函数而是由编译器在赋值形式中自动声明如reg_out vf.prelu(...)并在pypto_pro.language.vector_function函数内创建、函数结束后自动释放。寄存器总大小固定为 256 字节不同 dtype 对应不同元素个数例如 DT_FP32 为 64 个元素、DT_FP16 为 128 个元素RegTensor 数量上限为 32超限数据会落入预留的 8K UB 内存并可能引起性能劣化。创建寄存器后必须先通过vf.load_align或vf.full初始化数据否则内容未定义。详见 reg_tensor.md。4.2 关于掩码寄存器mask_reg与 MergeModepreg为掩码寄存器总位宽固定为 256 bit按 dtype 粒度控制元素有效性比特位为 1 的元素参与运算比特位为 0 的元素不参与运算。对于 DT_FP3232 bit 粒度掩码粒度为 4 bit/元素共 64 个元素对于 DT_FP1616 bit 粒度掩码粒度为 2 bit/元素共 128 个元素。掩码寄存器数量上限为 16。详见 mask_reg.md。mode参数用于定义 mask 未选中元素非活跃元素在目的寄存器中的处理方式。MergeMode.ZEROING为默认行为——未选中位置零MergeMode.MERGING保留目标寄存器原值在vf.prelu当前不支持调用时请勿传入。详见 MergeMode.md。4.3 约束说明约束无在满足产品支持矩阵与数据类型限制的前提下无额外维度或布局约束。4.4 返回值说明返回dst目的操作数类型为 reg_tensor支持的数据类型与src一致DT_FP16、DT_FP32。五、源码级实现剖析5.1 向量函数层VF 前端vf.prelu在 Python 前端声明于 python/pypto_pro/language/_vf_api.py签名与文档一致并给出清晰的语义说明对每个活跃 lane当src[i] 0时结果取src[i]否则取src[i] * slope[i]。在向量函数调用的解析管线中prelu被注册为三操作数指令其操作数属性为[W, R, R, None]即第一个操作数目的寄存器为写Write后两个src、slope为读Read见 python/pypto_pro/language/parser/_op_pipeline.py。这意味着编译器会在指令调度时正确处理寄存器的读写依赖与生命周期无需开发者手动管理冲突。5.2 Tile 算子层OP_PRELU在张量Tile层面PReLU的接口实现在 framework/src/interface/operation/vector/prelu.cpp操作数校验PReLUOperationOperandCheck输入张量维度范围为 14 维1 维输入时 slope/weight 形状必须为[1]2/3/4 维输入时 weight 必须与输入的第二维相等即逐通道斜率语义数据类型校验要求 FP16/BF16/FP32且 self 与 weight 数据类型一致格式校验要求TILEOP_NZ格式平铺tilingTiledPReLUOperation沿各维按 Vector Tile 切分1 维输入不需要对 weight 平铺2 维及以上在第二维方向同步切分 weight计算核TileOp模板TPRelu位于 framework/src/interface/tileop/vector/prelu.h按输入维度axis分支1 维输入Nweight 为(1,)直接取标量斜率通过pto::TLRELU完成负值乘斜率2 维输入N, Cweight 为(C,)逐通道执行pto::TPRELU并借助临时缓冲区tmp保存按位掩码3/4 维输入N, C, L / N, C, H, Wweight 均为(C,)按通道循环取标量斜率并调用TLRELU。可见 VF 寄存器级的vf.prelu逐元素斜率与 Tile 级的 PReLU逐通道斜率共享“负数乘斜率”的计算本质但粒度不同前者以寄存器 lane 为粒度是本文档讲解的核心。六、调用示例完整可运行文档给出了一段完整的端到端示例在pl.vector_function中封装 PReLU 向量函数再通过pl.jit内核装载/存储数据并调用最后以 PyTorch 结果做数值校验。import os import pypto_pro.language as pl import torch import torch_npu pl.vector_function def example_vf(src_a, src_b, dst_tile): preg vf.create_mask(patternpl.MaskPattern.ALL, dtypepl.DT_FP32) reg_a vf.load_align(src_a, 0) reg_b vf.load_align(src_b, 0) reg_out vf.prelu(reg_a, reg_b, preg) vf.store_align(dst_tile, reg_out, preg) pl.jit() def example_kernel( a: pl.Tensor[[pl.DYNAMIC, pl.DYNAMIC], pl.DT_FP32], b: pl.Tensor[[pl.DYNAMIC, pl.DYNAMIC], pl.DT_FP32], out: pl.Tensor[[pl.DYNAMIC, pl.DYNAMIC], pl.DT_FP32], ): tf pl.TileType(shape[1, 64], dtypepl.DT_FP32, target_memorypl.MemorySpace.Vec) in_a_grp pl.make_tile_group(typetf, addrs0x0, mutex_ids[0]) in_a in_a_grp.current() in_b_grp pl.make_tile_group(typetf, addrs0x100, mutex_ids[1]) in_b in_b_grp.current() t_out_grp pl.make_tile_group(typetf, addrs0x200, mutex_ids[2]) t_out t_out_grp.current() with pl.section_vector(): pl.load(in_a, a, [0, 0]) pl.load(in_b, b, [0, 0]) example_vf(in_a, in_b, t_out) pl.store(out, t_out, [0, 0]) def test_example(): device_id int(os.environ.get(TILE_FWK_DEVICE_ID, 0)) device fnpu:{device_id} core_nums 1 torch.npu.set_device(device) a torch.randn([1, 64], devicedevice, dtypetorch.float32) b torch.rand([1, 64], devicedevice, dtypetorch.float32) * 0.5 out torch.empty([1, 64], devicedevice, dtypetorch.float32) example_kernelNone, core_nums torch.npu.synchronize() expected torch.where(a 0, a, a * b) torch.testing.assert_close(out, expected, rtol1e-5, atol1e-5) if __name__ __main__: test_example() print(PASSED)6.1 逐段解读向量函数封装pl.vector_functionvf.create_mask(patternpl.MaskPattern.ALL, dtypepl.DT_FP32)创建全 1 掩码寄存器表示所有 lane 均参与运算vf.load_align(src_a, 0)将 UB 中地址偏移为 0 的 Tile 数据装入寄存器reg_areg_b装载斜率数据vf.prelu(reg_a, reg_b, preg)完成逐元素 PReLU 计算reg_out为结果寄存器vf.store_align(dst_tile, reg_out, preg)将结果写回 UB Tile。内核编排pl.jit通过pl.TileType声明 1×64 的 FP32 向量 Tiletarget_memorypl.MemorySpace.Vec用pl.make_tile_group在 UB 中规划三块地址互不重叠的缓冲0x0、0x100、0x200并在pl.section_vector()向量节中依次执行pl.load→ 向量函数 →pl.store。数值验证test_example以torch.randn构造同时包含正负值的输入torch.rand * 0.5构造 (0, 0.5) 区间内的斜率用torch.where(a 0, a, a * b)计算期望结果并以rtol1e-5, atol1e-5的精度断言与设备输出一致最终打印PASSED。注意reg_tensor的 DT_FP32 为 32 bit 元素单寄存器 256 字节恰含 64 个元素与示例中 1×64 的 Tile 形状对齐若使用 DT_FP16则单寄存器对应 128 个元素。6.2 仓库内的工程化用法参考仓库自带两个与该接口强相关的测试可作为更复杂场景的参考python/tests/st/pypto_pro/frontend/vf_api/test_vf_basic_ops.pyVF 基础算子测试展示了create_mask、load_align、store_align与pl.section_vector()、管道同步pl.system.sync_src/sync_dst组合使用的标准范式python/tests/st/operation/vector/test_prelu.py面向 OP_PRELU 张量级算子的测试覆盖 Tile 层 PReLU 的行为验证。七、使用注意事项小结vf.prelu仅支持 Ascend 950PR/Ascend 950DTA2/A3 系列 Atlas 产品不支持数据类型限定为 DT_FP16、DT_FP32src、slope与dst必须类型一致mode仅支持默认的MergeMode.ZEROING未选中元素置 0MERGING 模式不可用slope为逐元素斜率寄存器需与src等长对齐若目标场景是逐通道共享斜率可考虑张量级 PReLU 算子见 prelu.cpp 中 weight 与第二维对齐的约束寄存器与掩码寄存器都有数量上限32 / 16编译器会自动复用生命周期结束的寄存器与预留内存超限时会降级到预留 UB 空间并带来性能损耗编写复杂向量函数时应有意识控制寄存器峰值占用。八、总结vf.prelu以一行寄存器级调用在昇腾向量单元上实现了逐元素斜率的参数化 ReLU其数学语义清晰src 0透传、src 0乘斜率、参数约定简洁src slope preg mode配合load_align/store_align即可嵌入任意自定义向量函数流水。通过本文的公式推导、参数矩阵、源码级实现剖析VF 声明 → 操作数模式 → OP_PRELU 平铺与 TileOp 模板以及可运行示例读者应能直接在自己的 PyPTO 内核中实现、校验并部署 PReLU 激活通路。赞分享人工智能编译器模型编译高性能计算深度学习CANN【免费下载链接】pyptoPyPTO发音: pai p-t-oParallel Tensor/Tile Operation编程范式。项目地址https://gitcode.com/cann/pypto点击查看免费下载相关推荐PyPTO lrelu 接口详解Leaky ReLU 逐元素激活的用法、参数与底层实现PyPTO lrelu 接口详解Leaky ReLU 逐元素激活的用法、参数与底层实现 导读 pypto.lrelu 是 CANN PyPTO 张量编程范式中人工智能编译器模型编译高性能计算深度学习CANNCANN PyPTO 向量函数 vf.max 寄存器级逐元素求最大值实战指南CANN PyPTO 向量函数 vf.max 寄存器级逐元素求最大值实战指南 导读 vf.max 是 CANN PyPTO 向量函数vector functi人工智能编译器模型编译高性能计算深度学习CANNPyPTO vf.store 数据搬出接口详解从向量寄存器到 Tile 的 SIMD 存储路径PyPTO vf.store 数据搬出接口详解从向量寄存器到 Tile 的 SIMD 存储路径 导读 vf.store 是 PyPTOParallel Te人工智能编译器模型编译高性能计算深度学习CANN创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考