简介本资源为瑞芯微RK平台ISP驱动的源码包面向从事Linux内核驱动开发、嵌入式视觉与摄像头调试的工程师及学习者可用于理解RK ISP在V4L2框架下的设备注册、平台驱动匹配与图像源子设备实现。包内共17个文件以7个C源文件与8个头文件为核心另含1个Makefile和1个Kconfig整体约96KB涵盖平台驱动、V4L2接口、图像源操作及寄存器定义等模块便于按目录结构梳理驱动分层。资源从设备树匹配的of_device_id入手展示了cif_isp11系列驱动在media/platform/rk-cif路径下的组织方式可帮助读者掌握ISP驱动与V4L2子设备的对接思路、寄存器配置及平台适配方法。目前已有1750人学习下载适合作为RK ISP驱动移植与二次开发的参考素材。1. rkisp 驱动代码到底在管什么从一颗摄像头的上电到出图你插上一颗 MIPI 摄像头到 RK3588 板子上dmesg里刷出一串rkisp相关日志然后/dev/video0出现了。这中间 rkisp 驱动代码干了什么很多人以为它就是个“摄像头驱动”其实它管的是从 sensor 输出 raw 数据到 ISP 硬件出 YUV/RAW 图像的整条管线包括 sensor 的 I2C 配置、MIPI CSI-2 接收、ISP 硬件寄存器配置、3AAE/AWB/AF统计数据的回读、以及最终通过 V4L2 框架把帧交给用户态。如果你正在调 RK 平台的摄像头或者想改 ISP 效果、加自定义 3A 算法绕不开这套代码。它适合做嵌入式视觉、车载、安防、工业相机方向的工程师也适合想从 V4L2 层面理解 ISP 管线的人。下面按“代码在哪 → 怎么跑通 → 怎么改 → 坑在哪”的顺序拆。2. 先找到代码rkisp 驱动在 kernel 里的目录结构与编译入口2.1 驱动代码在哪个目录从 drivers/media 往下摸RK 平台的 ISP 驱动代码主要落在内核源码的drivers/media/platform/rockchip/下面。不同 SDK 版本目录名会有差异常见的有rkisp1、rkisp、isp这几种命名。你拿到一份 RK 的 Linux SDK 后先确认内核版本再按下面路径找# 进入内核源码根目录后执行 find drivers/media/platform/rockchip -maxdepth 2 -type d | sort # 典型输出不同 SDK 会有出入 # drivers/media/platform/rockchip/isp # drivers/media/platform/rockchip/isp1 # drivers/media/platform/rockchip/cif # drivers/media/platform/rockchip/csiisp目录下通常能看到这些文件dev.c设备与 probe、capture.c视频节点与 vb2 队列、isp_params.cISP 参数配置、isp_stats.c3A 统计数据、hw.c寄存器读写、regs.c寄存器定义。cif是 CIF 接口驱动csi是 MIPI CSI-2 接收端。三者配合才能让一颗 MIPI sensor 出图。编译入口看Makefile和Kconfigcat drivers/media/platform/rockchip/isp/Makefile # 常见内容形如 # obj-$(CONFIG_VIDEO_ROCKCHIP_ISP) video_rkisp.o # video_rkisp-objs : dev.o capture.o isp_params.o isp_stats.o hw.oKconfig里会定义CONFIG_VIDEO_ROCKCHIP_ISP这类开关。你要确保内核配置里打开了它同时打开对应的 sensor 驱动和CONFIG_VIDEO_V4L2_SUBDEV_API。提示不同 RK SDK 的目录名和文件名差异较大不要死记路径用grep -rn rkisp drivers/media/platform/rockchip/先定位。2.2 编译进内核还是编成模块两种方式的取舍常见做法有两种直接编进内核y或编成模块m。调试阶段我一般编成模块方便insmod/rmmod反复验证不用每次重启。# 方式一编成模块在 SDK 根目录执行 make ARCHarm64 CROSS_COMPILEaarch64-linux-gnu- menuconfig # 路径Device Drivers - Multimedia support - Rockchip ISP # 选 M保存退出 # 编译内核模块 make ARCHarm64 CROSS_COMPILEaarch64-linux-gnu- modules -j$(nproc) # 找到生成的 ko find drivers/media/platform/rockchip -name *.ko编成模块后板子上加载顺序很关键先加载 CSI/CIF 相关模块再加载 ISP 模块最后加载 sensor 驱动。顺序错了会出现 subdev 找不到、media拓扑不完整的问题。# 板子上按顺序加载模块名以实际生成为准 insmod csi2_dphy.ko insmod video_rkisp.ko insmod ov13850.ko # 确认 media 设备 ls /dev/media*参数说明ARCH和CROSS_COMPILE必须和你的 SDK 一致否则编出来的 ko 版本不匹配insmod会报invalid module format。-j$(nproc)是并行编译加快速度。加载后如果/dev/media0没出现先看dmesg | tail -50通常是依赖模块没加载或设备树节点没使能。3. 跑通最小链路设备树、media 拓扑与第一帧抓取3.1 设备树里 rkisp 节点怎么配端口、时钟、中断rkisp 驱动 probe 依赖设备树节点。典型节点包含compatible、reg、interrupts、clocks、ports。ports里通过endpoint和 sensor、CSI 连接形成 media 拓扑。// 典型 rkisp 节点结构简化字段以实际 SoC 手册为准 rkisp: rkispffa00000 { compatible rockchip,rkisp; reg 0x0 0xffa00000 0x0 0x10000; interrupts GIC_SPI 100 IRQ_TYPE_LEVEL_HIGH; clocks cru ACLK_ISP, cru HCLK_ISP; clock-names aclk, hclk; power-domains power RK3588_PD_ISP; ports { #address-cells 1; #size-cells 0; port0 { reg 0; isp_in: endpoint { remote-endpoint csi_out; }; }; }; };关键点remote-endpoint必须和上游 CSI 的 endpoint 对得上否则 media 拓扑里两个 entity 连不起来media-ctl -p会看到断链。clocks和power-domains配错会导致 probe 时寄存器读写失败日志里出现failed to get clock或power domain相关报错。3.2 用 media-ctl 和 v4l2-ctl 验证链路并抓一帧驱动加载成功后用media-ctl看拓扑用v4l2-ctl抓帧。这是验证 rkisp 驱动是否正常工作的最快方式。# 查看 media 拓扑 media-ctl -d /dev/media0 -p # 典型输出里能看到 sensor - csi - rkisp 的 entity 和 pad 连接 # 设置 sensor 输出格式以 1920x1080 RAW10 为例 media-ctl -d /dev/media0 \ --set-v4l2 m00_b_ov13850 1-0010:0[fmt:SBGGR10_1X10/1920x1080] # 设置 rkisp 输入 pad 格式 media-ctl -d /dev/media0 \ --set-v4l2 rkisp-isp-subdev:0[fmt:SBGGR10_1X10/1920x1080] # 抓 10 帧保存 v4l2-ctl -d /dev/video0 \ --set-fmt-videowidth1920,height1080,pixelformatNV12 \ --stream-mmap --stream-count10 --stream-toframe.raw # 看文件大小是否合理1920*1080*1.5*10 约 31MB ls -l frame.raw逻辑说明media-ctl --set-v4l2是在配置 subdev 的 pad format必须从 sensor 端往 ISP 端逐级设置顺序反了会被驱动拒绝。v4l2-ctl --stream-mmap走的是 vb2 的 mmap 队列--stream-count10抓 10 帧后自动停。--stream-to把帧数据写到文件。参数说明pixelformatNV12是 ISP 输出格式如果 ISP 只做 raw 直通这里要改成RG10之类。width/height必须和 sensor 输出一致否则 ISP 会做缩放或直接报错。抓到的frame.raw可以用ffmpeg或python转成图片验证内容。注意如果v4l2-ctl卡住不返回先确认 sensor 的link_freq和>// 简化示意isp_params 节点的 write 流程 static ssize_t rkisp_isp_params_write(struct file *file, const char __user *buf, size_t count, loff_t *ppos) { struct rkisp_device *dev video_drvdata(file); struct rkisp_isp_params_cfg *cfg; int ret; cfg memdup_user(buf, count); // 从用户态拷贝参数 if (IS_ERR(cfg)) return PTR_ERR(cfg); ret rkisp_set_isp_params(dev, cfg); // 写 ISP 寄存器 kfree(cfg); return ret ? ret : count; }逻辑说明用户态把一帧的 ISP 参数如 BLC、LSC、CCM、GAMMA打包成结构体通过write()写到isp_params节点驱动解析后写硬件寄存器。isp_stats节点则相反驱动在每帧中断里把 ISP 硬件产生的统计 buffer 通过read()或 mmap 交给用户态。参数说明memdup_user是内核安全拷贝不能用copy_from_user直接写栈上大结构体。count必须和驱动期望的结构体大小一致否则返回-EINVAL。实际调试时先确认rkaiq版本和驱动里定义的结构体版本匹配版本错位是 3A 不生效的头号原因。4.2 加一个自定义 ISP 参数从结构体到寄存器假设你要在现有驱动里加一个自定义的 gamma 参数下发。步骤是在isp_params结构体里加字段 → 在rkisp_set_isp_params里解析 → 在hw.c里写对应寄存器。// 1. 在参数结构体里加字段示意 struct rkisp_isp_params_cfg { u32 module_en_update; u32 module_ens; struct rkisp_isp_gamma_cfg gamma; /* 新增自定义字段 */ u32 custom_gamma_en; u32 custom_gamma_table[17]; }; // 2. 在参数下发函数里处理 static int rkisp_set_isp_params(struct rkisp_device *dev, struct rkisp_isp_params_cfg *cfg) { if (cfg-custom_gamma_en) { rkisp_hw_write(dev, ISP_GAMMA_BASE, cfg-custom_gamma_table[0]); /* 依次写其余表项 */ } return 0; }逻辑说明ISP 参数下发本质是“用户态结构体 → 驱动解析 → 寄存器写入”三步。加字段时要注意结构体对齐内核和用户态必须用同一份头文件否则字段偏移错位写进去的是垃圾值。参数说明module_en_update是模块使能更新位module_ens是使能值这两个字段控制哪些 ISP 模块本帧生效。custom_gamma_table长度要和硬件 gamma 表深度一致写多了越界写少了硬件用默认值补齐。提示改结构体后用户态rkaiq也要同步改否则write()的count对不上驱动直接返回错误。这是血泪经验别问怎么知道的。5. 避坑与排查rkisp 驱动调试中最容易翻车的 5 个点5.1 现象probe 成功但 /dev/video0 抓不到帧原因media 拓扑里 sensor→CSI→ISP 的 link 没使能或者 sensor 没出流。驱动 probe 只说明设备注册了不代表数据链路通了。解决media-ctl -p看 link 状态media-ctl --link sensor:0-csi:0[1]手动使能。再用v4l2-ctl --list-formats确认节点支持的格式。如果 sensor 没出流检查 sensor 驱动的s_stream是否被调用。5.2 现象抓到的帧全绿或全黑原因ISP 参数没下发或者 3A 没跑。raw 数据直接出图就是绿的因为 Bayer 格式没经过 demosaic。解决确认isp_params节点有数据写入rkaiq进程在跑。如果只做 raw 直通把输出格式改成RG10而不是NV12。5.3 现象insmod 报 invalid module format原因编译内核模块用的内核版本和板子上跑的内核版本不一致或者CROSS_COMPILE用错。解决uname -r看板子内核版本modinfo xxx.ko看模块的 vermagic两者必须一致。重新用 SDK 里对应的内核源码编译。5.4 现象3A 统计 buffer 一直为空原因isp_stats节点的 buffer 没排队或者中断里没把统计 buffer 提交。常见是用户态没及时DQBUF导致驱动侧 buffer 耗尽。解决确认用户态 3A 库在持续DQBUF/QBUF。驱动侧看isp_stats.c里中断处理是否调用了vb2_buffer_done。buffer 数量在reqbufs时设置太少会丢帧。5.5 现象MIPI 报错dmesg 刷 csi2 错误原因># 挂载 debugfs mount -t debugfs none /sys/kernel/debug # 打开 rkisp 驱动的动态调试 echo file drivers/media/platform/rockchip/isp/* p /sys/kernel/debug/dynamic_debug/control # 然后抓帧dmesg 里会打出寄存器读写和参数下发细节 v4l2-ctl -d /dev/video0 --stream-mmap --stream-count1 dmesg | tail -100如果你想追踪某一帧的 ISP 参数可以在rkisp_set_isp_params里加dev_dbg(dev-dev, params: en_update0x%x ens0x%x gamma_en%d\n, cfg-module_en_update, cfg-module_ens, cfg-custom_gamma_en);这样每帧参数下发都能在 dmesg 里看到配合isp_stats的回读值能判断 3A 是否收敛。常见做法是抓 30 帧看 AE 的曝光值是否稳定AWB 的 gain 是否收敛到合理范围。几个验证要点用表格列一下验证项命令/方法正常表现media 拓扑media-ctl -psensor→csi→isp 链路完整格式支持v4l2-ctl --list-formats有 NV12/RG10 等抓帧v4l2-ctl --stream-mmap文件大小符合分辨率参数下发dynamic debug每帧有 params 日志3A 统计isp_statsread有非零统计值寄存器dev_dbgio命令写入值可回读一致最后说个我自己的习惯每次改 rkisp 驱动先git diff看改了哪些文件再单独编译模块insmod后立刻dmesg | tail确认没有新报错再抓帧。不要一次改多个地方否则出问题根本不知道是哪处引起的。这套流程帮我省了很多后悔药。希望帮到你。本文还有配套的精品资源点击获取