简介视频数据标注是计算机视觉模型训练的关键前置工作这份PPT围绕主流的视频数据标注工具展开面向算法工程师、数据标注团队以及希望入门AI视频分析的开发者系统梳理了工具选型与实际操作中的常见问题。资料共1个pptx文件压缩包约1.06MB便于快速浏览与按主题检索。内容从数据标注概述入手依次介绍微软可视化图像/视频标记工具及其Camshift跟踪算法——该算法利用颜色特征跟踪目标并自适应调整窗口大小同时覆盖VOTTELAN对视频/音频的创建编辑、可视化和搜索能力以及ELAN在视频分类与目标跟踪上的直观操作并重点讲解百度EasyDL视频标注平台支持零门槛定制训练视频流数据可实现视频分类、目标跟踪及运动轨迹与速度预测。目前已有317人浏览学习适合用于快速建立视频标注知识框架并为实际标注工作提供可行参考。1. 视频数据标注工具先看清任务再选工具做计算机视觉项目最花时间的往往不是训练而是标注。尤其视频数据一秒钟 30 帧如果按图像方式逐帧框选一个 10 秒的素材可能耗掉半天。视频数据标注工具的价值就是把“逐帧框选”变成“首帧选中、后续自动跟踪”再配合人工修正。微软 VoTT、ELAN、百度 EasyDL 是三类典型方案VoTT 用 Camshift 算法做半自动跟踪ELAN 偏向音视频多模态标注EasyDL 则是把标注和模型训练串起来的平台。如果你做目标检测、动作识别、自动驾驶场景需要快速把原始视频变成带标签的训练集这篇文章能帮你理清工具边界也能直接拿命令上手。视频数据标注工具选型的关键是理解任务类型和工具输出格式之间的匹配关系而不是单纯比较谁的界面更好看。2. 标注原理拆解视频任务分类与 Camshift 跟踪算法2.1 视频数据标注任务的四种类型视频标注不能像图像标注那样只给一个静态框因为时间轴上还要保持目标 ID 一致。按输出粒度常见任务可以分成四类它们对工具的要求完全不同。任务类型标注输出典型标注工具工作量特征视频分类整段或单帧片段标签EasyDL 视频分类低只需打标签目标跟踪帧号 框坐标 track_idVoTT、EasyDL 目标跟踪高需要跨帧关联动作检测时间区间 框坐标 动作标签VoTT 导出后后处理很高时空叠加多模态标识时间轴 分层标签 音视频标记ELAN中需对齐音视频轨道如果你的项目只需要知道“视频里有没有人摔倒”视频分类就够但如果你需要知道“人从哪一秒开始倒地、倒地过程中 BBox 如何变化”就必须用目标跟踪工具。很多新手把视频分类和目标跟踪混在一起结果在标注阶段就选择了错误的工具后续模型精度怎么调都上不去。2.2 Camshift 跟踪算法如何辅助标注CamshiftContinuously Adaptive Meanshift是基于颜色直方图的跟踪算法核心思想来自 Mean Shift先选中目标区域计算其颜色概率分布然后在下一帧中以迭代方式搜索候选区域不断向颜色分布相似的方向移动直到收敛。和普通 Mean Shift 的区别在于Camshift 会把搜索窗口的尺寸和方向随着目标大小变化而动态调整因此适合运动物体在镜头前有缩放、旋转的场景。在视频数据标注工具里Camshift 被用来做“辅助自动标注”。标注人员只需要在第一帧框住目标后续帧由算法生成候选框人工只看关键帧做修正即可。为了理解 Camshift 的参数敏感点我通常会在本地用 OpenCV 验证一段视频逻辑如下import cv2 import numpy as np cap cv2.VideoCapture(sample.mp4) ret, frame cap.read() if not ret: exit() bbox cv2.selectROI(frame, False) x, y, w, h bbox roi frame[y:y h, x:x w] hsv_roi cv2.cvtColor(roi, cv2.COLOR_BGR2HSV) # 颜色直方图范围H 0-180S 和 V 下限取 60/32 可过滤暗部噪声 mask cv2.inRange(hsv_roi, np.array((0., 60., 32.)), np.array((180., 255., 255.))) roi_hist cv2.calcHist([hsv_roi], [0], mask, [180], [0, 180]) cv2.normalize(roi_hist, roi_hist, 0, 255, cv2.NORM_MINMAX) # 迭代停止条件最多 10 次迭代位移小于 1 个像素则提前结束 term_crit (cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 10, 1) while True: ret, frame cap.read() if not ret: break hsv cv2.cvtColor(frame, cv2.COLOR_BGR2HSV) # backproject 将每帧转换为概率图像素值越亮代表与目标颜色越接近 dst cv2.calcBackProject([hsv], [0], roi_hist, [0, 180], 1) ret, track_window cv2.CamShift(dst, bbox, term_crit) pts cv2.boxPoints(ret) pts np.int0(pts) cv2.polylines(frame, [pts], True, (0, 255, 0), 2) cv2.imshow(camshift, frame) if cv2.waitKey(30) 0xFF 27: break cap.release() cv2.destroyAllWindows()这段代码里的roi_hist是关键它统计的是所选区域的 H 通道直方图mask用来排除低饱和度、低亮度的背景像素。如果你标注的物体颜色和背景接近需要调高 S 和 V 的阈值否则直方图会混入背景颜色导致跟踪器漂移。实际标注工具中Camshift 只是生成初始候选框真正决定标注质量的是关键帧修正频率如果跟踪窗口每 30 帧就漂出目标那就需要改成每 15 帧停下来让工人修正一次。2.3 半自动标注的效率边界Camshift 的优势在于无需训练、零成本起步适合冷启动阶段。缺点是它对颜色分布敏感不能处理严重的遮挡和相似颜色物体交叉。这意味着视频数据标注工具必须提供“暂停-修正-继续”的交互模型而不是完全交给算法。当你面对一个场景切换频繁的短视频集纯靠 Camshift 自动跟踪会带来大量废框。常见的折中方案是每隔 N 帧插入一个强制关键帧人工重新确认目标位置然后算法从新的关键帧继续跟踪。这个 N 和场景复杂度呈反比我的经验是监控视角 N 取 50100手持运动镜头 N 取 1025。参数调优时优先看跟踪器输出的重叠率而不是凭肉眼判断是否贴上目标。3. 微软 VoTT 实战安装、Camshift 目标跟踪与标注输出3.1 安装 VoTT 并准备视频源VoTT 是微软开源的可视化图像/视频标记工具支持图像目录和独立视频文件标注。它的安装方式不是直接下载一个安装包而是从 GitHub 拉源码后本地构建。常见做法是git clone --depth 1 https://github.com/Microsoft/VoTT.git cd VoTT npm install npm startnpm install会拉取 Electron 依赖如果网络不好可以把 registry 切换到国内镜像npm config set registry https://registry.npmmirror.comnpm start启动后会出现项目创建界面。这里需要注意VoTT 的工程需要设置 Source Connection 和 Target ConnectionSource 指向视频或图像文件夹Target 指向标注结果输出路径。连接类型支持本地文件夹和 Azure Blob本地开发选 Local File System 即可。3.2 配置标签与选择跟踪器进入项目后先创建标签比如 person、car。然后导入视频播放到目标出现的帧用“绘制 BBox”画出目标后启用自动跟踪。VoTT 的设置页里有 Tracking 相关选项选择 Camshift 作为算法。Camshift 参数中有一个VMax、SMin之类的色彩阈值如果你发现跟踪框经常跳到阴影区域说明默认阈值不适合你的视频色彩范围。我一般会把饱和度最小值调高到 80 到 100让跟踪窗口更关注颜色饱和的目标主体。3.3 跟踪辅助标注的交互流程具体操作流程可以拆成下面几步在视频预览区点击播放定位到目标出现的起始帧。点击标签使用鼠标框选目标主体。开启跟踪按钮VoTT 会从当前位置连续生成后续帧的 BBox。每当跟踪框明显偏移目标暂停播放手动拖动 BBox 修正。修正后重复步骤 3直到最后一个目标帧。注意VoTT 的自动跟踪不会自动保存所有帧的 BBox它只在你修正的关键帧之间做插值导出的结果会包含跟踪算法输出的候选框而不是仅仅保留人工标注的框。这意味着后续清洗数据时你需要把置信度低的候选框过滤掉否则会污染训练集。3.4 导出标注结果与字段说明VoTT 支持导出成 CSV、TFRecord 和 VoTT JSON。以 CSV 为例导出后每一行是一条标注记录关键字段如下字段含义image_path帧图像的相对路径xmin, ymin, xmax, ymax目标框像素坐标label标签名称timestamp帧在视频中的时间戳tracking_id目标 ID用于跨帧关联用下面的命令可以快速查看导出文件的头部和统计样例head -n 5 export.csv awk -F , {print $5} export.csv | sort | uniq -c第一条命令检查字段顺序是否与文档一致第二条命令统计每个标签出现次数。如果发现某个标签数量异常少往往是跟踪过程中该目标长期丢失需要回到关键帧补标。3.5 ELAN 对 VoTT 的补充场景VOTTELAN 这个名字看起来像是一个工具实际场景里它是 VoTT 和 ELAN 的组合打法VoTT 解决视频目标跟踪标注ELAN 负责音视频时间轴多模态标注。如果你的视频不仅需要框出目标还要记录语音片段、行为起止时间比如访谈视频、手势动作分析ELAN 更合适。ELAN 的核心概念是 Tier分层每一层对应一种标注维度比如“说话人”“手势类型”“事件描述”。导入视频或音频后在 ELAN 中创建 Tier再用光标在时间轴上切片段填入标签。它的搜索能力很强可以跨 Tier 查询“某位说话人在哪个时间段同时发生手势”这在行为科学和语料库构建中非常有用。4. ELAN 多模态标注与 EasyDL 平台化视频任务4.1 ELAN 的 Tier 标注流程ELAN 安装后第一次使用先创建.eaf工程文件然后添加媒体视频。准备一个包含音频的视频文件ELAN 会同时显示波形和画面。标注前需要定义 Controlled Vocabulary受控词表比如动作类型列表这样可以避免不同标注人员写同一事物的不同表述。然后在“Tier”面板新建多个层每一层绑定一种标注视角。实际操作时我习惯把“物体状态”作为 Tier 1“人物交互”作为 Tier 2两层在时间轴上独立标注再通过 Annotation 搜索判断重合区间。这样后续可以按时间重叠度做多模态特征对齐。4.2 EasyDL 视频分类与目标跟踪的标注工作流EasyDL 是百度面向开发者的低门槛训练平台支持视频分类和目标跟踪两类任务。它的零门槛体现在不需要自己写训练代码上传数据、标注、训练、部署全流程在浏览器里完成。在 EasyDL 中创建视频分类项目标注方式是给整个视频或视频片段打一个分类标签创建目标跟踪项目时需要逐帧框目标并分配同一个 ID平台内部会把连续帧的相同 ID 关联成一条轨迹。从数据格式上看EasyDL 视频分类的数据集是一个 video_id 到 label 的映射适合动作识别、环境变化检测目标跟踪的数据集则要求每个视频帧导出 JSON包含目标的坐标和 track_id。如果你在本地用 VoTT 已经标注了一批视频想迁移到 EasyDL 继续训练就需要做一次格式转换。常见做法是读取 VoTT 的 CSV按帧号聚合 bbox重组为 EasyDL 要求的 JSON 格式。4.3 调用 EasyDL API 进行推理验证标注完成后EasyDL 可以部署为在线 API。以视频分类接口为例需要先获取 access_token再请求预测接口。获取 token 的命令是 curlcurl -i -k https://aip.baidubce.com/oauth/2.0/token?grant_typeclient_credentialsclient_idYOUR_API_KEYclient_secretYOUR_SECRET_KEY返回结果里的access_token是后续推理请求的凭证。视频推理因为处理时间较长通常需要先上传视频得到路径再调用异步接口。下面是 Python 调用视频分类预测接口的示例import requests import json import base64 API_URL https://aip.baidubce.com/rpc/2.0/ai_custom/v1/video_classify/YOUR_MODEL_ID TOKEN YOUR_ACCESS_TOKEN with open(test.mp4, rb) as f: video_b64 base64.b64encode(f.read()).decode() payload { video: video_b64, top_num: 5 } headers {Content-Type: application/json} resp requests.post( API_URL, headersheaders, json{access_token: TOKEN, body: payload}, timeout30 ) result resp.json() print(json.dumps(result, ensure_asciiFalse, indent2))top_num控制返回前几个最高置信度的分类结果。如果视频文件太大base64 编码会让请求体膨胀EasyDL 有文件大小限制通常建议先裁剪成 10 秒以下的片段再送测。返回字段里results数组中的name对应标签score是置信度。4.4 目标跟踪任务的运动参数输出EasyDL 目标跟踪模型的输出不仅包含每一帧的 BBox还包含目标的 track_id、速度和轨迹。拿到结果后通常需要自己计算运动特征。例如根据相邻帧 bbox 中心点的差分可以估算目标的移动速度根据中心点序列可以绘制轨迹。视频数据标注工具生成的 track_id 质量直接影响这些后处理指标如果标注时频繁切换 ID最后算出来的轨迹就是断的。因此平台化标注前最好先用 VoTT 的跟踪器自动关联帧间目标导出结果后再按 track_id 排序检查是否存在 ID 跳变。5. 视频标注质量验证IoU、轨迹平滑度与抽检脚本5.1 用 IoU 抽检人工标注与模型预测的一致性标注完成后不能直接拿去训练要先抽检。最常用的指标是 IoUIntersection over Union计算人工标注框和二次校验框之间的重叠度。一般 IoU 大于 0.7 算合格。写一个轻量脚本用于抽检def compute_iou(box_a, box_b): # box 格式: [xmin, ymin, xmax, ymax] x1 max(box_a[0], box_b[0]) y1 max(box_a[1], box_b[1]) x2 min(box_a[2], box_b[2]) y2 min(box_a[3], box_b[3]) inter max(0, x2 - x1) * max(0, y2 - y1) area_a (box_a[2] - box_a[0]) * (box_a[3] - box_a[1]) area_b (box_b[2] - box_b[0]) * (box_b[3] - box_b[1]) return inter / (area_a area_b - inter)抽检时随机抽取 5% 的帧由第二个人重新框一次然后和正式标注计算 IoU低于 0.5 的帧要回到对应时间点重标。5.2 轨迹平滑度与 ID 稳定性校验目标跟踪标注最容易出问题的不是 BBox 大小而是同一个目标在不同帧里 track_id 不一致。校验方法很简单按 track_id 分组计算相邻帧中心点距离。如果某条轨迹的前后中心点距离出现突变说明跟踪框可能跳到了别的相似目标上。也可以统计每个 track_id 在时间轴上是否连续出现大量碎片化的 track_id说明自动跟踪失败次数很多需要提高关键帧人工修正频率。5.3 标注平台的清洗模板最后无论使用 VoTT、ELAN 还是 EasyDL都要保留一份标注清洗模板。我会将导出的 CSV 做三个过滤去掉置信度低于阈值的框、去掉宽高小于 5 像素的噪声框、去掉超出视频边界的框。这些规则可以用 pandas 一行完成但重要的是把它固化成脚本每次标注完成后先清洗再入模型。视频数据标注工具只是生成数据数据能不能用取决于你对质量指标的把握。本文还有配套的精品资源点击获取