Work2Skill: Capturing Human GUI Experience for Reusable Agent Skill Induction作者Yuqi Huang, Hui Li, Yifei Cao, Zikun Cai, Tianci Xie, Yangfan Gao, Pinxue Guo, Chaoyun Zhang, Bingxuan Li, Rui Zheng, Hang Yan, Ning Liao核心发表机构Shanghai Jiao Tong University、Fudan University、Nanyang Technological University、Zhejiang University、Shanghai Qiji Zhifeng Co., Ltd论文链接arXiv:2610.12984v1发布于arXiv 预印本cs.AI|—|————| GPT-5.5 | No Skill | 74.73 | 23.44 | 40.89 | – || GPT-5.5 | Aloha | 77.48 | 37.50 | 41.33 | 170.65 || GPT-5.5 | D2T | 75.25 | 37.50 | 46.13 | 177.32 || GPT-5.5 |Ours|85.27|48.44| 47.38 | 334.52 || Opus-4.8 | No Skill | 81.53 | 42.19 | 40.58 | – || Opus-4.8 | Aloha | 79.27 | 34.38 | 37.94 | 256.23 || Opus-4.8 | D2T | 81.28 | 42.19 | 36.84 | 234.73 || Opus-4.8 |Ours|86.20|50.00| 36.03 | 300.21 || Qwen3.5-35B-A3B | No Skill | 38.38 | 9.38 | 56.28 | – || Qwen3.5-35B-A3B | Aloha | 37.69 | 12.50 | 67.47 | 243.86 || Qwen3.5-35B-A3B | D2T | 40.61 | 9.38 | 63.45 | 211.98 || Qwen3.5-35B-A3B |Ours|44.56|20.31| 46.69 | 245.63 || Qwen3.5-9B | No Skill | 24.27 | 6.25 | 70.92 | – || Qwen3.5-9B | Aloha | 26.61 | 3.13 | 79.77 | 235.36 || Qwen3.5-9B | D2T | 27.75 | 6.25 | 70.84 | 180.48 || Qwen3.5-9B |Ours|34.11|12.50| 69.30 | 249.87 |OSWorld-Verified 子集N 286 N286N286结果如下模型方法ScoreSR (%)StepsTok.(k)GPT-5.5No Skill74.4770.9819.05–GPT-5.5Aloha72.5769.9321.61146.98GPT-5.5D2T80.3276.2221.46134.93GPT-5.5Ours81.9778.6725.78185.19Opus-4.8No Skill79.2377.9726.37–Opus-4.8Aloha78.9176.5718.04132.24Opus-4.8D2T80.6678.6717.65165.80Opus-4.8Ours82.3479.3720.15238.66Qwen3.5-35B-A3BNo Skill32.5232.1766.61–Qwen3.5-35B-A3BAloha31.0830.4258.01369.27Qwen3.5-35B-A3BD2T33.9332.5265.52219.82Qwen3.5-35B-A3BOurs36.3636.0165.89218.88Qwen3.5-9BNo Skill27.4826.9270.02–Qwen3.5-9BAloha24.8124.1372.51319.98Qwen3.5-9BD2T26.4525.5273.84175.27Qwen3.5-9BOurs33.4132.5268.13261.08从表可见Ours 在两个任务集与四个执行器上均取得最高 Score 与 SR。相对每个执行模型下两个演示基线中分数更高者Ours 在 MyPCBench 上提升 Score3.95 3.953.95–7.79 7.797.79分在 OSWorld-Verified 子集上提升1.65 1.651.65–6.96 6.966.96分。相对 No SkillMyPCBench 平均 Score 提升4.67 4.674.67–10.54 10.5410.54分SR 提升6.25 6.256.25–25.00 25.0025.00个百分点OSWorld-Verified 子集 Score 提升3.11 3.113.11–7.50 7.507.50分SR 提升1.40 1.401.40–7.69 7.697.69个百分点。例如 GPT-5.5 在 MyPCBench 上 Ours 的 SR 为48.44 % 48.44\%48.44%Aloha 与 D2T 均为37.50 % 37.50\%37.50%。这些结果说明技能带来的收益不只是“多给一些提示”而是在同一执行器与同一评估协议下提高了完整完成率。效率方面收益与模型相关。Ours 对 Opus-4.8 与两个 Qwen 模型使用比 No Skill 更少的执行步数但对 GPT-5.5 使用更多步数技能诱导 token 用量也不总是低于演示基线例如 MyPCBench GPT-5.5 上 Ours 为334.52 334.52334.52k高于 Aloha 的170.65 170.65170.65k 与 D2T 的177.32 177.32177.32k。这说明 Work2Skill 的主要优势在任务完成质量而非无条件降低推理成本按需证据检查与技能修订可能带来更高的归纳开销。下图进一步汇总了四个模型在 64 个 MyPCBench 任务和 286 个 OSWorld-Verified 任务上的平均工具调用情况GPT-5.5 在两个数据集上都最频繁调用watch_video和extract_video_framesQwen3.5-35B-A3B 每任务总调用数最少分别为14.33 14.3314.33和12.94 12.9412.94。但调用次数本身不能确立证据覆盖或技能质量因为一次调用可能返回多张图像或不同量文本重复调用finalize_extraction也可能是验证失败后的修正重试并不必然标识归纳失败。)4.3 消融实验 / Ablation Study证据消融在 64 个 MyPCBench 任务上使用 GPT-5.5、高推理强度与固定迭代上限比较 Full Evidence、UI-Grounded Action Text Only、Video-only、w/o Indexed Images、w/o UI Annotations 与 w/o KeyLogs 等条件。Full Evidence 使用所有可用模态Score 为85.27 85.2785.27完整解决 31 个任务。UI-Grounded Action Text Only 结合记录动作与目标 UI 描述优于 Video-only并使用最少步数但与 Full Evidence 相比在 Score 与 SR 上均落后。移除 indexed images、UI annotations 或 KeyLogs 会使 Score 降低5.02 5.025.02–10.63 10.6310.63分SR 降低14.06 14.0614.06–21.88 21.8821.88个百分点最大 Score 下降出现在“无 indexed images”最大 SR 下降出现在“无 KeyLogs”。步数更少不一定代表任务完成更好解释执行效率仍需同时看 Score 与 SR。下图对应证据使用的消融结果展示用于说明不同证据模态对技能归纳下游效用的影响。Pipeline Prompt 对比只改变诱导系统提示模型、输入证据、工具、skill-creator写作策略与输出格式均固定。默认 Work2Skill 提示词较简洁把详细证据探索与技能修订留给 agentPipeline Prompt 则规定诱导阶段与顺序读取任务与工件检查图像与视频然后写、审、finalize 技能。两种提示词都允许进一步证据检查。相对 Pipeline PromptWork2Skill 默认提示词使 Score 提升3.97 3.973.97分、SR 提升6.25 6.256.25个百分点平均执行步数从48.98 48.9848.98降至47.38 47.3847.38技能诱导 token 用量增加12.7 % 12.7\%12.7%。作者提出一种可能解释预定义的探索路线可能缩窄模型考虑的证据范围从而影响诱导效果这只是对消融结果的“可能解释”不是已证实机制。下图对应 pipeline prompt 对比的消融展示文件名为pipeline-comparison其 caption 与证据消融共用同一标题用于呈现提示词设计对技能归纳的影响。4.4 泛化与跨模型迁移Jitter 实验直接复用为原始任务诱导的技能不进一步诱导在 64 个配对变体上评估技能对同一应用内实体、参数或约束变化的复用能力。结果如下模型方法ScoreSR (%)StepsGPT-5.5No Skill73.4537.5052.41GPT-5.5Aloha75.502.0542.194.6951.45↓0.96GPT-5.5D2T73.03−0.4235.94−1.5651.94↓0.47GPT-5.5Ours81.758.3046.889.3849.78↓2.63Opus-4.8No Skill83.3045.3151.97Opus-4.8Aloha82.66−0.6443.75−1.5648.17↓3.80Opus-4.8D2T81.44−1.8645.31→048.48↓3.49Opus-4.8Ours87.233.9354.699.3846.53↓5.44Qwen3.5-35B-A3BNo Skill42.9412.5067.66Qwen3.5-35B-A3BAloha41.19−1.7512.50→063.14↓4.52Qwen3.5-35B-A3BD2T46.923.9814.061.5666.31↓1.35Qwen3.5-35B-A3BOurs51.588.6421.889.3865.17↓2.49Qwen3.5-9BNo Skill27.806.2582.33Qwen3.5-9BAloha31.974.1710.944.6978.63↓3.70Qwen3.5-9BD2T30.662.8612.506.2581.66↓0.67Qwen3.5-9BOurs36.258.4512.506.2579.53↓2.80Ours 相对 No Skill 平均 Score 提升3.93 3.933.93–8.64 8.648.64分SR 提升6.25 6.256.25–9.38 9.389.38个百分点相对每个执行器更强的演示基线Score 优势为4.28 4.284.28–6.25 6.256.25分。Ours 在三个执行器上取得最高 SR在 Qwen3.5-9B 上与 D2T 并列。四个模型相对 No Skill 的平均执行步数减少2.49 2.492.49–5.44 5.445.44。这些收益支持技能可复用性当测试应用内的实体、参数或约束改变时诱导技能仍然有用。但 Jitter 评估是受控复用测试每个原始任务只有一个配对变体不等同于全新任务泛化。跨模型迁移实验分离诱导与执行交叉 GPT-5.5 与 Qwen3.5-9B 作为诱导模型与执行模型每个诱导技能在下游评估前冻结。结论是GPT-5.5 诱导的技能在两个执行器下都优于 Qwen3.5-9B 诱导的技能当执行器为 GPT-5.5 时优势更大达到9.46 9.469.46分 Score 与9.38 9.389.38个百分点 SR迁移到 Qwen3.5-9B 执行后优势仍为正四种配对均优于同一执行器的 No Skill 基线。无论诱导模型是谁Qwen3.5-9B 执行性能仍显著较低。因此技能可在两个模型间有用迁移但更强的诱导并不能缩小执行器本身在这些任务上的性能差距。4.5 案例研究案例为 MyPCBench Bounded Action 任务hard_app-f016TableFind/Cotogna 预订。任务要求为十个人预订下周五 Dundies after-party 的 Cotogna同时在 TableFind 中打开三家 Scranton-area 备选餐厅收藏前两家并在备选步骤完成后回到主预订、带 note 确认 Cotogna。该任务同时考察跨搜索携带日期和人数、区分主餐厅与备选、处理备选子目标、以及刷新后的持久化检查。使用 GPT-5.5 与 high reasoning effort归纳过程共 30 次 tool calls读取任务、episode metadata、summary、evidence indices、action trace 与 key log检查 22 张不同证据图像分两批 14 张和 8 张对156.47 156.47156.47秒视频在读取元数据后分两次调用watch_video分别返回 13 帧和 8 帧其中一帧时间戳共享随后写草稿、读回、修订、读取最终 skill并成功finalize_extraction。在相同共享文本接口下注入各方法提取的指导rubric 级结果如下项要求ShowUI-AlohaD2TWork2SkillR1设置请求日期和十人桌PassPassPassR2预订 Cotogna 并带请求 notePassPassPassR3打开三家备选餐厅FailFailPassR4查看每个备选详情页FailFailPassR5收藏前两家备选FailFailPassR6获得预订确认号PassPassPassR7刷新后检查持久化FailFailPassR8验证正确最终细节PassPassPassEvaluator score55/10055/100100/100两个基线都通过 R1、R2、R6、R8配置预订、包含 note、获得确认、验证最终预订细节它们的轨迹到达备选餐厅视图但 rubric 结果不能证明三家备选及其详情页都被检查收藏前两家备选不完整且都未通过单独的持久化检查。可见确认和正确预订显示只覆盖所需工作流的一部分因此基线各得55 / 100 55/10055/100。Work2Skill 通过全部八项得100 / 100 100/100100/100额外通过的四项涉及备选餐厅覆盖、收藏偏好选项与刷新后的持久化。该案例中 Work2Skill 的收益定位为完成基线轨迹中未完成的次级子目标和验证要求。下图展示了该 TableFind 预订任务在 GPT-5.5 下使用各方法提取指导的执行轨迹与 rubric 结果两个基线均因 fallback 处理与持久化检查不完整而停留在55 / 100 55/10055/100Work2Skill 满足全部八项要求并达到100 / 100 100/100100/100。)与生成过程相联系的技能属性包括跨搜索携带预订值重新检查导航中可能被重置的字段将主餐厅从备选集合中排除在当前排序下选择前两个合格备选在备选步骤完成前推迟最终确认在导航过程中保留依赖子目标在宣布完成前同时检查预订详情和已保存收藏。该案例说明技能并非简单复述“点击哪里”而是把工作流组织为有依赖的阶段并配有可观察完成检查但案例只展示一个任务不能单独证明所有任务上的普遍优势。五、相关工作 / Related Work人类演示长期被用于桌面、web 和移动环境中的 GUI agent 研究支持数据收集、grounding、模型训练以及 agent 效率评估演示结构也可能影响任务执行。Work2Skill 的区别在于它不只是把人类演示用于数据收集、grounding、训练或效率评估而是从人类 GUI 经验中归纳可复用技能并把“解释动作上下文”和“分离 workflow rules 与 task-specific details”作为核心问题。与 ShowUI-Aloha 相比后者从全屏帧和目标裁剪图解释动作采用预定义阶段的 pipeline在没有 AX 证据时依赖视觉 grounding 推断目标语义Work2Skill 引入可用 AX 信息提供控件名称、角色等显式语义用链接视频保留动作周围的状态变化不把证据检查固定为预定义阶段而是按需检查并与技能写作交织。与 Demo2Tutorial 相比后者使用操作前后截图并把演示转化为多模态教程同样是预定义阶段 pipelineWork2Skill 对齐屏幕录像、鼠标键盘事件和 AX 信息生成可复用技能而非仅生成教程并支持按需回看视频区间和证据文件。InstructionAgent 将演示转化为专家指令和语义动作轨迹Work2Skill 进一步强调统一的证据采集基础设施、数据集层面的受控比较以及 agentic、按需证据检查的技能归纳。BrowserBC、OmegaUse 属于将演示转化为可复用技能的相关工作Work2Skill 的区别在于同时提供 WorkRecorder 采集基础设施、WorkDemo-350 同步多模态数据集、agentic skill induction 方法与下游统一评估协议。OpenAI Record Replay、Claude Record a skill 将“记录并复用”的思路带入面向用户的工具Work2Skill 是研究框架强调多模态证据对齐、可复用技能归纳与 benchmark 上的系统评估。方法上Work2Skill 借鉴了 agentic video understanding 中的主动证据获取思想例如 VideoExplorer、AVP、LensWalk 等工作让归纳 agent 主动选择文件、图像和视频区间而不是一次性加载全部录像。由于给定源码中的相关工作部分被截断本文不能声称已完整覆盖与所有相关工作的逐项比较只能依据可见材料说明上述区别。六、局限性与展望 / Limitations Future WorkWorkRecorder 的 AX 覆盖取决于录制配置与应用的无障碍支持程度AX 快照不保证反映动作发生时刻的精确界面状态可用证据受捕获和导出设置影响远程 Linux 场景还需要目标环境 collector 配合。目标元素关联使用启发式时间关联最近动作回退窗口2.5 s 2.5\,\mathrm{s}2.5s、最近 AX 事件回退窗口3 s 3\,\mathrm{s}3s是实现容差不是测量精度界限主机时钟差异大于2 s 2\,\mathrm{s}2s拒绝录制也只是部署条件不是已测量的对齐误差上界。默认禁用完整击键捕获普通打字仅以聚合 typing events 表示这可能限制对细粒度文本输入过程的理解。关键帧捕获参数如500 m s 500\,\mathrm{ms}500ms最小间隔、每动作最多 2 个结果候选、会话预算 64 帧、1.5 s 1.5\,\mathrm{s}1.5s动作前上下文新鲜度是实现默认值并非对每条演示都验证过的通用设置“存在结果帧链接”也不证明界面已完成更新settling 超时可能捕获并标记待复核或抑制候选。技能归纳方面finalize_extraction只验证输出结构与必需工具使用不验证技能正确性或任务成功固定坐标、本地路径、时间戳等检查只是启发式警告不保证语义正确。候选技能在诱导期间不执行下游评估结果不作为修订反馈因此技能中的错误无法通过执行反馈自动纠正当观察无法解决不确定性时作者策略只能要求写入可观察的条件检查或显式限制这可能影响技能完整性。由于执行器不获得源录制、动作轨迹或 extraction manifest任何遗漏的关键规则都无法在运行时从源证据恢复runtime manifest 提供运行级 provenance但不声称每条技能陈述都有源引用。此外Work2Skill 不是训练方法没有损失函数或参数更新其收益依赖归纳 agent 的推理能力与证据质量。实验边界也需注意。OSWorld 结果仅适用于 curated 的 286 任务子集不是完整 benchmarkJitter 评估是受控复用测试每个原始任务只有一个配对变体不等同于全新任务泛化。执行效率收益依赖模型Work2Skill 对 GPT-5.5 反而使用更多执行步数技能诱导 token 用量也不总是低于演示基线。跨模型迁移中更强诱导不能弥补执行器差距Qwen3.5-9B 执行仍显著较低。基线经过文本适配ShowUI-Aloha 仅保留每步caption.actionD2T 去除 frontmatter、含图片行和链接目标比较的是适配后 guidance 在共享下游条件下的效果不能完全代表原始系统的全部能力。工具调用次数不能确立证据覆盖或技能质量Pipeline Prompt 消融中“预定义路线可能缩窄证据范围”只是作者提出的一种可能解释尚未被证实为机制。案例研究只展示一个任务无法单独证明普遍优势。未来工作可以围绕更可靠的 AX 覆盖与时间对齐、执行反馈驱动的技能验证与修订、在证据不足时主动向人类求助、降低归纳与执行成本、扩展到更多应用与模态以及从受控 Jitter 复用走向更开放的新任务泛化展开这些方向需要在不夸大现有证据的前提下逐步验证。七、总结 / ConclusionWork2Skill 试图解决 computer-use agents 在不熟悉软件和领域工作流中缺少程序性知识的问题。它通过 WorkRecorder 将人类桌面 GUI 操作同步采集为“视频—关键帧—鼠标键盘事件—AX 信息”的多模态证据构建经过筛选的 WorkDemo-350并让一个工具使用型归纳 agent 按需检查证据、在写作与修订之间交替生成包含工作流规则、步骤依赖、参数化选择规则、数量约束与可见完成检查的SKILL.md。下游执行模型通过共享文本接口使用技能不访问源录像从而把人类经验转化为可移植的指导。四个执行模型、两个 benchmark 上的主实验显示Work2Skill 在评估方法中取得最高 Score 与 SR相对 No Skill 的平均 Score 提升为 MyPCBench Bounded Action4.67 4.674.67–10.54 10.5410.54分、OSWorld-Verified 286 任务子集3.11 3.113.11–7.50 7.507.50分。Jitter、跨模型迁移、证据与提示词消融以及 TableFind 案例进一步表明按需证据检查与自包含技能写作能够支持同一应用内需求变化下的复用并在复杂子目标与持久化检查上带来收益但其证据覆盖、验证机制、成本与泛化边界仍需在后续工作中谨慎处理。原文摘要:Computer-use agents can perform increasingly complex GUI tasks, yet unfamiliar software and workflows requiring human domain knowledge remain challenging. Human demonstrations convey procedural knowledge through the same GUI interaction space, but reuse requires interpreting actions in context and separating workflow rules from task-specific details. We thus introduce Work2Skill, a framework that captures human GUI experience for reusable agent skill induction. WorkRecorder provides the framework’s infrastructure for collecting this experience, aligning screen recordings, mouse and keyboard events, and available accessibility-tree information. Using WorkRecorder, we construct WorkDemo-350, the first synchronized multimodal dataset of human desktop GUI demonstrations for reusable agent skill induction and downstream evaluation. Its 350 demonstrations are screened for completeness and task success. We then propose an agentic skill-induction method that inspects evidence on demand to produce reusable skills capturing workflow rules, step dependencies, and completion checks. When the same four execution models are equipped with skills induced by each method under shared execution settings, Work2Skill achieves the highest scores and success rates. Mean score improvements over the corresponding No Skill baseline are 4.67–10.54 points on MyPCBench Bounded Action and 3.11–7.50 points on a 286-task subset of OSWorld-Verified. Our code and data are available at https://github.com/china-qijizhifeng/Work2Skill.PDF链接:https://arxiv.org/pdf/2610.12984v1部分平台可能图片显示异常请以我的博客内容为准