【免费下载链接】agents-last-examAgents Last Exam项目地址https://gitcode.com/gh_mirrors/ag/agents-last-exam点击查看免费下载Agents Last ExamALE是一个用于在真实沙箱中评测 AI Agent 的开源基准框架而实验 YAMLexperiment YAML是启动一次批量评测的唯一入口用一个文件把 Agent 预设、沙箱环境与任务清单接线起来并通过concurrency、auto_resume、wall_time_s等运行级参数控制整批任务的行为。本文带你从 3 个必填字段写到并发与断点续跑完整讲清实验 YAML 的每一个关键参数。1️⃣ 先认识实验YAML一个文件搞定批量评测一次实验 Agent × 环境 × 任务的组合矩阵。实验 YAML 的设计刻意很薄它只负责接线——Agent 配置放在configs/agents/环境配置放在configs/environments/实验文件只按路径引用它们运行级参数并发、超时、续跑、清理策略则直接写在实验 YAML 的顶层。仓库自带的最小示例就是 example_exp.yaml复制修改后即可运行name: my_experiment secret_file: secret/.env # KEYvalue 形式的密钥文件 agents: - configs/agents/claude_code.yaml # 多写几行 运行 agent 矩阵 environment: configs/environments/environment_gcloud.yaml tasks: selected_tasks/hello_both.txt # 任务清单 # ---- 运行级参数全部可选此处为默认值---- output: root: .logs/ale # 宿主机运行日志目录 concurrency: 1 # 同时进行的 unit 数 wall_time_s: 7200 # 每个 unit 的墙上时钟上限秒 auto_resume: true # 跳过已完成/超时自动重试失败项 max_attempts: 3 # 失败 unit 的总尝试次数1..3 cleanup_mode: delete # delete | stop | keep2️⃣ 三个必填字段name、agents、tasks environment字段是否必填说明name✅实验名同时也是输出目录名.logs/ale/name/agents✅Agent 预设 YAML 路径列表位于configs/agents/列多个即跑agent 矩阵每个 agent × 每个任务。单 agent 也可用agent:简写environment✅环境 YAML 路径每个实验只能有一个定义 provider、镜像与路由tasks✅任务清单.txt每行一个任务路径#开头为注释.yaml则支持{path, variants}条目几个实用细节Agent 预设决定用哪个 harness、哪个模型。例如 configs/agents/claude_code.yaml 中harness: claude_codemodel:一行即可切换模型同名 harness 想同时跑多个配置变体时在预设里显式写id:区分输出目录。环境 YAML按快照snapshot路由 provider一个环境可以混用后端比如 Linux 任务走 Docker、Windows/GPU 任务走云 VM。参考 configs/environments/environment_gcloud.yaml 与 configs/environments/docker.yaml。任务清单仓库内置多档冒烟用的 selected_tasks/hello_both.txtLinux Windows 各一个 hello完整公开集 selected_tasks/unlicensed.txt。所有相对路径都相对于主 YAML 所在目录解析配置里可用${env:VAR}引用环境变量变量未设置会直接报错见 ale_run/orchestration/config_loader.py。3️⃣ 并发与超时concurrency 和 wall_time_s 怎么设concurrency默认 1同时在飞的 unit 数。每个 unit 从获取沙箱、跑 Agent 到评测结束都独占一个槽位所以它实际上就是同时存活的沙箱数上限。官方建议按min(云厂商配额, LLM 限频 ÷ agent 数)来取值使用 static provider共用一台机器时必须保持 1见 ale_run/orchestration/experiment_spec.py。wall_time_s实验级的墙上时钟预算秒会覆盖每个任务卡片自带的vm.timeout。比如设18000就是统一 5 小时预算超时的 unit 会被标记为statustimeout并被停止。不设置时按各任务卡片自己的值或框架默认。典型批量配置摘自 docs/quickstart.mdtasks: selected_tasks/unlicensed.txt concurrency: 8 auto_resume: true max_attempts: 3 cleanup_mode: delete4️⃣ 断点续跑auto_resume 与 max_attempts 详解这是长批次最关键的一对参数auto_resume默认true启动时扫描输出根目录下历史run.json布局为output.root/agent/model/task/vi/时间戳/跳过状态为completed或timeout的 unit并对新失败的 unit 自动重新入队实现见 ale_run/cli.pymax_attempts默认 3范围 1..3单个失败 unit 在本次调用中的总尝试次数上限含首次运行。每次尝试都会保留独立的时间戳运行目录互不覆盖想一次性干净重跑不扫描历史、不重试命令行加--disable-resume或在 YAML 里持久写auto_resume: false。# 一次性重跑所有 unit不续跑、不重试 uv run python -m ale_run run my_experiment.yaml --disable-resume 大批次跑挂了、机器重启了不用管——直接重新执行同一条run命令auto_resume会自动跳过已完成的 unit只补跑失败的。5️⃣ 另外两个参数cleanup_mode 与 prompt_suffixcleanup_mode默认deleteunit 结束后沙箱的处置方式——delete销毁省配额、stop停止但保留磁盘以便事后检查产物、keep保持运行调试用prompt_suffix默认空以独立段落形式追加到每个任务提示词末尾会一并记录进 trajectory。适合统一声明全程自主、不可交互、无法完成时写 infeasible.md之类的要求多行文本用 YAML 的|块标量即可。6️⃣ 别搞混output_path 在环境YAML里output.root实验 YAML只控制宿主机运行记录目录而沙箱内产物的去向由环境 YAML的output_path决定三态取值取值行为适用场景null不回收产物只留评分只要分数、省空间local直接拉到运行目录output/本地开发、小规模gs:///s3:///oss://从沙箱直传云存储桶大规模批次的集中存储同理任务数据来源task_data_source如baked_in_sandbox、local:dir也写在环境 YAML 里见 configs/environments/docker.yaml。7️⃣ 标准启动流程先 dry-run再过滤最后全量# 1. 安装依赖 uv sync --all-packages # 2. 干跑解析并打印整个 agent × task × variant 矩阵不创建任何沙箱 uv run python -m ale_run run example_exp.yaml --dry-run # 3. 只跑矩阵中的一部分调试常用 uv run python -m ale_run run my_experiment.yaml \ --agent claude_code \ --task demo/hello # 4. 确认无误后正式运行 uv run python -m ale_run run my_experiment.yaml干跑会输出实验名、环境路由、输出根目录、并发数及全部 unit 清单是开跑前验证配置正确性的最快方法。更完整的运行与产物收集说明见 docs/ale-docs-site/pages/run.html。 快速回顾清单✅ 实验 YAML 只需接线nameagentsenvironmenttasks四个必填✅concurrency决定并发沙箱数先 dry-run 再逐步调大✅wall_time_s统一控制每个 unit 的超时预算✅auto_resume默认开启中断后重跑同一命令即可续跑✅output_path/task_data_source属于环境 YAML不在实验文件里。 相关文件索引示例实验example_exp.yaml、example_hfsandbox_exp.yaml参数定义ale_run/orchestration/experiment_spec.pyYAML 加载与校验ale_run/orchestration/config_loader.pyCLI 与续跑逻辑ale_run/cli.py上手指南docs/quickstart.md赞分享【免费下载链接】agents-last-examAgents Last Exam项目地址https://gitcode.com/gh_mirrors/ag/agents-last-exam点击查看免费下载相关推荐如何配置Scrapy-Redis20个关键设置参数详解如何配置Scrapy Redis20个关键设置参数详解 Scrapy Redis是Scrapy框架的Redis扩展为分布式爬虫提供了强大的支持。通过Redi后端消息队列数据工程RPCS3补丁完全指南3步导入、排查与自制补丁RPCS3补丁完全指南3步导入、排查与自制补丁 RPCS3是功能强大的PS3模拟器与调试器。本文写给第一次接触RPCS3补丁系统的新手讲清楚补丁文件怎么放进虚拟化逆向工程游戏开发Qwen3-30B-A3B-vwn-eagle-model配置详解draft_vocab_size、vwn_m等关键参数如何影响加速效果Qwen3 30B A3B vwn eagle model配置详解draft_vocab_size、vwn_m等关键参数如何影响加速效果 Qwen3 30B创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考