假设你要让 AI 修复一个项目里的分页问题没有查询结果时接口会报错修好之后原来的功能还得正常使用。几个候选模型中一个写得快一个编程榜单分数高还有一个价格低。应该选谁先别急着下结论。对这个任务来说关键是能否修好问题、保住原有功能以及完成任务要花多少钱、等多久。下面就用这个例子说明怎样从公开评测中挑出候选再用自己的任务做决定。一 先确定怎样才算做对选模型之前先写清楚什么样的结果可以接受。这个分页任务至少有四项要求没有查询结果时不报错接口返回格式不变原有功能仍然正常不改动无关文件。检查原有功能是否受影响就是回归测试。换成文档、文案或图片任务也可以先列出几条能检查的要求。有了明确标准才知道模型输出是可以直接使用还是只看起来不错。任务需要得到什么优先检查维护现有代码可应用到项目的代码修改问题修好原有功能正常不乱改文件提取文档信息字段表与原文依据信息准确完整能找到原文依据撰写产品文案符合资料与受众的成稿不编造卖点符合语气与字数要求编辑图片满足修改要求的图片指定部分改对其他细节按要求保留任务不同参考的评测也应不同。英文小说写得好不等于中文产品文案也写得好能回答表格里的问题也不等于能直接修改复杂 Excel 文件。先看清评测考了什么再看名次。二 挑选与任务相关的评测对于修改现有项目的任务能在真实代码仓库里完成修改的评测比只生成一段独立代码更值得参考。还要继续看测试让模型做了什么又怎样判定结果合格。例如FrontierCode 1.1 考察真实工程修改不只看代码能否运行还检查修改是否满足评分要求。如果关键条件没有通过这次提交会记为零分。这类评测与项目维护有关但不能直接代表所有编程任务。[1]SWE-bench 官方榜单还会列出模型及其 Agent。这里的 Agent 可以理解为围绕模型执行任务的工具与流程例如读取文件、运行命令和检查结果。比较成绩时这些条件也要一起看。[2]应记录的信息为什么需要模型名称与版本同系列不同版本成绩不能直接套用推理强度 Effort 与工具流程模型思考设置和可用工具可能影响表现评测版本与测试任务先确认候选做的是不是同一套题评分方法与结果日期看懂分数含义确认数据是否仍适用先找两到三个与任务相关的候选即可。公开评测能帮助缩小范围但榜单第一名是否适合你的项目还要继续验证。如果不想逐个整理分散的评测可以参考SwanArc按任务和偏好展示结果的模型指南先缩小候选范围再核查原始来源。查看推荐时仍要确认测试条件与自己的需求是否接近综合分也不等于实际任务成功率。三 做得对之后再看花费与时间API 标价低完成任务未必便宜。API 指通过程序调用模型一次调用便宜不代表整个任务便宜。修复代码可能要反复读取文件、修改和重试这些用量都可能产生费用。拿到结果后人工检查和返工也需要时间。回复快也未必交付快。有的模型很快开始输出但工具执行或重试要等很久。对这个分页任务更有用的记录是从提交需求到拿到可以检查验收的代码总共用了多久。下面是一组假设数据不对应真实模型。每个候选都做十次测试使用相同的任务和检查标准费用包含失败的尝试。假设候选验收通过次数API 总费用平均每次尝试用时A91020 美元12 分钟B7108 美元6 分钟C91012 美元8 分钟这组结果中A 和 C 都通过了九次C 的费用更低、用时更短可以优先继续验证。B 最便宜但只通过七次如果这项工作要求较高的可靠性它未必满足要求。十次测试只能帮助初步比较不能据此证明模型的整体水平。还可以算一笔账本次 API 总费用 ÷ 通过验收的次数。例如A 花了 20 美元通过九次平均每个合格结果约花 2.22 美元。这个数字只反映这组测试人工检查与修改时间还要另记不能把榜单分数当成通过概率来算。四 把候选放在同一张表里比较整理候选时建议保留任务是否匹配、模型与使用设置、成绩、费用、耗时和来源日期。相同评测中的同类指标可以直接比较不同评测里的分数应分开看。没有报告费用不代表免费没有报告耗时也不能按零处理。随后再考虑自己的取舍是愿意多等一会儿换更高质量还是在质量达标后优先省钱先设合格标准再比较花费能避免因为综合分高或价格低就选中不满足任务要求的模型。五 用自己的任务做最后验证测试分页修复时可以准备“没有结果”“只有一页”“多页边界”“参数异常”等情况并检查原有功能。让候选从同一份项目代码开始使用相同的文件访问与工具权限记录每次测试的输入、模型设置和结果。除了看问题是否修好还应检查有没有改动无关文件、引入不必要的依赖以及自己需要多久才能确认结果可用。重要样例可以重复运行看看同一个模型是否表现稳定。如果测试的是中文产品文案就换一组标准有没有编造产品功能是否符合字数与受众要求还要修改多少才能发布。测试题应当贴近自己的工作。最终要选的是能在你的任务、预算和时间要求下稳定交付合格结果的模型。保留这次的测试记录等模型版本或需求变化后再用同样的方法比较。参考来源[1] CognitionFrontierCode 1.1 方法说明。https://cognition.com/blog/frontier-code-1.1[2] SWE-bench 官方榜单。https://www.swebench.com/