三、改进方向总体性以下为方向性思路落地动作见第四章按优先级。方向1从探索性自测升级为预注册的可复现实验。在跑数据之前就把实验方案固定下来主题清单、提示词模板全文、模型 / 版本、联网开关、采样参数、输出条数上限、判定规则全部写进实验方案并留档。当前报告的根本问题不是算错而是跑完才发现该记的没记——这正是因为没有预注册。补齐元数据比再多跑一轮更急迫。方向2从单一真实率升级为多维指标体系。建议建立六维指标①真实率四项要素一致、②部分真实率错 1 项区分错哪一项、③不可核验率原幻觉率并与 ① 区分、④拒答/无输出率、⑤主题相关率真实但题不对题另计一档、⑥有效产出率去重后、格式合规、可解析 DOI 的净条数。其中⑤主题相关率是当前报告最大的盲区——它直接决定真实率 70%到底对使用者有没有用。方向3从人工二分判定升级为自动核验人工仲裁。用接口做题名—作者—年份—期刊的机器比对输出匹配度分数仅在模糊区间如 0.6–0.85转人工并由两名判定者独立打分、计算 Kappa。这一步不只能降主观性更是把样本量从100条级拉到1000条级的唯一现实路径——当前样本上不去根子就在这里。方向4从单次点估计升级为重复测量推断统计。每组 ≥3 次重复、报告均值 ± 95% CI采用随机区组 / 拉丁方设计平衡调用顺序用线性混合效应模型固定效应 模型、通道、任务类型随机效应 主题、批次、时间点直接估计模型 × 任务的交互项。到这一步报告才第一次具备哪个模型真的更好这一问题的回答能力。方向5从混杂对比升级为干净通道对照。在同一模型、同一版本、同一时点内做 A/B/C 三臂裸生成无工具 vs 本地库检索增强 vs 联网检索增强每臂 ≥30 条。这样通道是否决定真实率才能从跨设计推断升级为同设计因果证据也才能顺带解释实验 5 的0%与实验 3 的72%为何能同时存在。方向6从静态快照升级为纵向回归测试。固定同一套 prompt 与主题脚本每周 / 每月自动跑一次画真实率随时间的趋势线。这既能监测模型迭代带来的漂移直接回答 4.4 节文心 X1 那 57.1 pp 到底是不是版本更新造成也能让42.3%这类数字变成有对照、有基线的连续观测而不是一次性快照。方向7从结论式报告升级为证据分级报告。给每条结论标注证据强度● 已验证重复 显著●● 推断有方向、无统计●●● 建议 / 立场超出数据。并把给使用者的建议给厂商的建议从结论章节中拆出单列行业倡导。当前报告的最大张力——一边自省、一边越界——会在这一改造后自然消解。四、具体建议可执行优先级P0 当天/本周内必须完成P1 下一轮实验约2–4周P2 机制层与长期建设。P0-1 ·修订口径与验算错误1天内动作具体做法统一总体真实率明确采用44/104 42.3%实验1–4排除二次验证为主口径并附上95% CI [33.3%, 51.9%]同时说明若并入二次验证则为 54/121 44.6%两个数字择一为主、另一为注不得并存于摘要与正文的同一位置修正 77%发现 2 中实验 3 全员高分平均 77%改为算术平均82.0% /加权72.0%二选一并注明口径修正命名4.4 节标题与 7.2(5) 中的复现性检验改为追问策略下的二轮对比并把追问单列为实验变量统一口径表述摘要5 组对照实验与核心结论4 组可比实验的措辞对齐4.1 图表柱数 5 根图注需标明含实验 1 二次验证同一任务的追加追问轮P0-2 ·在现有数据上补足统计信息1天内无需重跑实验为每一个真实率补 95% Wilson 置信区间并在 4.2 热力图 / 4.1 条形图的每个单元格上标出n。对分母 ≤5 的单元格如豆包 1/1、实验 1 二次验证 KIMI 0/0加样本不足不可解释标记并撤回4.3节的模型排序表述改写为五个模型的加权真实率区间高度重叠CI 宽 ±15–20 pp本样本不足以区分模型间差异。把总体真实率 42.3%改为42.3%95% CI 33%–51.9%或在正文中明确其为描述性统计而非估计值。P0-3 ·补齐缺失元数据本周内成本最低、收益最高作为报告的固定附录 C每个任务的检索主题原稿完全缺失是实验 2/3/4 无法归因的直接原因提示词模板全文所有实验用同一套还是各写各的是否开启联网/检索插件产品形态网页 / App / API / 小程序模型版本号调用日期核验时可访问的数据库清单与权限是否可登录知网 / 万方 / WoS / Google Scholar核验人姓名、核验日期、判定阈值四项要素全等 / 允许 1 项偏差这一项是P1一切后续分析的前提。若原始记录确实无法找回符合报告3.3的自陈则必须在正文显式声明该维度数据不可得并据此把实验2–4的对比从跨任务比较降级为探索性观察。P0-4 ·修复HTML呈现1小时内用 Markdown → HTML 工具重新生成HTML而不是把 Markdown 文本直接写进。统一 .md 与 .html 的标题层级、表格样式、引用块修复附录 A 的空行断表问题把实验 5 的两行并入同一表格。在 HTML 顶部加一个口径说明折叠块写清 42.3% 与 44.6% 的关系、以及已撤回的排序表述。P1-1 ·预注册下一轮实验方案下一轮开始前设计5 模型 × 3 学科主题建议文理工各一×3次重复随机区组、调用顺序拉丁方平衡每单元格目标 ≥15 条、全样本 ≥500 条。标准化清单固定提示词模板含最多列 10 条必须给出 DOI无法确认的请删除、固定温度、固定联网开关、固定输出格式要求。实验日志表把 P0-3 的字段做成强制必填列缺失不允许进入分析。P1-2 ·建立自动核验管线替代纯人工调用接口以题名为主键、作者 年份 期刊为校验项输出匹配度 0–1 分数与命中库名。分级判定全等真错1项部分真检索不到不可核验检索不到但由人工确认存在判定存疑转仲裁。两名判定者独立跑一遍模糊样本报告目标 ≥ 0.8否则重训判定标准。先用10条已知真 10条已知假文献做一次测量系统校准报出核验流程本身的错判率假阳 / 假阴这一步做完才允许开始正式实验。P1-3 ·补做干净的三臂通道对照直接检验核心主张同一模型、同一版本、同一时点下A 裸生成 B 接本地文献库 C 接联网检索三臂各 ≥30 条。这一步能同时解决三件事验证通道主导论、解释实验 5 的 0% 与实验 3 的 72% 为何并存、给出检索增强究竟提升多少的可外推估计。P1-4 ·引入推断统计与交互效应分析输出所有指标的均值 ± 95% CI图表用误差条。用线性混合效应模型固定效应 模型 通道 任务类型随机效应 主题 批次 时间点。报告模型 × 任务交互项的估计与p值——如果交互项显著按报告现有观察很可能显著就把模型排名这一产出从结论中彻底移除。多重比较用校正。P1-5 ·补上被漏掉的维度每个条目加主题相关率人工/半自动判定真但跑题单列一档。统计去重后的有效产出条数与召回率与人工构建的标准文献集对比回答真实率高 ≠ 覆盖全。量化因检索不可达导致的假阴性占比区分真幻觉 vs 找不到。P2-1 ·纵向回归测试长期固定 prompt 脚本每周自动跑一次 3 个主题 × 全部模型建真实率趋势图。用于监测模型迭代漂移并让42.3%这类数字获得纵向可比基线的支撑。P2-2 ·盲评与第三方交叉核验人不知条目来源对输出匿名编号或引入 2 名以上相关领域人员交叉判定降低单人主观偏差。P2-3 ·结论证据分级发布可复现包给每条结论打标记● 已验证重复 显著●● 推断有方向、无统计●●● 行业倡导超出数据。把 7.2 / 7.3 的建议从结论中拆出独立成行业倡导章节。公开可复现包提示词、脚本、原始模型输出、核验表、随机种子、README 复现步骤。附后即可让任何人复算——这也是 7.3(5) 那条厂商应公开实验日志建议对自己同样适用的地方。五、结论—证据强度对照表供下一版报告直接替换现有结论章节使用#结论当前证据建议标注1默认配置下大模型文献可核验率不足一半≈42%CI 33–52%104 条 / 4 组任务条件未受控● 描述性结论须附 CI 与仅覆盖文献列举任务限定2检索 / 工具调用通道显著提升可核验性实验 50% → 100%12 vs 4 条Fisherp≈ 0.0005●● 方向可信但通道对照不干净需补 P1-3 三臂实验升为 ●3单次抽样结论不可靠至少需 3 次重复文心 X1 28.6% → 85.7%● 最扎实的一条建议升格为报告首要方法论结论4XX 模型更靠谱的排名5 个 CI 高度重叠n 太小建议撤回改为本样本不足以区分模型差异5文心 X1 表现不稳定2 次重复且混淆了版本更新与追问策略●● 待 P0-3 补版本信息后重判6追问式验证能压低幻觉但不能消灭输出总数普遍下降但非纯复现●● 有效但变量需隔离建议改写为附加追问提示词可…7不同失败模式编造 / 沉默 / 较可靠需要区别对待观察性分类n 小● 定性观察成立量化待补8厂商应公开真实率指标、默认开启检索增强等与实验无关●●● 行业倡导从结论章节拆出六、简要总结01这是一份值得肯定的报告问题的性质是控制不足而非态度不认真。它主动暴露设计缺陷、专列六条局限、把推断与结论分开标注、拒绝给出无证据支撑的排名——这种自我约束在同类自测报告里相当少见应当保留并继续强化。02它最有价值的产出不是42.3%而是文心X1两轮差3倍这件事本身。它证明了单次抽样的结论不可靠这条方法论结论的证据强度远高于任何模型排名建议把它提到摘要首位。03最大的短板是实验条件未受控导致4组实验无法归因。但这个问题有低成本的解法不需要重跑实验先把任务主题、提示词、联网状态、模型版本、核验库清单回填进一份附录 C 就能缓解大半若原始记录确实丢失则须显式声明并把实验 2–4 降级为探索性观察。04模型排名应当撤回。五个模型的 95% 置信区间分别为 [48.1,85.5]、[39.2,72.6]、[23.4,59.3]、[17.2,54.6]、[11.5,43.4]高度重叠且宽达 ±15–20 pp样本量不足以区分高低。这是当前报告里最容易被误引、也最缺乏证据的一块。05核心结论通道比模型更重要方向是对的。0/12 vs 4/4 的 Fisher 精确检验单尾p≈ 0.0005统计上站得住但它与实验 3 的 72% 互相矛盾暴露出实验 5 的对照不干净。补一次同模型同版本的三臂对照裸生成 / 本地库 / 联网即可把它从 ●● 升为 ●。06最该补的维度是主题相关率和自动核验。前者决定 70% 的真实率对使用者到底有没有用当前完全没测后者是把样本量从 100 条级拉到 1000 条级的唯一现实路径——当前所有统计问题的根源都在 n 太小。07建议的推进顺序先修口径与CI1天→补元数据本周→修HTML1小时→建自动核验三臂对照2–4周→纵向回归长期。前三项几乎零成本、立即可显著抬升报告严谨度后两项决定它能否从一份不错的自测报告升级为可复现、可引用的实验结果。08最后一句评语这份报告真正的价值不在于它测出了 42.3%而在于它诚实地告诉后来者我这个 42.3% 有多少水分。把它按上面的 P0–P2 补完就能把这份诚实的自测变成可复现的证据。