# 论文总结：Knowledge Acquisition During Pre‑training? Large Language Models Learn Better With Auxiliary Views 论文信息：arXiv:2609.04180，接收于 Findings of EMNLP 2026 作者：Joseph Lee, Yidi Huang, Dokyoon Kim, Shu Yang, Li Shen## 一、论文主要内容该论文聚焦**大语言模型预训练阶段的知识获取机制**。当前业界已经知道去重、过滤、数据质量、数据多样性对预训练很重要，但缺少解释：**知识该以怎样的表达形式被模型学习**。论文提出**辅助视角（Auxiliary Views）**概念：对同一知识做概念层面的多种重表述（教材、博客、问答等不同体裁，不等同于简单同义改写paraphrase），通过受控的继续预训练实验，探究辅助视角如何影响模型对事实知识、推理知识的习得。核心实验设置：收集计算机、法律、医学3个领域未出现在OLMo‑2预训练语料的原始文档；针对每篇文档生成多类辅助视角文本，严格固定token预算，对比「仅原始文档」「仅同义改写」「原始+辅助视角」多种训练方案；同时改变模型规模、batch size、生成辅助视角的教师模型能力，观测知识召回、推理能力、模型内部层编码行为的变化。主要实验发现：1. 重复是知识获取的必要条件，但同义改写（paraphrase）的增益仅在小batch size下有效；batch变大后改写带来的收益会消失。2. 在token总预算不变前提下，把原本用于重复原始文档的token分配给辅助视角，**即便减少原始文档的训练频次，依然同时提升事实