1. 从手工复制粘贴到代码批量拼接为什么这件事值得认真对待如果你日常工作中需要处理Excel大概率遇到过这种场景手头有十几个甚至几十个结构相同的表格文件可能是各区域提交的月报、各门店的销售流水、各批次的产品检测记录需要把它们汇总到一张总表里。手动操作的话就是打开第一个文件、全选、复制、切到总表、粘贴、关掉、打开第二个……循环往复。文件少还能忍一旦超过十个不仅枯燥还特别容易出错——漏粘一行、多粘一列、表头重复粘贴这些坑几乎每个人都踩过。用Python做表格拼接合并解决的正是这个痛点。它的核心逻辑并不复杂把多个来源的表格数据读取出来按照统一的规则纵向堆叠或横向对接最终输出一张完整的汇总表。听起来简单但实际操作中会遇到各种细节问题表头不一致怎么办列顺序不同怎么处理有的文件有合并单元格怎么读数据量大了内存扛不住怎么办这些才是真正决定代码能不能用在生产环境的关键。这篇文章面向的是已经掌握Python基础语法、知道怎么用pandas读写Excel的读者。如果你还没接触过pandas建议先花半小时了解一下DataFrame的基本概念否则后面的内容可能会有些吃力。我会从最基础的纵向拼接讲起逐步深入到多文件批量处理、列对齐、性能优化等实战环节把每个操作背后的“为什么”讲清楚让你不仅能抄代码还能根据实际情况灵活调整。2. 纵向拼接的三种实现路径与选型逻辑纵向拼接是最常见的需求——多个表格的列结构相同只是数据行不同需要把它们上下叠在一起。pandas提供了不止一种方法来实现这个操作不同方法适用于不同场景选错了要么代码冗长要么性能拉胯。2.1 concat最直接的堆叠方式pd.concat()是pandas专门为拼接设计的函数用法直观。假设你有两个DataFrame列名完全一致直接传入列表即可import pandas as pd df1 pd.read_excel(区域A.xlsx) df2 pd.read_excel(区域B.xlsx) result pd.concat([df1, df2], axis0, ignore_indexTrue)这里有几个参数值得注意。axis0表示纵向拼接这也是默认值但显式写出来可读性更好。ignore_indexTrue的作用是重置索引如果不加这个参数拼接后的DataFrame索引会是0,1,2...接着又是0,1,2...后续如果要用索引定位数据就会很混乱。我个人的习惯是只要做拼接就加上这个参数省得后面还要手动重置。concat的一个优势是它支持一次拼接多个对象不限于两个。你可以直接把一个包含十几个DataFrame的列表传进去它会一次性完成所有拼接。这比写循环逐个拼接效率高得多因为pandas在内部做了一些优化减少了中间对象的创建。2.2 append已弃用的旧方法及其替代方案早期版本的pandas提供了一个append方法用法是df1.append(df2)看起来更简洁。但这个方法是逐个追加的每次调用都会创建一个新的DataFrame对象如果要在循环里拼接几十个文件性能会非常差。pandas官方从1.4版本开始已经将append标记为弃用未来版本会彻底移除。如果你手头的旧代码还在用append迁移方案很简单把所有要拼接的DataFrame收集到一个列表里最后用一次concat完成。这个改动不仅让代码更符合当前规范在数据量大时性能提升也很明显。我实测过一个场景拼接50个各含1万行的表格用循环append耗时约12秒改成列表收集加一次concat后降到不到2秒。2.3 列表收集加批量拼接推荐的标准写法结合前两点的分析处理多文件拼接的标准写法应该是这样的import pandas as pd from pathlib import Path folder Path(./月度报表) all_data [] for file_path in folder.glob(*.xlsx): df pd.read_excel(file_path) all_data.append(df) final pd.concat(all_data, ignore_indexTrue)这段代码的逻辑很清晰遍历目标文件夹下所有xlsx文件逐个读取后存入列表最后一次性拼接。用pathlib.Path代替字符串拼接路径跨平台兼容性更好代码也更干净。注意如果文件夹里混有非数据文件比如说明文档、临时文件需要在循环里加判断条件过滤否则读取时会报错中断。选型建议总结成一句话无论多少个表格都先用列表收集最后统一concat。这是目前最稳妥、性能最好的做法。3. 多文件批量读取时绕不开的四个细节问题把单个拼接的逻辑扩展到批量处理文件时会遇到一些在单文件场景下不会暴露的问题。这些问题不解决代码跑起来要么报错要么结果不对。3.1 表头行不一致skiprows与header参数的配合理想情况下每个表格的第一行就是列名。但实际工作中很多报表会在第一行放标题比如“2024年第一季度销售统计”第二行甚至第三行才是真正的表头。如果直接read_excelpandas会把标题行当作列名后续拼接时列名对不上结果就是一堆Unnamed列。处理方法是使用header参数指定表头所在的行号从0开始计数。如果表头在第三行就写header2。如果表头之前还有需要跳过的说明行可以配合skiprowsdf pd.read_excel(file_path, skiprows1, header0)这表示跳过第一行把接下来的第一行作为表头。实际操作中我建议先单独读取一个文件打印df.columns看看列名是否正确确认无误后再批量处理。这个检查步骤花不了几秒钟但能避免后面大量返工。3.2 列顺序不同但列名相同concat的自动对齐机制concat在纵向拼接时默认按照列名进行对齐而不是按照列的位置。这意味着即使两个表格的列顺序不同只要列名一致拼接结果就是正确的。比如df1的列顺序是[日期, 销售额, 门店]df2是[门店, 日期, 销售额]concat之后会自动按列名匹配不会出现数据错位。但这个机制有一个副作用如果某个表格缺少某一列拼接后该列对应位置会填充NaN。这有时候是预期行为确实没有这个数据有时候则说明读取环节出了问题比如列名有空格导致匹配失败。所以拼接完成后建议检查一下各列的缺失值比例print(final.isnull().sum())如果发现某列大量缺失就要回头排查是数据源本身的问题还是列名匹配的问题。3.3 文件命名与遍历顺序glob排序的坑Path.glob()返回的文件顺序是不确定的取决于文件系统的实现。如果你需要按照特定顺序拼接比如按月份先后不能依赖glob的默认顺序需要手动排序files sorted(folder.glob(*.xlsx), keylambda p: p.stem)这样会按照文件名不含扩展名的字典序排列。如果文件名是“1月.xlsx”“2月.xlsx”这种格式字典序恰好等于时间序。但如果是“1月”“10月”“2月”这种字典序会把10月排在2月前面需要额外处理。更稳妥的做法是在文件名里使用零填充的编号比如“01月”“02月”……“12月”这样字典序和时间序就一致了。3.4 读取时的数据类型陷阱数字变文本、日期变数字Excel的一个特点是它不强制列的数据类型同一列里可能混着数字和文本。pandas读取时会做类型推断但推断结果不一定符合预期。常见的问题有两个一是带前导零的编号如“001”被读成数字1丢失了前导零二是日期被读成数字序列号Excel内部用数字存储日期。对于编号列可以在读取时指定dtype参数df pd.read_excel(file_path, dtype{产品编号: str})对于日期列如果Excel里存储的是标准日期格式pandas通常能正确识别。但如果显示为数字说明该列的单元格格式不是日期需要在Excel里先转换或者读取后用pd.to_datetime配合origin参数手动转换。4. 横向拼接与复杂场景当简单堆叠不够用时纵向拼接解决的是“结构相同、数据不同”的场景。但实际工作中还有另一类需求多个表格的列不同需要按照某个共同字段横向合并。这就是横向拼接pandas里用merge或join来实现。4.1 merge的核心参数on、how、suffixesmerge的用法类似于SQL里的JOIN操作。假设你有一个订单表和一个客户信息表需要通过客户ID关联orders pd.read_excel(订单表.xlsx) customers pd.read_excel(客户信息.xlsx) result pd.merge(orders, customers, on客户ID, howleft)on参数指定关联键两个表中这个列名必须一致。如果不一致可以用left_on和right_on分别指定。how参数控制连接方式left保留左表所有行right保留右表所有行inner只保留两表都有的行outer保留所有行。选择哪种方式取决于业务逻辑——如果你要确保订单表的数据一条不漏就用left。suffixes参数处理列名冲突。如果两个表都有“备注”列合并后pandas会自动加上后缀区分默认是_x和_y。建议手动指定更有意义的后缀result pd.merge(orders, customers, on客户ID, howleft, suffixes(_订单, _客户))4.2 多对一与多对多合并前必须搞清楚的关系merge之前一定要确认两个表的关联关系是一对一、多对一还是多对多。如果左表的关联键有重复值右表也有重复值合并结果会出现笛卡尔积——行数急剧膨胀。比如左表有3行同一个客户ID右表有2行同一个客户ID合并后这个客户会产生6行数据。这不是bug是merge的正常行为但如果不了解这一点看到结果行数暴增会一头雾水。合并前用duplicated()检查关联键的唯一性print(orders[客户ID].duplicated().sum()) print(customers[客户ID].duplicated().sum())如果右表的关联键有重复而你只想取其中一条需要先去重或者做聚合。4.3 拼接后的数据校验行数、列数、关键字段核对无论纵向还是横向拼接完成后都应该做基本校验。纵向拼接检查总行数是否等于各表行数之和在忽略表头重复的前提下横向拼接检查行数是否符合预期left连接应该等于左表行数。列数方面纵向拼接后列数应该等于各表列数的并集横向拼接后列数等于两表列数之和减去关联键的重复计数。关键字段核对是指抽查几行数据确认拼接后的值与原表一致。我通常会在拼接后随机抽几行用iloc定位到具体位置和原始文件对照。这个步骤看起来笨但能发现一些隐蔽的问题比如编码问题导致的乱码、浮点数精度丢失等。5. 性能优化当表格大到内存装不下时怎么办处理少量小文件时上面的方法完全够用。但如果文件数量多、单个文件行数大内存就会成为瓶颈。一个100万行、20列的DataFrame大约占用150MB内存如果同时把50个这样的表读进列表再拼接峰值内存可能超过7GB普通办公电脑直接卡死。5.1 分块读取与增量拼接pandas的read_excel本身不支持分块读取read_csv支持chunksize参数但Excel没有。不过我们可以换个思路不把所有DataFrame都保存在内存里而是边读边写。具体做法是先把第一个文件读进来写入结果文件后续文件读一个追加一个。import pandas as pd from pathlib import Path folder Path(./大数据集) files sorted(folder.glob(*.xlsx)) output 汇总结果.xlsx # 第一个文件写入保留表头 first pd.read_excel(files[0]) first.to_excel(output, indexFalse) # 后续文件追加不写表头 for f in files[1:]: df pd.read_excel(f) with pd.ExcelWriter(output, modea, if_sheet_existsoverlay) as writer: df.to_excel(writer, indexFalse, headerFalse, startrowwriter.sheets[Sheet1].max_row)这段代码利用了ExcelWriter的追加模式。需要注意的是if_sheet_existsoverlay参数要求pandas版本不低于1.4。另外追加写入Excel的速度比一次性写入慢很多因为每次都要打开和保存整个文件。如果数据量真的很大建议中间结果用CSV格式暂存最后再统一转成Excel。5.2 只读取需要的列usecols的妙用很多情况下我们并不需要表格里的所有列。比如一个20列的销售报表汇总时只需要日期、门店、销售额三列。这时候用usecols参数只读取需要的列能大幅减少内存占用和读取时间df pd.read_excel(file_path, usecols[日期, 门店, 销售额])实测下来读取20列中的3列速度大约是全列读取的40%内存占用降到原来的15%左右。如果列名不确定也可以传列号列表比如usecols[0, 3, 7]。但列号方式不够稳健一旦源文件列顺序调整就会读错所以优先用列名。5.3 用CSV作为中间格式的取舍Excel文件的读写速度远低于CSV。如果整个流程不需要保留Excel格式比如只是做数据汇总分析可以考虑先把所有Excel转成CSV后续操作都在CSV上进行。转换是一次性成本但后续的读取、拼接、筛选都会快很多。for f in folder.glob(*.xlsx): df pd.read_excel(f) df.to_csv(f.with_suffix(.csv), indexFalse)之后用pd.read_csv读取拼接完成后再输出为Excel。这个方案特别适合需要反复调试代码的场景——每次调试都重新读Excel太慢了转成CSV后迭代速度会快很多。6. 实战中积累的几个避坑经验上面讲的都是方法论层面的东西这一节分享几个我在实际项目中踩过的坑和总结的技巧都是文档里不会写的。第一个坑是文件被占用导致读取失败。如果某个Excel文件正在被其他程序打开比如你刚双击看了一眼还没关pandas读取时会抛出PermissionError。批量处理时遇到这种情况整个循环就中断了。解决办法是用try-except包裹读取操作记录失败的文件名跳过继续failed [] for f in files: try: df pd.read_excel(f) all_data.append(df) except Exception as e: failed.append((f.name, str(e))) continue处理完成后打印failed列表手动处理这些文件。这个做法看起来简单但在处理上百个文件时能省去大量重跑的时间。第二个坑是隐藏的空行和空列。有些表格看起来数据到第100行结束但实际上第101行有空格或不可见字符pandas会把它当作有效数据读进来导致拼接后多出很多空行。读取后可以用dropna(howall)删除全空行df df.dropna(howall)这个操作应该在拼接之前对每个DataFrame单独做而不是拼接后统一做因为拼接后的空行可能混在中间不容易识别。第三个经验是保留数据来源标记。拼接多个来源的数据时建议在每读取一个文件后加一列记录来源df[来源文件] file_path.name这样汇总后如果发现某行数据有问题可以快速定位到是哪个文件贡献的。这一列在最终输出时可以保留也可以删除但在调试阶段非常有用。第四个经验关于输出时的格式控制。to_excel默认会把索引也写进去通常我们不需要记得加indexFalse。另外如果数据里有长数字比如身份证号、订单号Excel打开后可能会显示为科学计数法。可以在写入时指定格式或者干脆把这类列转成文本再写入。7. 一套可直接复用的拼接脚本框架把前面讲的内容整合起来形成一个通用的脚本框架。这个框架覆盖了文件遍历、异常处理、列筛选、来源标记、拼接输出等环节你可以根据自己的需求删减或扩展。import pandas as pd from pathlib import Path import sys def merge_excel_files(folder_path, output_path, usecolsNone, sheet_name0): 批量拼接Excel文件 :param folder_path: 存放Excel文件的文件夹路径 :param output_path: 输出文件路径 :param usecols: 需要读取的列名列表None表示全部读取 :param sheet_name: 工作表名称或索引 folder Path(folder_path) files sorted(folder.glob(*.xlsx)) if not files: print(未找到任何xlsx文件) return all_data [] failed [] for f in files: try: df pd.read_excel(f, usecolsusecols, sheet_namesheet_name) df df.dropna(howall) df[来源文件] f.name all_data.append(df) print(f已读取: {f.name} ({len(df)}行)) except Exception as e: failed.append((f.name, str(e))) print(f读取失败: {f.name} - {e}) if not all_data: print(没有成功读取任何文件) return result pd.concat(all_data, ignore_indexTrue) result.to_excel(output_path, indexFalse) print(f\n拼接完成: 共{len(result)}行, {len(result.columns)}列) print(f输出文件: {output_path}) if failed: print(f\n以下{len(failed)}个文件读取失败:) for name, err in failed: print(f - {name}: {err}) if __name__ __main__: merge_excel_files( folder_path./数据源, output_path./汇总结果.xlsx, usecols[日期, 门店, 销售额] )这个脚本可以直接运行也可以作为模块导入。几个设计上的考虑usecols参数让调用者决定读哪些列避免读入无关数据failed列表记录失败文件方便事后排查每读取一个文件打印进度处理大量文件时能直观看到进展来源文件列方便追溯数据。如果需要在拼接后做进一步处理比如按日期排序、按门店分组汇总可以在concat之后、to_excel之前插入相应的代码。这个框架的价值在于把容易出错的环节都做了防护你只需要关注业务逻辑本身。实际使用中我建议先用少量文件测试确认输出结果符合预期后再处理全量数据。测试时重点检查列名是否正确、行数是否匹配、关键字段的值有没有异常。这几分钟的前置检查往往能避免几小时的返工。