news 2026/6/2 0:30:59

高效读取 100 万行 Excel 大文件数据

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
高效读取 100 万行 Excel 大文件数据

我先尝试了市面上常见的几套方案:

方法描述性能结果结论
pandas方便但会一次性加载大内存20–40 秒太慢
openpyxl原生解析 xlsx60 秒以上最慢
pyxlsb解析 xlsb 二进制~3min30s可用但不够
CSV(Excel 转 UTF-8)纯文本读取9 秒内最快方案,无可争议

👉 大量资料与 GPT 的技术建议都指向:CSV 是读取速度最快的格式(文本解析远快于 XML / PKG 结构)

但第一次用 CSV 时却发现速度不够快,排查后发现:

❌ 用代码转换 xlsx → csv,非常慢

✅ 用原生 Excel 手动转换为 CSV UTF-8,性能最高 (WPS 转的 CSV 不是 UTF-8,会导致解析异常,不推荐)

最终测试:CSV UTF-8 格式 → 读取 80 万行,仅需 8–9 秒

性能提升超过20 倍


方案一(对比用):XLSB 版本(3.5 分钟)

from pyxlsb import open_workbook def read_xlsb_to_3d_list(file_path, sheet_name, chunk_size=10000): result = [] current_chunk = [] row_count = 0 with open_workbook(file_path) as wb: with wb.get_sheet(sheet_name) as sheet: for i, row in enumerate(sheet.rows(), start=1): if i == 1: continue row_data = [cell.v for cell in row] current_chunk.append(row_data) row_count += 1 if row_count % chunk_size == 0: result.append(current_chunk) current_chunk = [] if current_chunk: result.append(current_chunk) return result

优点:能直接读取 xlsb缺点:速度慢,不适合百万级数据


最终推荐方案:CSV 超高速版本(9 秒内)

性能最佳的做法流程

  1. 用 Excel 手动把.xlsx转为.csv (UTF-8)

  2. 使用下面的纯 Python CSV 流式读取代码

高性能 CSV 方案代码

import csv def read_csv_as_3d_list(csv_path, batch_size=10000, encoding="utf-8"): all_data = [] batches = [] current_batch = [] with open(csv_path, "r", encoding=encoding, newline="") as f: reader = csv.reader(f) next(reader, None) # 跳过表头 for row in reader: all_data.append(row) current_batch.append(row) if len(current_batch) >= batch_size: batches.append(current_batch) current_batch = [] if current_batch: batches.append(current_batch) return [all_data, batches]

实测结果(80 万行)

  • ⏱ 耗时:8–10 秒

  • ✔ 内存占用稳定

  • ✔ 三维结构满足 RPA 使用场景

  • ✔ 影刀流程执行无卡顿


经验总结

  1. 格式比工具更重要:CSV 是绝对的性能王者

XLSX 是压缩包 + XML,需要大量解析成本。

CSV 是纯文本,解析速度是数量级优势。

  1. 不推荐用 WPS 转 CSV

WPS 导出的 CSV 默认编码不是 UTF-8,会导致解析异常。

  1. 大文件一定要流式读取

不要一次性加载 DataFrame,否则内存和 CPU 都会爆。

  1. 每 1 万行切片是最佳折中

可兼顾可视化和后续处理的性能。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/5/30 17:11:55

Spring Boot 应用开发知识点总结

一、Spring Boot 核心原理:理解「约定优于配置」的本质​ Spring Boot 的核心优势在于简化配置、快速开发,其底层依赖两大核心机制:自动配置与 Starter 依赖,这是掌握框架的根本所在。​ 1. 自动配置(AutoConfigurat…

作者头像 李华
网站建设 2026/5/29 20:43:18

窗口置顶神器:3分钟学会让重要窗口永不消失的终极技巧

窗口置顶神器:3分钟学会让重要窗口永不消失的终极技巧 【免费下载链接】AlwaysOnTop Make a Windows application always run on top 项目地址: https://gitcode.com/gh_mirrors/al/AlwaysOnTop 还在为重要窗口被其他程序遮挡而烦恼吗?窗口置顶工…

作者头像 李华
网站建设 2026/5/31 12:38:50

Day 16 C++提高之模板

Day 16 C提高之模板 一、模板的概念 模板就是建立通用的模具,大大提高复用性。例如,生活中的模板:一寸照片的模板、PPT模板、论文模板。 模板特点:通用性很强,但是不能直接使用,只是一个框架,模…

作者头像 李华
网站建设 2026/6/1 10:08:50

蓝桥杯 162.通电(Prim算法)

2015 年,全中国实现了户户通电。作为一名电力建设者,小明正在帮助一带一路上的国家通电。这一次,小明要帮助 nn 个村庄通电,其中 1 号村庄正好可以建立一个发电站,所发的电足够所有村庄使用。现在,这 nn 个…

作者头像 李华
网站建设 2026/5/31 5:40:36

ContextMenuManager仿写文章Prompt

ContextMenuManager仿写文章Prompt 【免费下载链接】ContextMenuManager 🖱️ 纯粹的Windows右键菜单管理程序 项目地址: https://gitcode.com/gh_mirrors/co/ContextMenuManager 核心要求 请基于ContextMenuManager项目,创作一篇结构新颖、语气…

作者头像 李华
网站建设 2026/5/29 20:02:23

AI原生应用中的增量学习:多任务学习

AI原生应用中的增量学习:多任务学习——让AI像人一样“持续成长” 一、引入:从Copilot的“进化”说起 清晨的咖啡馆里,程序员小陆正对着电脑发愁:他刚接手一个跨语言项目,需要用Python写后端逻辑,用Go做微服…

作者头像 李华