简介：2021年统计年鉴Excel版是一套以Excel表格为主的年度统计数据包，覆盖人口、GDP、工业、农业、财政、价格等常见统计主题，适用于经济研究者、高校师生和数据分析人员，可用于学术研究、行业报告与年度趋势对比。压缩包共2000个文件，整体约29.77MB，主要文件类型包括xls数据表、txt统计说明、htm索引导航、jpg/png趋势图片等，不同格式相互配合，便于数据检索、指标解读与二次编辑。目前已有184人学习/下载。内容聚焦2021年国民经济与社会发展各项核心数据，按地区、行业和专题分类组织，既可直接用Excel做筛选、透视和汇总，也能通过htm目录快速定位所需表格；txt说明有助于核对统计口径，图片则直观呈现变化趋势。该数据集结构清晰且体积紧凑，适合课题研究、毕业论文写作及市场分析时作为基础统计素材，免去逐页翻阅和转录纸质年鉴的繁冗。
1. 统计年鉴Excel版：拿到先别急着合并，先搞懂它到底装了什么
做数据清洗和行业分析的人，大概率都经历过这样的场景：拿到一份《2021年统计年鉴Excel版》，文件夹里躺着几十个文件，每个文件里面又是几十个Sheet，满心以为打开就能用，结果光是搞清楚哪个Sheet对应哪个指标就花掉一下午。这份资源真正解决的问题不是“有没有数据”，而是“怎么把散落在不同Sheet和不同文件里的年鉴数据，变成一张能直接进透视表、能跑趋势分析的干净表格”。它适合做课题报告、行业研究、课程设计，或者任何需要引用年度统计数据的场景。如果你只是想要某个单一指标，直接翻PDF更快；但如果你要做多指标对比、跨区域汇总或者近五年走势，Excel版配合脚本处理，效率会高一个量级。
2. 年鉴数据骨架：表头、Sheet分布和编码，决定你后面的清洗效率
2.1 文件清单与Sheet分布：先画一张数据地图
建议拿到资源的第一件事，不是急着用代码批量读取，而是先把整个目录结构看一遍。常见做法是先用资源管理器或者命令行把文件全部列出来，形成一张“数据地图”。这一步花五分钟，能帮你省掉后面好几个小时的试错。典型的年鉴Excel版文件组织方式是这样的：根目录下按章节拆分成多个工作簿，比如“人口与就业.xlsx”“工业与能源.xlsx”“固定资产投资.xlsx”，每个工作簿内部再按指标拆成多个Sheet。有些版本还会有一个“总目录.xlsx”或者“主要指标汇总.xlsx”，这个文件通常包含了全书的主要指标和对应的Sheet名称，是你建立索引的第一个抓手。
看地图的时候重点确认三件事：第一，工作簿的命名规律是否一致，是统一用章节号开头，还是纯中文名称；第二，Sheet的命名是否有规律，有些版本用指标名命名，有些用表号命名；第三，有没有“综合”“附录”“说明”这类特殊Sheet，里面往往藏着指标口径解释和单位说明，后面清洗时你一定会回来翻它。我一般会顺手把目录输出到一个文本文件里，方便后续检索。
2.2 表头结构的两种常见形态：单行表头与多级表头
打开任意一个Sheet，先别急着看数据，把前五行从头到尾扫一遍，确认表头占了几行。年鉴Excel版的表头形态大致分两种：一种是比较规整的单行表头，第一行就是指标名，第二行直接是数据，这种最省事；另一种是多级表头，比如“绝对数”和“比上年增长”两个一级分类下各自带着多个二级指标，或者年份跨两列、指标名跨两行。多级表头处理起来要麻烦得多，因为如果直接拿第一行当列名，后面的列名就会变成Unnamed之类的占位符，合并多个Sheet时会对不上。
处理多级表头的常见做法是：把前两行甚至前三行拼接成新的列名，比如把“绝对数-第一产业”这种组合作为最终列名。注意拼接时要处理空单元格，可以用向上填充的方式把空的父级单元格补上，否则拼出来是“纯文本-NaN”。另外有些Sheet会在表头下方加一行单位说明，比如“单位：亿元”，这一行读数据的时候要跳过，但它又很重要，因为单位信息往往只出现在这一行里，后面做单位归一会用到。
2.3 编码与软件兼容性：GBK、UTF-8 和打开报错的真相
年鉴Excel版的编码问题，主要出现在读取环节，而不是打开环节。因为Excel文件在磁盘上是二进制结构，不存在文本编码的困扰，但Excel文件内部可能保存着不同的代码页信息，导致用不同工具读取时出现乱码或字符集错乱。如果你是直接用Excel或WPS打开，一般不会遇到乱码，顶多是某些老版本生成的.xls文件在较新版本的Excel里打开时提示“格式与扩展名不匹配”，这时候不要直接点“是”，建议先做一个副本，再尝试用导入向导读取。
如果你用Python的pandas读取，遇到的典型问题是：默认引擎读xlsx没问题，但部分文件实际上是老式的xls格式，虽然扩展名改成了xlsx，直接读取会报错。常见做法是指定engine参数，xls用xlrd，xlsx用openpyxl。还有一个低频但麻烦的问题：某些文件里混入了从网页复制过来的特殊空格或换行符，导致字符串匹配失败，这类问题在清洗表头时特别容易碰到，处理方式是先把列名做一次strip和编码归一化。
2.4 为什么选Excel版而不是PDF版：机器可读性的差距
统计年鉴的PDF版通常是大几百页的扫描影印件或者排版导出文件，即便文字层可以复制，表格的结构也会在复制时丢失，比如多列错位、换行符嵌入单元格、小数点变成句号等。Excel版的优势在于保留了表格的行列结构，数据是真正的单元格值而不是图上像素，这意味着你可以直接用脚本批量处理。另一个优势是单位信息通常保留在单元格里，而不是像PDF那样被拆分到页眉或注释里。
但Excel版也有自己的问题——它同样可能“长得不规整”。不同年份的年鉴，甚至同一年鉴的不同章节，表头格式都可能不统一。所以严格来说，Excel版解决的是“能不能程序化处理”的问题，至于处理过程是否顺利，取决于你对数据结构的理解深度。这也是为什么本章前面的地图绘制和表头检查那么重要。
3. 批量合并21个Sheet：openpyxl 遍历、表头统一与单位归一化
3.1 准备工作：建立项目目录与读取测试
搞清楚了结构，接下来进入正题——把散落在多个工作簿里的Sheet合并成一张能直接用的总表。我习惯把整个处理过程分成三个阶段：探测、清洗、输出。先建一个项目目录，把原始文件放在raw_data子目录下，处理脚本放在根目录，避免污染原始数据。脚本第一步是遍历目录下所有xlsx文件，并对每个文件做读取测试，确认文件没有损坏、编码可以正常解析。
下面是我常用的一段探测代码，用来输出每个工作簿的Sheet名称和每个Sheet的行列数，方便你和数据地图做对照。
import openpyxl from pathlib import Path raw_dir = Path("raw_data") for xlsx_file in raw_dir.glob("*.xlsx"): wb = openpyxl.load_workbook(xlsx_file, read_only=True, data_only=True) print(f"文件: {xlsx_file.name}") for ws_name in wb.sheetnames: ws = wb[ws_name] print(f" Sheet: {ws_name}, 行数: {ws.max_row}, 列数: {ws.max_column}") wb.close()这段代码做的事情很简单：遍历raw_data目录下所有xlsx文件，用openpyxl读取工作簿，然后输出每个Sheet的名字、行数和列数。注意load_workbook时我加了两个参数，read_only=True表示只读模式，占用内存小，对大文件友好；data_only=True表示读取单元格的缓存值而不是公式，这一步很关键，因为年鉴里有些单元格是公式计算的，如果直接读公式字符串，后面的数值清洗就全乱了。
参数解释一下：read_only模式在遍历Sheet时必须用for循环逐行读取，如果你想直接访问某个具体单元格，性能会差一些，但探测场景下完全够用。data_only模式的前提是文件之前被Excel或WPS计算过并保存了缓存值，如果文件从来没人打开过，缓存可能为空，那时候你会拿到None值，遇到这种情况，要么先手动打开一遍另存，要么改用full_load模式。
3.2 遍历工作簿并定位每个Sheet的表头行
有了Sheet清单，下一步要对每个Sheet做表头定位。年鉴这种数据源，表头行数不固定是常态，所以不能用硬编码的“第一行就是表头”，而是要写一个探测函数：逐行读取前N行，统计每行非空单元格的数量，当非空数量从少变多、并且出现“地区/指标/年份”这类关键词时，就判定为表头行起点。我对年鉴数据积累的经验是：表头行通常出现在前五行的范围内，且表头行的非空单元格数量明显多于前面的说明行。
import openpyxl KEYWORDS = ["地区", "指标", "单位", "年份", "合计", "总计"] def detect_header_row(ws, max_scan=10): for row_idx in range(1, min(max_scan, ws.max_row) + 1): row_values = [] for cell in ws[row_idx]: if cell.value is not None: row_values.append(str(cell.value).strip()) non_empty = len(row_values) keyword_hits = sum(1 for v in row_values if any(k in v for k in KEYWORDS)) # 判定条件：非空数量大于3且命中关键词，或者非空数量足够多 if non_empty >= 3 and (keyword_hits >= 2 or non_empty >= 5): return row_idx return 1这个函数的判定逻辑是“非空数量加上关键词命中”双重条件。为什么非空数量阈值定在3？因为年鉴Sheet里常有“注：”“续表”这类说明行，非空数量一般是1到2，可以过滤掉。关键词命中的设计是为了处理表头行数不固定的情况，有的表头是“地区-指标-单位”三列结构，有的表头是“指标-绝对数-比上年增长”多级结构，通过关键词命中来兜底。如果扫描完10行还没找到，就回退到第1行，避免函数报错返回None影响后续流程。
3.3 统一表头、追加年度列与地区列
定位到表头行之后，清洗逻辑的核心是“三统一”：统一列名、统一类型、统一维度。第一步是提取表头行，把多级表头拼接成一级列名——我处理过最简单的情况是表头只有一行，直接取第一行作为列名；稍复杂的情况是表头有两行，前一行是分类名后一行是指标名，这种用“分类-指标”拼接。第二步是给每个Sheet补充“年份”和“地区”两个维度列，年份可以根据文件命名规则推断，地区可以看列名里是否包含“全省”“全国”“城镇”这类词，也可以从文件来源判断。
import openpyxl import pandas as pd YEAR_MAP = {2021: "2021", 2020: "2020"} # 实际使用时按文件命名规则构造 def sheet_to_df(ws, header_rows=2, year="2021"): rows = list(ws.iter_rows(min_row=header_rows + 1, values_only=True)) # 拼接多级表头 headers = [] header_cells = list(ws.iter_rows(min_row=1, max_row=header_rows, values_only=True)) for col_idx in range(len(header_cells[0])): parts = [] for row_idx in range(header_rows): val = header_cells[row_idx][col_idx] if val is not None and str(val).strip(): parts.append(str(val).strip()) headers.append("-".join(parts) if parts else f"列{col_idx}") df = pd.DataFrame(rows, columns=headers) df.insert(0, "年份", year) return df这里header_rows参数可以直接传你探测到的行数，也可以传一个固定值然后根据实际报错去调整。拼接表头时用了两层循环，外层是列索引，内层是表头行索引，把每一列的多个层级用“-”连接起来，这样处理避免了多个列头重名的问题。但要注意，如果某个列的所有表头层级都是空的，代码会补一个“列索引”的名字，这部分后面要单独检查。插列时用了insert(0)，把年份放在第一列，这样合并后所有Sheet的列顺序一致。
3.4 数值清洗与单位换算的自动处理
年鉴里最麻烦的是数字格式不干净：千分位逗号、中文“%”、括号备注（比如“（上年=100）”）、甚至“一”“—”“…”这些表示数据缺失或统计误差的符号都会混在数值列里。直接pd.to_numeric一定会报错，所以要写一个清洗函数把这些噪声处理掉。另一个要做的是单位归一化，常见的单位有“亿元”“万元”“%”“万人”等，不同Sheet的单位可能不同，但指标本身是同类的，如果不统一，后面做跨Sheet汇总时会得到完全错误的结果。
import pandas as pd import re UNIT_MAP = {"亿元": 1e8, "万元": 1e4, "元": 1.0} UNIT_PATTERN = re.compile(r"(亿元|万元|元|%)") def clean_numeric(value, unit="元"): if value is None: return pd.NA s = str(value).replace(",", "").strip() s = re.sub(r"[\(（].*?[\)）]", "", s) if s in {"", "—", "-", "…", "..."}: return pd.NA try: num = float(s) except ValueError: num = pd.NA if num is pd.NA: return num multiplier = UNIT_MAP.get(unit, 1.0) return num * multiplier def apply_unit_from_header(df): for col in df.columns: if any(u in col for u in UNIT_MAP.keys()): unit = next(u for u in UNIT_MAP.keys() if u in col) df[col] = df[col].apply(lambda x: clean_numeric(x, unit)) elif "率" in col or "%" in col: df[col] = df[col].apply(lambda x: clean_numeric(x, "%")) return df这段代码有两层逻辑。第一层clean_numeric做单元格级清洗：先去掉千分位逗号，再用正则删掉括号里的注释（比如“（上年=100）”），然后把“—”“…”统一替换成pd.NA。第二层apply_unit_from_header做列级清洗：从列名里匹配单位关键词，把单位数值乘以对应的倍数，比如“万元”列自动乘以1万。这里要注意，单位映射是硬编码的，如果你的年鉴里出现“万美元”“千瓦时”这种带复合单位的列名，需要扩展UNIT_MAP字典，否则会按“元”处理导致数值错误。
3.5 输出合并总表与按指标拆分文件
清洗完成后，最后一步是把所有Sheet的DataFrame纵向拼接成一张大表，同时按指标拆分成多个小文件。大表的用途是做全量检索和透视分析，小文件的用途是给不同业务方提供可以直接引用的单项数据。拼接时用pandas的concat，因为每个Sheet的列名经过统一后基本一致，不一致的列会变成NaN，需要统计一下哪些列是稀疏的。
import pandas as pd from pathlib import Path def generate_splits(df, key_cols=["年份", "地区"], out_dir="output"): out_path = Path(out_dir) out_path.mkdir(exist_ok=True) df.to_csv(out_path / "merged_all.csv", index=False, encoding="utf-8-sig") indicator_cols = [c for c in df.columns if c not in key_cols] for col in indicator_cols: subset = df[key_cols + [col]].dropna(subset=[col]) file_name = col.replace("/", "_").replace("\\", "_") + ".csv" subset.to_csv(out_path / file_name, index=False, encoding="utf-8-sig")这里有两个容易出错的细节。第一，合并导出的编码统一用utf-8-sig，因为Excel打开无BOM的UTF-8文件会乱码，加BOM之后双击打开就正常。第二，拆分文件时列名里如果带“/”，在Windows下会直接报错，所以做了replace替换。dropna这一步很重要，因为很多指标在部分地区或部分年份就是没有数据，不删除的话拆出来的文件里全是空行。输出的merged_all.csv就是你后续分析的主数据表。
4. 实战避坑：年鉴Excel最常见的五个坑，从乱码到零值都在这
4.1 打开文件提示“格式损坏”或自动修复
现象：双击xlsx文件，Excel提示文件格式与扩展名不匹配，或者自动进入修复模式，修复后部分Sheet的数据变成科学计数法，小数点丢失。原因：部分版本的年鉴Excel文件是把多个xls老文件直接改了扩展名，或者用了非标准编码生成，文件内部结构并非标准的OpenXML格式，却被放到xlsx后缀下。解决：先复制原始文件到工作目录，用WPS或老版本Excel打开确认内容完整，再用LibreOffice另存为标准xlsx；如果只依赖pandas读取，用engine指定xlrd打开xls格式再另存。从那以后，我拿到这类资源都会先做一次“复制+另存”的消毒动作，不直接对原始文件操作。
4.2 第一行不是表头，是制表说明
现象：用pandas读取某个Sheet，第一行数据是“本表数据来源于……”“单位：亿元”之类的说明文字，列名变成“列1、列2”，合并后数据错位。原因：年鉴的编制人员把表头固定在第二行或第三行，第一行留作说明行，这在分页很多的章节尤其常见。解决：在读取流程里强制加入表头行探测，也就是前面detect_header_row函数做的事；即使你确定大多数Sheet都是第一行表头，探测一下成本很低，但能避免偶尔几个Sheet带来的全面错位。
4.3 数字列读出来全是NaN或科学计数法
现象：有些列明明在Excel里显示的是“12,345”，read_excel读出来却是NaN；或者读出来变成1.2345E+04，精度丢失。原因：数字单元格被存储为文本格式，Excel用文本型数据保存了带千分位的字符串，pandas默认不会自动转换；科学计数法的情况通常是数字超过了单元格显示宽度，底层存的是浮点数。解决：读取后用pd.to_numeric配合errors='coerce'强制转换，转换前先去掉千分位逗号和空格。经验是不要直接to_numeric，因为带“%”的列会全部变NaN，要分开处理。
4.4 年份列变浮点数，单位列却夹在数据里
现象：合并后年份列显示为2021.0而不是2021，或者“单位”列出现在数据列中间而不是表头的后缀里。原因：pandas在读入混合类型列时自动推断为float64，特别是存在NaN值时，整数列会被提升为浮点列；单位列混入数据通常是表头行定位不准导致，把单位行当成了数据行。解决：读取完成后对年份这类整型维度列做astype('Int64')，用pandas的nullable整数类型来保留NaN同时保持整数形式；单位问题回到表头处理流程里检查，确认单位信息在表头行内，而不是单独一行数据。这一坑最容易出现在批量处理多个文件时，前面文件都正常，突然一个文件多了个“单位行”，整个merged表就废了。
4.5 同一指标不同Sheet的统计口径不一致
现象：比如“居民消费价格指数”在“人民生活”章节里是上年=100的定基指数，在“价格指数”章节里是月度同比数据，数值差了几十甚至上百。原因：年鉴不同章节由不同业务部门提供，统计口径和基期定义不一致，但Sheet名称却可能相近。解决：合并之前专门检查每一列列名里是否带年份基期说明，比如“(上年=100)”字样，如果带，拆出来单独存储，不要直接和其他Sheet合并。跨口径对比是年鉴分析里最容易出结论性错误的地方，宁可拆开也不要强行拼接。我一般会在合并后的表里加一列“指标口径”字段，记录原始Sheet名，后续分析时按口径字段筛选。
5. 验证与进阶：交叉核对、透视表与多年拼接的收尾习惯
5.1 抽样交叉验证：用汇总页核对明细页
数据清洗全部做完了，你可能以为大功告成，但还有一个关键步骤——验证。常见做法是抽取三个指标做交叉核对：年鉴末尾通常会有一个“主要统计指标”汇总表，和前面分章节的明细Sheet是同一指标的两份数据，如果清洗后这两份对不上，说明前面的清洗流程有系统性错误。具体操作是：从merged_all.csv里筛出目标指标，再打开汇总版本的Sheet单独读取一次，用sum或mean对比。数值不一致时回头看单位是否归一化了，或者是否有多级表头拼接错位。验证通过之后，这个数据表才值得被用来做分析，否则后面全是在错误数据上盖楼。
5.2 数据透视表看突变：快速定位异常
验证的第二个技巧是直接对merged_all.csv做数据透视表，行为地区、列为年份、值为某个主要指标。透视表的价值在于快速暴露“突变”：比如某地区2021年人口总量比2020年下降超过5%，这在正常年份是不太可能的，问题大概率出在单位换算或者数据缺失被填零。我习惯用Pandas的pivot_table加上diff函数计算相邻年份的变化率，把变化率超过阈值（人口类超过2%、经济类超过30%）的行筛选出来逐一排查。这一步能过滤掉清洗过程中遗漏的脏数据。
5.3 跨年度拼接：处理指标改名与口径跃迁
如果你手上不只有2021年一本年鉴，而是连续好几年的Excel版，最终的进阶目标是拼成一张多年度面板数据。跨年拼接的坑主要在两个地方：一是同一指标在不同年份的表头写法不同，比如“地区生产总值”在某一年简写成“GDP”，需要建立指标别名映射；二是统计口径发生过调整，比如某年执行了新的行业划分标准，前后两年数据不可直接对比，这时要保留原始的年份列和口径说明字段，不要盲目做比率计算。处理方法是先按指标别名做列名归一化，再检查每个指标的年份范围，若发现年份断档或数值阶跃，单独标记出来。
5.4 收尾习惯：生成数据字典与缺失清单
最后一个技巧是输出一份数据字典文件，内容包括：合并后的列名、原始Sheet名、单位、口径说明、缺失值统计。这份数据字典的价值在于：三个月后你回头用这份数据写报告时，不需要重新打开原始Excel去回忆某个列名到底代表什么；如果发给同事或组员使用，更是省掉了大量口头沟通。缺失清单同样重要，年鉴Excel里标识为“—”或“…”的单元格被清洗成了NaN，这部分数据占比比较高的表，在做趋势分析时会影响结果，提前暴露出来总比分析到一半才发现好。
我做这类数据集的习惯是：每次合并完，强制自己先跑一遍抽样交叉验证，再生成数据字典，然后才允许自己往下做分析。坚持这个流程之后，返工率明显降下来了。希望帮到你。
本文还有配套的精品资源，点击获取
