1. 变形：Pandas里最被低估的一章
我第一次认真对待"数据变形"这件事，是在处理一张几百列的业务流水表时。当时我需要的只是把其中十几个字段从行变成列、再从列拆回行，如果不会这些操作，就只能复制粘贴到Excel里手动折腾，既慢又容易出错。Joyful-Pandas第4章"变形"，讲的正是这堆看似琐碎但实际高频到不行的数据形态转换操作。
这一章的核心，不是让你死记硬背pivot和melt的参数，而是帮你建立一种"数据形态翻译器"的思维方式：同一份数据，有时候宽表好用，有时候长表好用，关键不在于哪种形态更"标准"，而在于你要拿它做什么。看完这一章，你会知道什么时候该把列拆成行、什么时候该把行聚成列、多层索引怎么和普通列互相转换，也能顺手解决掉一大堆在真实业务里反复出现的"表太宽了""列要变成行""这个表要转置"之类的需求。
在我看来，凡是做数据分析、数据处理、数据开发的人，哪怕是刚入门的小白，这一章都值得认真过一遍。代码量不大，但每个函数的使用场景差异非常明显，理解不到位就很容易用错。
2. 变形的本质：宽表与长表的攻防转换
2.1 为什么数据分析绕不开"变形"
先想清楚一个问题：数据表为什么需要变形？因为在不同的分析阶段，我们需要的表格形态根本不一样。
宽表的特点是一行对应一个"主体样本"，每一列对应这个主体的某个属性。比如说，一张用户表，一行就是一个用户，列是姓名、城市、注册时间、消费金额。这种表的好处是直观，扫一眼就能看出一个人是什么情况，适合人工查看、特征工程、建模输入。但它的坏处也很明显：一旦属性本身需要被当作分析维度，比如"不同月份的消费额"分别占据多列，宽表就非常不利于聚合、筛选和绘图。
长表的特点是一行对应一个"观测样本"，也就是说，一个主体的多个属性或多个时间点的数值，会被拆成多行。长表看起来"又瘦又长"，但它是统计计算、绘图工具（尤其是各种可视化库）最喜欢的形态。因为画折线图、做分组聚合时，机器喜欢所有值都堆在一列里，再用另一列去标记"这个值属于谁、属于哪个时间"。
所以分析流程里，你往往需要在两种形态之间来回切换：原始数据拿到了是宽表，先用melt拉成长表去做清洗和聚合，统计结果出来后再用pivot_table拉回宽表去汇报。这个过程，就是变形。搞不定这个来回，你就会被锁定在某一形态里，所有操作都别扭。
2.2 变形的三种底层操作
如果把pandas里所有和变形相关的函数摊开看，其实它们的本质可以归纳成三种操作：
第一种是行转列，也就是把某个列里的分类值变成多个新列，对应函数是pivot和pivot_table。比如有一列"支付方式"里面有微信、支付宝、银行卡三种取值，你就可以把它转换成三列，分别存放对应的金额。
第二种是列转行，也就是把多个列合并成一列，同时新增一个列来记录原来的列名，对应函数是melt。比如把"一季度、二季度、三季度、四季度"这四列合并成一列"季度"，再把数值合并成一列"销量"。
第三种是索引与列之间的搬运，也就是把数据从行索引搬到列、或者从列搬到行索引，对应函数是stack和unstack。这套操作搭配set_index使用，能在长表和宽表之间完成各种自由变换，而且可以处理多级索引的情况。
理解到这一层，pandas的变形就不再是一堆孤立函数了，而是一个统一的"搬数据"逻辑：每一份数据都存在两个位置，要么躺在列上，要么躺在索引上，变形做的事情就是把这个位置换一换。后面所有的实操都会围绕这个逻辑展开。
3. 核心工具拆解：pivot、pivot_table、melt怎么用
3.1 pivot：简单场景下的行转列
pivot的官方定义是"通过指定的索引和列值，重塑DataFrame"。它需要你指定三个参数：index表示新表的行索引来自哪个列，columns表示新表的列名来自哪个列，values表示新表的值填充自哪个列。
举个例子，假设你有一份订单数据：
import pandas as pd df = pd.DataFrame({ '日期': ['2024-01-01', '2024-01-01', '2024-01-02', '2024-01-02'], '城市': ['北京', '上海', '北京', '上海'], '销售额': [100, 200, 150, 250] })如果你想把城市从列值变成列标题，每天一行，那写法就是：
pv = df.pivot(index='日期', columns='城市', values='销售额')这段代码会得到一张新表：行索引是日期，列是"北京"和"上海"，单元格是对应的销售额。pivot本质上是把源数据里的"城市"这一列的分组值，映射到结果的列名上。
但pivot有个很大的限制：如果源数据里同一个(索引, 列名)组合出现了多次，它会直接抛错，报错信息是"Index contains duplicate entries"。因为pivot只是重塑，不负责聚合，它没法决定重复位置该填哪个值。所以在业务数据不干净、有重复记录的情况下，pivot很容易翻车。我的习惯是：只要数据不是100%保证唯一，就不用pivot，直接走pivot_table更稳。
3.2 pivot_table：带聚合能力的透视表
pivot_table相当于pivot的加强版，它多了一个aggfunc参数，用来指定当同一位置出现多条记录时怎么合并。默认是numpy.mean，所以哪怕你不传aggfunc，它也不会因为重复数据报错，而是会算平均值。
还是上面那个例子，如果同一天同一个城市有两条订单记录：
df2 = pd.DataFrame({ '日期': ['2024-01-01', '2024-01-01', '2024-01-01'], '城市': ['北京', '北京', '上海'], '销售额': [100, 150, 200] }) pt = df2.pivot_table(index='日期', columns='城市', values='销售额', aggfunc='sum')结果里"北京"会变成250，"上海"是200。这里我指定了aggfunc='sum'，因为对销售额来说求和更常见；如果是单价或者评分，默认的mean反而更合理。
pivot_table还有几个实用参数：fill_value可以指定空值填充，比如fill_value=0会把NaN填成0，很适合做报表展示；margins=True会在结果里额外生成一行"总计"和一列"总计"，方便看合计。需要注意的是，margins生成的汇总行并不适合继续参与后续计算，它更像是一个给人看的汇总，和groupby里带observed参数的状态还不一样。
3.3 melt：把宽表"熔"成长表
melt和pivot正好是相反方向的操作。它接收一个宽表，然后把指定的多列压成两列：一列是"变量名"，一列是"值"。
最关键的参数是id_vars，也就是"保留下来作为标识符的列"。比如你有一张表，列是"城市、一月、二月、三月"，你想把后面三个月列合并成一列"月份"和一列"销量"，那id_vars就填"城市"：
wide_df = pd.DataFrame({ '城市': ['北京', '上海'], '一月': [300, 400], '二月': [350, 420], '三月': [380, 450] }) long_df = wide_df.melt(id_vars='城市', value_vars=['一月', '二月', '三月'], var_name='月份', value_name='销量')melt的结果是：城市一列，月份一列，销量一列。这其实就是数据分析里经典的"宽表转长表"操作。如果你不传value_vars，它默认会把id_vars之外的所有列都熔掉；如果不传var_name和value_name，生成的两列默认叫"variable"和"value"。正式写代码时我强烈建议把var_name和value_name显式写出来，否则后续取列名的时候很容易懵。
3.4 用groupby也能完成变形
很多人不知道，pivot_table的底层逻辑其实和groupby + unstack非常接近。pivot_table指定index、columns、values和aggfunc，本质上就是在按index和columns做分组聚合，再把分组里的某一列展开成多个列。
所以很多场景里，你可以用groupby写出一模一样的变换：
df2.groupby(['日期', '城市'])['销售额'].sum().unstack()这一行代码得到的结果，和前面pivot_table(index='日期', columns='城市', values='销售额', aggfunc='sum')几乎一致。区别在于pivot_table直接返回DataFrame，而groupby之后是Series，需要你自己unstack一下。
这个认识很有用，因为它把"变形"和"聚合"打通了：变形不是一次单纯的位置挪动，它背后常常伴随了分组聚合的语义。能理解这一点，你在处理复杂数据时就不会被API牵着走，而是能根据需求反推用哪种组合。
4. 实操过程：从业务宽表到可分析长表再到汇总报表
4.1 准备一份模拟的业务数据
为了把几个工具串起来看，我用一份完全虚构的销售数据来做实操演示。假设某个业务系统的订单表结构是：一个订单有订单号、销售区域，以及各季度的销售额字段。这份数据的特点是宽表形态，季度作为列存在，不适合直接做分组统计或者绘图。
先构造模拟数据：
import pandas as pd import numpy as np df_sales = pd.DataFrame({ '订单号': ['A001', 'A002', 'A003', 'A004'], '销售区域': ['华东', '华北', '华南', '华北'], 'Q1销售额': [1200, 1500, 1300, 1100], 'Q2销售额': [1350, 1420, 1600, 1250], 'Q3销售额': [1480, 1550, 1700, 1300], 'Q4销售额': [1600, 1680, 1750, 1420] })这份数据一眼能看懂，但它有个典型问题：季度是四个独立的列，如果我想按季度求平均、按季度画趋势图，这种宽表形态就很别扭。需要先把它熔成长表。
4.2 第一步：melt把多季度列压平
把"Q1销售额、Q2销售额、Q3销售额、Q4销售额"合并成一列"季度"，再合并成一列"销售额"，同时保留订单号和销售区域作为标识：
df_long = df_sales.melt( id_vars=['订单号', '销售区域'], value_vars=['Q1销售额', 'Q2销售额', 'Q3销售额', 'Q4销售额'], var_name='季度', value_name='销售额' )做完后，df_long的行数从4行变成16行，每行对应"某个订单某个季度"。这种长表形态拿来画折线图非常顺手，直接用seaborn的lineplot，x轴放季度，y轴放销售额，hue放销售区域，一行代码就能出图。
顺带提一个经验：实际业务表里的季度列可能有中文名，比如"第一季度""第二季度"，melt同样处理，只是var_name的值会带上中文。绘图前如果觉得名字太长，可以用replace把季度名重映射成"Q1""Q2"这种短格式。
4.3 第二步：pivot_table把长表聚成透视宽表
现在长表有了，假设我需要出一张汇总表：行是销售区域，列是季度，单元格是销售额合计。直接从df_long出发：
pt_summary = df_long.pivot_table( index='销售区域', columns='季度', values='销售额', aggfunc='sum', margins=True, margins_name='总计' )这里指定了聚合方式是sum，同时加了margins，所以结果里会多出每一行的合计列和每一列的合计行。如果不需要合计，把margins=False去掉即可。我建议正式输出给业务方看之前，加一个fill_value=0，避免某些区域在某季度没有订单时单元格是NaN，显示成空值容易让人误会是数据缺失。
pivot_table做完后的结果是一个带层级列索引的DataFrame，列索引是MultiIndex，最外层是"季度"。如果你只需要其中一个季度的数据，可以用pt_summary['Q1销售额']直接取列，也可以先把列索引降下来再操作。
4.4 第三步：stack / unstack自由切换
接着上面的pt_summary，我可以使用unstack把列索引转成行索引，把这张透视宽表变回"带多级索引的长表"：
df_stacked = pt_summary.stack()这一步会把"季度"从列索引搬到行索引，结果是多级索引结构：第一级是销售区域，第二级是季度。如果你要的是DataFrame而不是Series，记得加.reset_index()把索引落回普通列。
反过来，如果我从df_long出发，想直接做一张"区域x季度"的透视表，但又更习惯索引操作，可以先用set_index把要作为行和列的字段放好，再unstack：
df_freq = df_long.set_index(['销售区域', '季度'])['销售额'] df_wide = df_freq.unstack(level='季度')这里unstack(level='季度')能把季度从行索引搬到列索引。level参数是用来指定"把哪一级索引搬到列上去"的关键，多级索引场景下非常有用。很多人一开始容易写错，其实只要记住：unstack是把行索引搬到列，stack是把列索引搬到行，方向别搞反就成功了一半。
4.5 综合：一张报表的多形态切换
把上面几步连起来，你就能应对绝大多数日常报表需求。完整流程是这样的：
- 原始宽表 → melt → 长表（适合聚合、过滤、清洗、绘图）
- 长表 → pivot_table → 透视宽表（适合展示、横向比较）
- 透视宽表 → stack → 长表（适合二次分析或落库）
我处理过的一个实际需求是：业务方给了一张每个城市多个指标的多列宽表，我需要按月份做同比环比分析。直接拿宽表算环比非常麻烦，因为环比要求"上个月"的数据和"这个月"的数据在同一个计算上下文里。我先用melt把月度列拉长，再用pivot_table重建一张"城市x月份"的表，整个过程不超过10行代码，而且不用写任何循环。
这样一套组合拳下来，你会发现pandas的变形工具根本不需要死记硬背，你只需要想清楚目标形态是什么，然后从三个工具里选方向正确的那个就行。
5. 常见报错与避坑速查手册
5.1 pivot报 "Index contains duplicate entries"
这是pivot最常见的翻车点，根源在于源数据里同一个(行索引, 列索引)组合出现了多条记录。pivot不支持聚合，它看到多个值不知道选哪个，直接抛错。
解决办法有几种：如果数据结构允许重复，直接换pivot_table并指定aggfunc；如果重复记录里确实存在主键逻辑，可以先drop_duplicates()再去重；如果你想先看看哪些组合重复了，可以用df.duplicated(subset=['列A', '列B'])排查。
我在实际中基本默认用pivot_table，除非确认数据在指定索引和列组合下唯一。pivot的报错虽然不算难解决，但每次都要停下来处理，挺打断思路的。
5.2 melt之后的数据类型和列名问题
melt本身很少报错，但有个容易踩坑的地方：如果被熔的几列数据类型不一致，melt会把结果列自动变成object。比如一列是整数，一列是字符串，melt后"值"列就混成object了，后续做sum或mean会失败或者结果不对。
另一个坑是列名带中文或空格。用melt或pivot时如果列名是中文，直接用变量名引用的代码没问题；但如果从Excel读进来的列名带特殊字符，比如"销售额(万元)"，在传参时记得用字符串形式包好，或者先df.columns = [c.strip() for c in df.columns]清洗一遍。
还有一点要注意：melt不传value_vars时会把id_vars之外的所有列都熔掉。如果你源表里有些辅助列不想被熔，一定记得显式列出来。我吃过一次亏，某次没写value_vars，结果把备注列也给熔进去了，后面排查了半天才发现是多余列进入了melt。
5.3 unstack和stack的索引错乱
unstack/stack操作多级索引时，最常出现的问题是层级顺序和预期不一致。比如level参数没有指定清楚，结果里索引的顺序变来变去，后续reset_index之后列名又多出几层。
解决办法是：在做set_index之前，先理清楚哪些字段要留在索引里、哪些要在列上。用level参数时，可以传入整数或者层级名称，推荐传名称，因为多级索引的层级顺序一变，位置整数容易对不上。
另一个建议是：做完stack/unstack之后，不要急着reset_index，先用df.index.names看一眼层级名是否正常。如果层级名丢了，后面取数会非常别扭。
5.4 透视表结果里的NaN
pivot_table生成的结果中，如果某个组合没有数据，默认是NaN。很多人以为数据出了问题，其实只是"不存在"和"缺失"被设计成了同一个表示。
处理方式前面提过：加fill_value=0，或者用pt_summary.fillna(0, inplace=True)。但要注意，fill_value=0只影响结果中因为组合缺失而产生的空值，对原本就是NaN的真实缺失值也会填充，所以填0之前想好业务含义。如果你要保留缺失状态做进一步分析，就别急着填0。
5.5 性能优化的一点心得
大数据量下，做大范围变形时要留意性能。pivot_table和melt在千万行级别的数据上运行速度一般还行，但如果做非常复杂的多重pivot，内存占用会涨得很快。我的经验是：能用groupby + agg解决的先聚合，把行数降下来，再做pivot或者melt。比如先按城市和月份聚合出总量，再pivot成城市x月份的宽表，比直接拿几百万行明细做pivot快很多。
另外，pandas 2.x版本里某些操作的底层实现和1.x略有差异，但常用的这几招pivot/melt/stack没有本质变化，放心用。
6. 变形的进阶用法与扩展建议
6.1 列名本身就是信息：用MultiIndex做批量变形
当你的表里列名是类似"(2024, Q1)"这种结构时，可以先把列索引转换为MultiIndex，再利用stack按层级展开。这个技巧在从Excel读取"多层表头"的数据时特别有用。
df_multi = pd.DataFrame( [[1, 2, 3, 4], [5, 6, 7, 8]], columns=pd.MultiIndex.from_product([['2023', '2024'], ['Q1', 'Q2']]) ) df_multi.stack(level=1)这样能把年度和季度拆开，从"宽表头"变成长表。类似的场景还包括每个月一列的数据，列名格式是"2024-01"这种字符串，你可以先pd.to_datetime(df.columns, format='%Y-%m')解析后再做变形。
6.2 把"变形"当成数据清洗的前置步骤
很多人习惯拿到数据先做清洗再做变形，但实际操作里，变形本身也可以是清洗的手段。比如一列里混了多个指标值时，先用melt拆成长表，再按指标名分别处理；再比如某些列在宽表里无法做类型转换，但拆成长表后，因为变成了同一列，类型处理就变得统一了。这种"先变形再清洗"的思路，在杂乱的非标准报表里非常管用。
6.3 自动化报表里的变形模板
如果你经常跑同类型的报表，可以把变形步骤封装成一个小函数。我个人的做法是：参数化id_vars和value_vars，这样每次只需要传入列名配置，就能复用一个melt + pivot_table流程。数据字段一变，只需改配置，不用改逻辑。
def reshape_report(df, id_cols, value_cols, var_name='变量', value_name='数值'): long_df = df.melt(id_vars=id_cols, value_vars=value_cols, var_name=var_name, value_name=value_name) return long_df这种封装带来的价值是：报表需求再多，核心代码只有一套，维护成本大幅降低。
6.4 多表合并时的变形配合
最后说一个很常见的实战经验：在合并多张表之前，先统一它们的形态。比如你手里有A表的宽表版本和B表的长表版本，如果不先统一形态就合并，很容易因为索引层级不一致导致数据错乱。我通常的做法是先把所有表都melt成统一的长表格式（包含主体标识、变量名、值这三列），再用concat合并。这样既规范，又不需要为每张表单独写合并逻辑。
