Python+MySQL电商数据分析全流程：从建库导数到可视化看板

这段时间我在整理一套数据分析全流程的实战项目，核心就是把 Python 生态里的 Pandas、Matplotlib、Numpy 和 MySQL 数据库全部串起来跑一遍。为什么想写这个？因为很多朋友手里攒着数据库里的业务数据，但做分析的时候经常在 SQL、Excel、Python 之间来回倒腾，导来导去慢不说，还容易把数据弄脏。这篇文章会基于一份可下载的电商订单 CSV 数据源，把“建库导数 → 清洗加工 → 指标计算 → 多图形绘制”的完整链路走一遍。适合已经学过 Python 基础、想搞懂这几个库到底怎么协作的人，也适合需要快速把 MySQL 数据变成可视化结论的分析师。

1. 项目拆解：这套全流程到底在解决什么问题

1.1 为什么会把 Python 和 MySQL 绑在一起

先说结论：SQL 擅长的是“取数”和“基础聚合”，Python 擅长的是“复杂清洗”和“自由可视化”。单一工具都有盲区。

如果你只用 MySQL，那么去重、补缺失值、正则提取字段、做矩阵运算、画多子图这种事会非常痛苦。比如你想从“华东-上海”这种字符串里拆出大区和城市，SQL 要写一堆 SUBSTRING_INDEX，维护起来很费劲。如果你只用 Python，那每次都要从 CSV 或 Excel 导入数据，数据源一更新就得手动重复一遍，没有数据库的版本管理和权限控制。

这套全流程的真实价值，是把 MySQL 当数据仓库，把 Python 当加工车间：用 SQL 完成复杂查询和初步聚合，用 Pandas 处理剩余的脏数据，用 Numpy 做高效数值计算，最后用 Matplotlib 把结论变成老板看得懂的图。整个过程可以脚本化，下次数据来了，改个日期参数就能重跑。

1.2 一份能直接复现的数据源长什么样

为了让大家真正跟着做，而不是只看代码片段，我准备了一份模拟电商订单数据order_data.csv，放在项目仓库的data/目录下。如果你不想手动下载，仓库里也提供了一个generate_data.py脚本，运行一下就能生成同样的数据，保证可复现。

字段结构如下：

这份数据故意做了一些“业务常态脏乱差”的问题：有缺失的 user_id、存在重复订单、少量金额为负数、region 里混进了拼音和多余空格。别觉得这是故意为难人，真实业务数据只会更脏。分析的第一步从来不是画图，而是把数据擦干净。

1.3 分析流程的四个阶段

整个项目就是一条流水线，我习惯把它拆成四个阶段：

1. 环境与数据准备：装好 Python、MySQL，建库建表，把 CSV 导入数据库。
2. Pandas 数据清洗：去重、补缺失、格式转换、正则提取字段。
3. Numpy 指标计算：向量化算客单价、环比增长率，跑一些简单统计。
4. Matplotlib 多图绘制：生成折线图、柱状图、饼图、散点图的组合面板，并输出高清图片。

这篇文章的每个章节都会对应这四步中的一部分，最后你能得到一张四合一的分析看板，以及一份清洗后的结果数据表。

2. 环境准备：从零搭建 Python + MySQL 分析环境

2.1 Python 环境和必备库安装

如果你是从头开始，我建议别一上来就纠结“Anaconda 还是原生 Python”。能跑通才是第一优先级。个人经验是：用 Anaconda 最省心，因为 Pandas、Numpy、Matplotlib 通常已经预装好了；如果你喜欢清爽环境，也可以装官方 Python，再用 pip 补齐依赖。

需要安装的库主要这几个：

pip install pandas numpy matplotlib pymysql sqlalchemy openpyxl

这里有几个容易忽略的细节：

• pymysql是 Python 连接 MySQL 的驱动，后面用create_engine也依赖它。
• sqlalchemy是 ORM 工具，pd.read_sql配合它连数据库非常稳。
• openpyxl是后期要把结果导出成 Excel 时用的，别省。

装完之后可以用这段代码验证一下版本，省得后面因版本不一致踩坑：

import pandas as pd import numpy as np import matplotlib print(pd.__version__) print(np.__version__) print(matplotlib.__version__)

在 PyCharm 里安装库的话，直接去File -> Settings -> Project -> Python Interpreter点加号搜索，或者直接在下方 Terminal 里执行 pip 命令。用 VSCode 的话，记得先选对解释器：Ctrl+Shift+P，输入Python: Select Interpreter，否则会碰到“明明装了库却 import 失败”的尴尬。

2.2 MySQL 安装与基础配置

MySQL 建议安装社区版，Windows 下用安装包一路下一步即可，但有两个点要特别留意：

1. root 密码设置后尽量记在密码管理器里，忘密码的代价比想象中高。
2. 安装器有个“选择加密方式”的步骤，如果选了默认的caching_sha2_password，后续用 pymysql 连接时需要额外处理。为了减少麻烦，可以在这一步选Use Legacy Authentication，或者后面建用户时换成mysql_native_password。

Linux 服务器上安装就用系统包管理工具：

sudo apt update sudo apt install mysql-server sudo systemctl enable mysql sudo systemctl start mysql

装完后建议把数据库默认字符集设置成utf8mb4，否则中文数据极容易乱码。修改/etc/mysql/mysql.conf.d/mysqld.cnf，在[mysqld]下加两行：

character-set-server=utf8mb4 collation-server=utf8mb4_unicode_ci

Windows 用户在 my.ini 里也是同样配置。然后重启 MySQL 服务，这一步能避免后续导入中文数据时出现“问号”和“乱码”。

2.3 建库建表并导入 CSV 数据

我习惯把分析库和业务库分开，单独建一个sales_analysis库。执行如下 SQL：

CREATE DATABASE IF NOT EXISTS sales_analysis DEFAULT CHARSET utf8mb4; USE sales_analysis; CREATE TABLE IF NOT EXISTS orders ( order_id VARCHAR(32) PRIMARY KEY, order_date DATE, user_id INT, region VARCHAR(50), category VARCHAR(20), amount DECIMAL(10,2), quantity INT, status VARCHAR(10) );

导入数据有三种方式，按推荐程度排序：

1. Navicat 导入向导：右键表名，选择“导入向导”，选 CSV 文件，字段映射确认一下就行。注意第一列如果是表头就勾选“首行为标题”。这是最直观的方式，试用版也够用。
2. MySQL 命令行：

LOAD DATA LOCAL INFILE '/data/order_data.csv' INTO TABLE orders FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"' IGNORE 1 LINES;

3. 用 Pandas 写入：适合你已经把 CSV 读进内存的情况，df.to_sql('orders', engine, if_exists='replace', index=False)也能完成导入，速度稍慢但非常灵活。

我建议前期用 Navicat，跑通之后再用代码自动化替换，这样你对数据长什么样才有体感。

3. 核心细节：Pandas、Numpy、Matplotlib 逐个击破

3.1 Pandas 数据类型转换与正则清洗

Pandas 的astype()和to_datetime()是我用得最多的两个手艺人操作。拿到原始 CSV 后，第一步永远是df.info()看 dtype：

import pandas as pd df = pd.read_csv('data/order_data.csv') print(df.info())

你会看到order_date是 object 而不是 datetime64，amount可能因为混入了空值而变成 float64 或 object。这种时候直接排序、聚合都可能出错。

日期转换的标准姿势：

df['order_date'] = pd.to_datetime(df['order_date'], format='%Y-%m-%d')

关于format，我建议能写就写。虽然 Pandas 能自动推断日期格式，但遇到“2023/6/15”和“2023-06-15”混排时，自动解析会变得很慢甚至报错。明确格式既提速又减少歧义。

正则清洗在 Pandas 里的用法非常顺手。比如 region 字段是“华东-上海”，想拆出大区：

df['city'] = df['region'].str.extract(r'[-－](.+)') df['region'] = df['region'].str.extract(r'^(.+?)[-－]')

这里的str.extract会返回括号里的匹配内容，如果没有匹配就是 NaN。配合dropna()或fillna()，就能把乱七八糟的字符串整理干净。如果你要提取的是数字、邮箱、手机号，思路完全一样。再强调一次：正则表达式匹配的是模式，不是死在字符串上，清洗时多写几个测试样例没坏处。

3.2 Numpy 数组运算与性能对比

很多人第一次接触 Numpy 时觉得“这不就是 list 吗？”但业务量一大，差别立刻出来。Numpy 底层是连续内存的 C 数组，支持向量化计算，而 Python list 是对象数组，每个元素都要走一遍解释器循环。

用timeit看这个例子：

import numpy as np import timeit lst = list(range(1000000)) arr = np.arange(1000000) # 列表逐元素平方 def list_square(): return [x**2 for x in lst] # Numpy 向量化平方 def np_square(): return arr ** 2 print(timeit.timeit(list_square, number=10)) print(timeit.timeit(np_square, number=10))

实测 Numpy 通常会快一个数量级以上。这不是炫技，是真实场景中“报表跑 5 分钟”和“报表跑 20 秒”的差距。

还有两个高频操作：三维数组相乘和矩阵逆。三维数组相乘要明确 Broadcasting 规则，我常用的写法是np.matmul(a, b)，或者直接a @ b。矩阵求逆用np.linalg.inv(a)，但记得先用np.linalg.det(a)看一下是否接近 0，行列式为 0 的矩阵没有逆，强行算会报 LinAlgError。

3.3 Matplotlib 的 figure、axes、axis 核心概念

这三个概念是 Matplotlib 最容易绕晕的地方，一定要分清：

• figure是整张画布，相当于一张白纸。
• axes是画布上的一个绘图区域，相当于白纸上画的一条矩形容器，所有数据图都绘制在 axes 里。
• axis是 axes 里的坐标轴，即 x 轴和 y 轴，包含刻度、标签、网格线。

一句话记忆：figure 里可以放多个 axes，每个 axes 都有独立的 axis。

代码对应关系：

fig = plt.figure() # 创建画布 ax = fig.add_subplot(1, 1, 1) # 在画布上添加唯一一个绘图区域 ax.plot([1, 2, 3], [4, 5, 6]) # 在 axes 中绘图 ax.set_xlabel('x轴') # 设置 axis 的标签

更推荐的方式是用plt.subplots()，一次性把画布和子图都建好：

fig, axes = plt.subplots(2, 2, figsize=(12, 8)) # axes 是二维数组，axes[0][0] 表示左上角子图

这个 API 之所以好用，是因为它把“画布管理”和“子图操作”直接绑定，不用反复plt.subplot()切换当前视图。

3.4 多图形绘制的三种姿势

实战中画多图最常用的三种姿势：

姿势一：plt.subplot(2, 2, 1)按序号切换

plt.figure(figsize=(10, 6)) plt.subplot(2, 2, 1) plt.plot(...) plt.subplot(2, 2, 2) plt.bar(...)

优点是简单，缺点是绘图代码里每一段都要带上plt.subplot，子图多了容易乱。

姿势二：先subplots拿到 axes 数组，再逐个操作

fig, axes = plt.subplots(2, 2, figsize=(12, 8)) axes[0, 0].plot(...) axes[0, 1].bar(...) axes[1, 0].scatter(...) axes[1, 1].pie(...)

这种方式最推荐，因为每个子图的对象引用非常明确，不会画着画着不小心覆盖掉前一张图。

姿势三：用GridSpec自定义不规则的子图布局

fig = plt.figure(figsize=(10, 8)) gs = fig.add_gridspec(2, 3) ax1 = fig.add_subplot(gs[0, :]) # 第一行横向跨三列 ax2 = fig.add_subplot(gs[1, 0]) # 第二行第一列 ax3 = fig.add_subplot(gs[1, 1:]) # 第二行后两列

适合做复杂看板，比如上面一条月度趋势，下面左边品类占比，右边散点图。

多图绘制时，有几个参数我每次都会调：

• alpha：散点图、柱状图都建议设置 0.5~0.7，防止图形重叠看不清。
• grid：ax.grid(True, linestyle='--', alpha=0.6)，让数据读数更容易。
• legend：ax.legend(loc='best')，同时给 label 加中文时注意字体设置。
• color：除了默认颜色，可以传十六进制，比如color='#2c7fb8'，或者用内建 colormap：cmap=plt.cm.Blues。

另外一定要记住：多子图共用颜色时，建议用plt.subplots统一设置风格，避免每张图风格割裂。

4. 全流程实操：从数据库查询到可视化成品

4.1 用 PyMySQL 连接 MySQL 并读取数据

代码开头先把连接串准备好。我用 SQLAlchemy 的create_engine，因为pd.read_sql对它的支持最完善，连接池管理也更省心：

from sqlalchemy import create_engine engine = create_engine( 'mysql+pymysql://root:你的密码@localhost:3306/sales_analysis?charset=utf8mb4' ) df = pd.read_sql('SELECT * FROM orders', engine) print(df.shape)

如果你的密码里有@、#这类特殊字符，需要做 URL 编码，比如@换成%40。这个细节能省半个小时的排查时间。

charset=utf8mb4必须加上，它是中文不乱码的底线。如果你本身已经通过 SQL 把要分析的数据聚合好了，pd.read_sql依然能非常高效地拿到 DataFrame。

4.2 Pandas 清洗：去重、补缺、过滤异常

拿到df后，我先按下面的顺序处理：

# 1. 去除完全重复的记录 df = df.drop_duplicates() # 2. 处理缺失值：user_id 缺失的先补一个占位值 df['user_id'] = df['user_id'].fillna(0).astype(int) # 3. 过滤无意义数据：金额必须大于 0 df = df[df['amount'] > 0] # 4. region 字段统一去除空格，提取大区和城市 df['region'] = df['region'].str.replace(' ', '', regex=False) df['region_name'] = df['region'].str.extract(r'^(.+?)[-－]') df['city'] = df['region'].str.extract(r'[-－](.+)$') # 5. 状态字段只保留“已完成”，只看有实际成交意义的订单 df = df[df['status'] == '已完成']

每一步都要检查df.shape或者df.isnull().sum()，别一股脑跑完再看结果。清洗过程中，最常见的坑是fillna(0).astype(int)之前没确认列里没有逗号之类的字符串，比如'1,234'。遇到这种，先用df['user_id'] = df['user_id'].astype(str).str.replace(',', '')再转换。

4.3 用 Numpy 计算客单价和环比增速

清洗干净后，就可以用 Numpy 做数值计算。先算客单价：

import numpy as np amount_arr = df['amount'].to_numpy() quantity_arr = df['quantity'].to_numpy() df['unit_price'] = amount_arr / quantity_arr

这里用to_numpy()拿到 Numpy 数组，除法和后续统计都是向量化计算，比用 lambda 逐行 apply 快不少。如果你要算月度销售额环比增速，可以先用 Pandas 聚合，再用 Numpy 计算：

monthly = df.groupby(df['order_date'].dt.to_period('M'))['amount'].sum() # 拿到销售金额数组 sales = monthly.to_numpy() # 环比增速 = (本期 - 上期) / 上期 growth = np.diff(sales) / sales[:-1] * 100

np.diff是相邻元素求差，sales[:-1]是去掉最后一个元素的上期数组。这样算增速，一行代码搞定循环逻辑，而且对空值敏感度更高，逼着你先把数据补好。

4.4 用 Matplotlib 绘制四合一分析看板

这是整个项目里最出效果的一步。我用plt.subplots(2, 2)一次性创建四个子图，分别展示：

• 左上：月度销售额折线图，反映趋势。
• 右上：区域销售额 Top10 柱状图，反映结构。
• 左下：品类占比饼图，反映构成。
• 右下：数量 vs 金额散点图，反映相关性。

完整代码长这样：

import matplotlib.pyplot as plt plt.rcParams['font.sans-serif'] = ['SimHei', 'Microsoft YaHei'] plt.rcParams['axes.unicode_minus'] = False fig, axes = plt.subplots(2, 2, figsize=(14, 10)) # 左上：月度销售额折线图 monthly.plot( ax=axes[0, 0], marker='o', color='#2c7fb8', linewidth=2 ) axes[0, 0].set_title('月度销售额趋势') axes[0, 0].set_xlabel('月份') axes[0, 0].set_ylabel('销售额') axes[0, 0].grid(True, linestyle='--', alpha=0.5) # 右上：区域销售额 Top10 柱状图 region_sum = df.groupby('region_name')['amount'].sum().sort_values(ascending=False).head(10) region_sum.plot( ax=axes[0, 1], kind='bar', color='#fd8d3c', alpha=0.8 ) axes[0, 1].set_title('区域销售额 Top10') axes[0, 1].set_xticklabels(region_sum.index, rotation=45, ha='right') axes[0, 1].grid(axis='y', linestyle='--', alpha=0.5) # 左下：品类占比饼图 category_sum = df.groupby('category')['amount'].sum() axes[1, 0].pie( category_sum.values, labels=category_sum.index, autopct='%.1f%%', startangle=90, wedgeprops={'edgecolor': 'w'} ) axes[1, 0].set_title('品类销售额占比') # 右下：数量 vs 金额散点图 axes[1, 1].scatter( df['quantity'].sample(500, random_state=42), df['amount'].sample(500, random_state=42), alpha=0.5, s=30, c='#31a354' ) axes[1, 1].set_title('购买数量与订单金额关系') axes[1, 1].set_xlabel('下单数量') axes[1, 1].set_ylabel('订单金额') axes[1, 1].grid(True, linestyle='--', alpha=0.5) fig.suptitle('电商订单数据分析看板', fontsize=16) plt.tight_layout() plt.savefig('analysis_dashboard.png', dpi=200, bbox_inches='tight') plt.show()

这里有几个小细节我再强调一下：

• 折线图用marker='o'，数据点更明显。
• 柱状图横标签特别多时，设置rotation=45, ha='right'，不然 tick 会叠成黑疙瘩。
• 散点图为了防止图片太大或过密，可以df.sample(500, random_state=42)抽样，既保持趋势，又让渲染更快更清晰。
• tight_layout()一定要在savefig之前调，不然标题和标签容易被截断。
• bbox_inches='tight'让保存图片时自动收边，导出后四周不会留大片白边。

4.5 保存清洗后的数据

分析完顺手把结果落盘，这是好习惯：

df.to_csv('data/orders_clean.csv', index=False, encoding='utf-8-sig') monthly.to_frame().to_excel('data/monthly_sales.xlsx')

这里我推荐encoding='utf-8-sig'，因为直接用utf-8导出的 CSV 用 Excel 打开时中文容易乱码。utf-8-sig带 BOM，Excel 能正确识别。表格文件用to_excel导出，方便给不写代码的同事。

5. 常见问题速查表与排障笔记

5.1 MySQL 连接失败的几个典型原因

我把实战中遇到的连接问题整理成一张速查表：

连接库这件事，我一直建议先写在 Python 文件顶部，每次跑之前确认一次这些参数，别等报错再猜。

5.2 中文字体和坐标轴重叠问题

Matplotlib 默认字体对中文不友好，最容易出现的现象是标题变成了方框。解决方式我已经写在代码里了：

plt.rcParams['font.sans-serif'] = ['SimHei', 'Microsoft YaHei'] plt.rcParams['axes.unicode_minus'] = False

第二行尤其重要。如果不设置，坐标轴上的负号会显示成乱码方块。画完坐标轴标签后，如果发现 x 轴文字挤在一起，就用旋转：

plt.xticks(rotation=45, ha='right')

图例如果被压住，就用loc='upper left'之类的参数微调，或者bbox_to_anchor=(1.05, 1)把图例放到图外右侧，看板会清爽很多。

5.3 Numpy 版本不匹配与性能对比的坑

Numpy 版本出问题通常表现为 import 报错或者AttributeError: module 'numpy' has no attribute 'xxx'。这多半是环境里安装了多个 Python，或者某个库的依赖版本过老。建议先固定一个虚拟环境，然后：

pip install numpy --upgrade

如果升级后出现与 Pandas 不兼容的警告，可以回退到 Pandas 官方要求的 Numpy 版本。通常pip install pandas numpy matplotlib --upgrade一起升不会有大问题。

还有人会把 Numpy 和 list 的速度对比理解成“Python 一定很慢”。其实要分场景：小规模数据下差异可忽略，十万级以上元素的数值运算才能体现 Numpy 的价值。实证对比很有必要，但别为了对比而对比。

5.4 Pandas 类型转换与正则提取翻车记录

类型转换最经典的坑是：字段里肉眼看着是数字，实际带着逗号或空格，astype(float)直接报错。比如"1,234.56"，要先清理千分位：

df['amount'] = df['amount'].astype(str).str.replace(',', '', regex=False).astype(float)

另一个高频坑是to_datetime遇到无法解析的格式。此时除了指定format，还可以先用pd.to_datetime(df['date'], errors='coerce')，把解析失败的变成NaT，再统一处理，会比直接崩掉友好得多。

正则提取同样要小心 NaN，因为NaN不是字符串，很多正则方法会直接抛错。稳妥写法：

df['city'] = df['region'].str.extract(r'[-－](.+)$', expand=False).fillna('未知')

先补缺失再提字段，能少掉一把眼泪。

5.5 把连接和清洗封装成可复用函数

最后分享一个我自己的习惯：把最稳定的步骤封装成函数，这样换数据源、换库表时只需要改参数，不用改逻辑。

def load_orders(table_name='orders'): engine = create_engine(...) return pd.read_sql(f'SELECT * FROM {table_name}', engine) def clean_orders(df): df = df.drop_duplicates() df['user_id'] = df['user_id'].fillna(0).astype(int) df = df[df['amount'] > 0] df['region_name'] = df['region'].str.extract(r'^(.+?)[-－]') df['city'] = df['region'].str.extract(r'[-－](.+)$') return df

这样做的好处是你沉淀了一套“数据清洗模板”，下次换一套订单数据，流程还是那几步，只是字段名可能变了。分析工作最值钱的部分，从来不是某段代码，而是你反复踩坑后形成的稳定方法论。

我个人实际操作中最深刻的体会是：先把“取数 → 清洗 → 计算 → 画图”最小闭环跑通，再去追求复杂模型和炫酷图表。这个项目看着简单，但它把数据库和 Python 生态串成了生产线，后续你想加预测、加漏斗、加自动报告，都是在同一套框架上增砖添瓦。最后再分享一个小技巧：每隔几步就把中间结果打印成 CSV 或 Pickle 存一份，既方便回滚，又能在画图出错时快速定位是哪一步污染了数据。项目代码和数据源都放在仓库里，照着跑一遍，你就能拥有一张属于自己的数据分析看板。