Python数据采集与分析实战：构建B站用户行为分析系统

简介：本资源是一套完整的本科毕业设计项目——基于Python的B站用户行为分析系统，面向计算机、数据科学及相关专业本科生，解决视频平台用户与UP主行为数据可视化分析的实际问题。压缩包共582个文件，约46.95MB，涵盖核心Python源码（35个.py文件）、前端页面（40个.html、107个.js、26个.css）、可视化图表资源（166个.png、76个.jpg）、数据库脚本（1个.sql）及演示视频（1个.mp4），完整支撑系统开发、部署与演示全流程。已有142人学习下载。资源提供可直接运行的用户注册登录模块、UP主视频类型与发布时间规律分析（含柱状图/折线图实现）、以及按小时/周/月粒度的综合发布热度统计功能，配套界面截图、样式文件与基础数据集，便于理解前后端交互逻辑与ECharts可视化集成方式，适合毕设参考、课程设计复现与数据分析实践拓展。

1. 项目概述与核心价值

最近几年，数据驱动的决策变得越来越重要，尤其是在内容平台领域。一个典型的需求场景就是：如何理解平台上海量用户的行为模式？这不仅仅是看播放量、点赞数那么简单，而是需要一套系统，能够从用户与内容的每一次交互中，挖掘出深层的规律和洞察。我手头这个毕业设计项目——“基于Python的B站用户行为分析系统”，正是为了解决这个问题而生。它不是一个简单的数据统计工具，而是一个集数据采集、清洗、存储、分析和可视化于一体的完整解决方案。

简单来说，这个系统能帮你自动化地从B站抓取指定UP主或视频的公开数据，比如弹幕、评论、点赞、投币、收藏等，然后把这些看似杂乱无章的信息，通过Python进行清洗和结构化处理，存入数据库。最后，利用数据分析库和可视化工具，生成直观的图表和报告，回答诸如“哪些类型的视频更受用户欢迎？”、“用户的活跃时间分布是怎样的？”、“弹幕的情感倾向与视频内容有何关联？”等核心问题。对于正在学习数据分析、Python编程，或者对内容运营、用户研究感兴趣的同学来说，这个项目提供了一个绝佳的实战机会，把课堂上学到的数据库、爬虫、数据分析知识串联起来，解决一个真实世界的问题。

2. 系统整体架构与技术选型解析

2.1 为什么选择这样的技术栈？

这个项目的技术栈非常经典且务实：Python作为主力开发语言，搭配MySQL或SQLite作为数据库，前端展示可能用到Flask/Django的模板，或者直接使用Pyecharts、Matplotlib生成静态图表。选择Python是理所当然的，它在数据科学领域的生态无人能及，从爬虫（Requests, Scrapy, Selenium）到数据分析（Pandas, NumPy），再到可视化（Matplotlib, Seaborn, Pyecharts），都有成熟、易用的库。对于毕业设计而言，Python能让你把更多精力放在业务逻辑和算法实现上，而不是纠结于语言本身的复杂性。

数据库方面，考虑到用户行为数据量可大可小，且关系明确（用户、视频、行为类型、时间戳），关系型数据库是首选。MySQL功能强大、免费，适合处理稍大规模的数据；而SQLite则更轻量，无需安装独立的数据库服务，整个项目可以打包成一个独立的文件夹，方便演示和移植。在项目初期或数据量不大的情况下，我强烈建议先用SQLite快速原型开发，等逻辑跑通后再考虑迁移到MySQL，这样可以避免在环境配置上浪费太多时间。

2.2 核心模块拆解与数据流设计

整个系统可以清晰地划分为四个核心模块，数据在其中单向流动，形成闭环：

1. 数据采集模块：这是系统的“眼睛”和“手”。它的任务是模拟浏览器或调用B站开放的API（如果有的话），从目标网页上抓取数据。这里涉及到HTTP请求、HTML解析、反爬虫策略应对等。一个健壮的采集模块需要处理请求头伪装、IP代理、请求频率控制等问题。
2. 数据清洗与存储模块：原始抓取的数据通常是“脏”的，包含HTML标签、乱码、不一致的格式等。这个模块负责使用Pandas等工具进行数据清洗、去重、格式转换，并将规整后的数据按照预设的表结构，通过SQLAlchemy或直接SQL语句写入数据库。
3. 数据分析与计算模块：这是系统的“大脑”。数据入库后，本模块通过执行复杂的SQL查询或调用Pandas/NumPy进行统计计算。例如，计算视频的完播率、用户的平均互动次数、弹幕词频统计、基于时间序列的活跃度分析等。
4. 数据可视化与展示模块：这是系统的“脸面”。分析结果需要以直观的方式呈现。可以使用Pyecharts生成交互式的HTML图表，用Matplotlib生成静态报告图片，或者搭建一个简单的Flask Web应用，通过网页动态展示分析结果。

数据流可以概括为：B站网页/API -> 采集脚本 -> 原始数据文件（如JSON/CSV）-> 清洗脚本 -> 结构化数据库 -> 分析脚本 -> 可视化图表/报告。

注意：在进行数据采集时，务必严格遵守B站的robots.txt协议和相关使用条款。避免对目标服务器造成过大压力，建议在请求间添加随机延时，并优先考虑使用公开API（如果可用且满足需求）。毕业设计应侧重于方法学习和原理实践，而非无限量爬取数据。

3. 核心细节解析与实操要点

3.1 数据采集：策略、工具与反爬应对

数据采集是整个项目的基石，也是最容易“踩坑”的环节。B站的前端页面是动态渲染的，很多数据是通过Ajax请求加载的，直接解析HTML可能拿不到关键信息。

策略选择：

• API逆向分析：这是最高效、最稳定的方法。通过浏览器的开发者工具（F12），切换到Network（网络）选项卡，过滤XHR/Fetch请求，观察视频页、评论列表、弹幕列表加载时触发的请求。找到返回JSON数据的接口，分析其请求URL、参数（如bvid、aid、pn页码等）和请求头。直接模拟这些请求，可以获得结构化的数据。例如，弹幕通常有专门的.xml或接口地址。
• Selenium模拟浏览器：当API难以逆向或需要模拟登录后的行为时，Selenium是备选方案。它可以驱动真实的浏览器（如Chrome）加载页面，等待JavaScript执行完毕后再获取完整的页面源码。缺点是速度慢、资源消耗大。

工具选型：

• Requests + BeautifulSoup4：适用于静态页面或API调用。Requests库用于发送HTTP请求，BeautifulSoup4用于解析HTML。组合使用简单快捷。
• Selenium：适用于动态页面。需要下载对应的浏览器驱动（如ChromeDriver）。
• Aiohttp：如果需要高速异步爬取，可以考虑aiohttp，但复杂度较高，毕业设计阶段用Requests同步请求更易于理解和调试。

反爬应对实战心得：

1. 请求头（Headers）：务必设置完整的User-Agent，模拟常见浏览器。有时还需要带上Referer（来源页）和Cookie（特别是获取登录后数据时）。

   headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36', 'Referer': 'https://www.bilibili.com/video/BV1xx411c7mD' }

2. 频率控制：在循环请求中，使用time.sleep(random.uniform(1, 3))添加随机间隔，避免触发频率限制。
3. IP代理：如果请求量非常大，可能需要使用代理IP池。但对于毕业设计，控制好请求频率通常就足够了。
4. 会话保持：使用requests.Session()对象，它可以自动管理cookies，在需要连续请求时非常方便。

3.2 数据库设计：表结构规划与关系建模

一个设计良好的数据库是高效分析的前提。根据B站用户行为，我们至少需要设计以下几张核心表：

1. 视频表（video）存储视频的基本元信息。

2. 用户表（user）存储用户（这里主要指UP主）的基本信息。

3. 行为记录表（behavior）这是最核心的表，记录每一次用户互动行为。采用“事实表”设计。

4. 弹幕/评论情感分析结果表（sentiment）（可选扩展） 如果需要做文本情感分析，可以单独建表存储结果。

关系说明：

• 一个UP主（user）可以拥有多个视频（video），是一对多关系。
• 一个视频（video）下可以有多条行为记录（behavior），是一对多关系。
• 行为记录（behavior）与情感分析结果（sentiment）可以是一对一关系（如果每条都分析）。

实操心得：在项目初期，不要过度设计数据库。先保证核心的video和behavior表能跑通数据流。behavior_type字段使用字符串枚举，比用数字代码更直观，便于后续查询和理解。时间戳字段务必统一时区（如UTC+8），并在查询时注意处理。

3.3 数据分析：从基础统计到深度洞察

数据入库后，分析部分就变得灵活而强大。我们可以从简单到复杂，层层递进。

基础统计分析： 这部分主要回答“是什么”的问题。

• 视频维度：计算单个视频的互动率（(点赞+投币+收藏+分享+弹幕+评论)/播放量）、完播率（需估算，如观看时长/视频时长）等核心指标。
• 用户维度：统计UP主所有视频的累计数据、日均增长，计算其粉丝互动粘性。
• 时间维度：分析用户活跃的时段分布（一天24小时）、星期分布。例如，通过SQL按小时分组统计行为数量：

  SELECT HOUR(timestamp) as hour, COUNT(*) as action_count FROM behavior WHERE behavior_type IN ('like', 'coin', 'danmaku', 'reply') GROUP BY HOUR(timestamp) ORDER BY hour;

深度关联分析： 这部分尝试回答“为什么”和“怎么样”的问题。

• 内容与互动关联：使用Pandas计算视频标题关键词（通过分词获得）与点赞率、投币率之间的相关性。例如，是否含有“教程”、“实战”等词的视频更容易获得收藏？
• 弹幕/评论情感分析：这是一个亮点。可以使用预训练的中文情感分析模型（如SnowNLP、BosonNLP的API或bert-base-chinese微调）。将behavior表中behavior_type为danmaku或reply的content字段取出，进行情感打分，存入sentiment表。然后可以分析：
  • 视频不同时间点的弹幕情感变化曲线（结合timestamp）。
  • 积极/消极弹幕主要集中在视频的哪个部分？
  • 负面评论通常针对内容的哪些方面？
• 用户行为序列模式：对于同一个视频，分析用户的行为序列。例如，用户通常是先发弹幕再点赞，还是先点赞再评论？这需要更复杂的序列挖掘算法，可以作为进阶探索。

技术实现要点：

• Pandas是核心：绝大多数统计分析都可以用Pandas完成。从数据库读取数据用pd.read_sql_query()，分组聚合用groupby()，关联计算用merge()。
• 情感分析集成：如果使用SnowNLP，其使用非常简单，但准确率在特定领域可能有限。对于毕业设计，用它快速出结果是可行的。

  from snownlp import SnowNLP text = “这个视频太棒了！” s = SnowNLP(text) sentiment_score = s.sentiments # 返回0到1之间的值，越接近1越积极

• 性能考虑：当数据量较大时，复杂的分析（如全量弹幕情感分析）可能很慢。可以考虑抽样分析，或者将分析任务写成脚本，在服务器上后台运行。

4. 系统实现与核心代码剖析

4.1 工程结构组织

一个清晰的目录结构能让项目维护起来事半功倍。建议采用如下模块化组织：

bilibili_behavior_analysis/ ├── config.py # 配置文件（数据库连接、API密钥等） ├── requirements.txt # 项目依赖包列表 ├── run.py # 主程序入口 ├── src/ # 源代码目录 │ ├── crawler/ # 数据采集模块 │ │ ├── __init__.py │ │ ├── api_crawler.py # API爬虫 │ │ └── utils.py # 请求头、代理等工具函数 │ ├── database/ # 数据库模块 │ │ ├── __init__.py │ │ ├── models.py # SQLAlchemy数据模型定义 │ │ ├── operations.py # 数据库增删改查操作 │ │ └── init_db.py # 初始化数据库表 │ ├── analyzer/ # 数据分析模块 │ │ ├── __init__.py │ │ ├── basic_stats.py # 基础统计 │ │ ├── sentiment_analysis.py # 情感分析 │ │ └── time_series.py # 时间序列分析 │ └── visualizer/ # 可视化模块 │ ├── __init__.py │ ├── chart_generator.py # 图表生成 │ └── report_generator.py # 报告生成 ├── data/ # 数据目录 │ ├── raw/ # 原始抓取数据（JSON/CSV） │ └── processed/ # 清洗后数据 ├── output/ # 输出目录 │ ├── charts/ # 生成的图表 │ └── reports/ # 分析报告 └── tests/ # 单元测试

4.2 关键代码片段解析

1. 数据模型定义（src/database/models.py）使用SQLAlchemy ORM来定义表结构，这样可以用Python类来操作数据库，非常方便。

from sqlalchemy import Column, Integer, String, Text, DateTime, Float, BigInteger, ForeignKey from sqlalchemy.ext.declarative import declarative_base from sqlalchemy.orm import relationship Base = declarative_base() class Video(Base): __tablename__ = 'video' video_id = Column(String(20), primary_key=True) title = Column(String(255)) up_mid = Column(BigInteger) # 关联UP主ID，这里简化处理，未建外键约束 pubdate = Column(DateTime) duration = Column(Integer) view = Column(Integer, default=0) like = Column(Integer, default=0) coin = Column(Integer, default=0) favorite = Column(Integer, default=0) share = Column(Integer, default=0) danmaku = Column(Integer, default=0) reply = Column(Integer, default=0) # 建立关系，方便查询（需要先定义Behavior类） # behaviors = relationship("Behavior", back_populates="video") class Behavior(Base): __tablename__ = 'behavior' id = Column(BigInteger, primary_key=True, autoincrement=True) video_id = Column(String(20), ForeignKey('video.video_id'), nullable=False) user_mid = Column(BigInteger) # 行为用户ID behavior_type = Column(String(20)) # 'like', 'coin', 'danmaku', 'reply', 'favorite' content = Column(Text, nullable=True) # 弹幕或评论内容 timestamp = Column(DateTime) like_count = Column(Integer, default=0) # 评论/弹幕的点赞数 # 建立关系 # video = relationship("Video", back_populates="behaviors")

2. 数据清洗与入库（src/crawler/data_processor.py示例片段）假设我们从API抓取到了一个视频的评论列表comments_json。

import pandas as pd from datetime import datetime from src.database.operations import add_behavior_record def process_comments(video_id, comments_json): """ 处理评论JSON数据，并入库 """ behaviors_to_add = [] for comment in comments_json['data']['replies']: # 具体结构需根据API响应调整 # 提取信息 user_mid = comment['member']['mid'] content = comment['content']['message'] ctime = datetime.fromtimestamp(comment['ctime']) # 时间戳转换 like_count = comment['like'] # 构建行为记录字典 behavior_record = { 'video_id': video_id, 'user_mid': user_mid, 'behavior_type': 'reply', 'content': content, 'timestamp': ctime, 'like_count': like_count } behaviors_to_add.append(behavior_record) # 批量入库（假设operations里有批量添加函数） if behaviors_to_add: add_behavior_record(behaviors_to_add) print(f"视频 {video_id} 的 {len(behaviors_to_add)} 条评论已入库。")

3. 生成互动趋势图（src/visualizer/chart_generator.py）使用Pyecharts生成一个视频各项互动数据随时间（发布后小时数）变化的折线图。

from pyecharts import options as opts from pyecharts.charts import Line import pandas as pd from src.database.operations import get_behavior_by_video def generate_interaction_trend_chart(video_id, save_path='output/charts/trend.html'): """ 生成视频发布后每小时互动趋势图 """ # 从数据库获取该视频的行为数据 df = get_behavior_by_video(video_id) # 返回一个Pandas DataFrame if df.empty: print("未找到该视频数据。") return # 计算视频发布时间（假设已从video表获取） # pub_time = ... # 计算行为发生时间与发布时间的差值（小时） # df['hours_after_pub'] = (df['timestamp'] - pub_time).dt.total_seconds() / 3600 # 按小时分组，统计不同行为类型的数量 # 这里简化处理，假设df已有`hours_after_pub`和`behavior_type`列 pivot_df = df.pivot_table(index='hours_after_pub', columns='behavior_type', values='id', aggfunc='count', fill_value=0) # 准备图表数据 x_data = pivot_df.index.tolist() line = Line() line.add_xaxis(x_data) # 为每种行为类型添加一条线 for b_type in ['like', 'coin', 'danmaku', 'reply']: if b_type in pivot_df.columns: y_data = pivot_df[b_type].tolist() line.add_yaxis(b_type.capitalize(), y_data, is_smooth=True) line.set_global_opts( title_opts=opts.TitleOpts(title=f"视频 {video_id} 发布后互动趋势"), tooltip_opts=opts.TooltipOpts(trigger="axis"), xaxis_opts=opts.AxisOpts(name="发布后小时数"), yaxis_opts=opts.AxisOpts(name="互动数量"), ) line.render(save_path) print(f"图表已保存至: {save_path}")

4.3 系统集成与运行

主程序run.py负责串联整个流程，可以设计成命令行工具，支持不同的命令。

import argparse from src.crawler.api_crawler import crawl_video_info, crawl_comments from src.database.operations import init_database, save_video_info from src.analyzer.basic_stats import calculate_video_stats from src.visualizer.chart_generator import generate_interaction_trend_chart def main(): parser = argparse.ArgumentParser(description='B站用户行为分析系统') subparsers = parser.add_subparsers(dest='command', help='可用命令') # 爬取命令 crawl_parser = subparsers.add_parser('crawl', help='爬取指定视频数据') crawl_parser.add_argument('bvid', type=str, help='视频BV号') # 分析命令 analyze_parser = subparsers.add_parser('analyze', help='分析指定视频') analyze_parser.add_argument('bvid', type=str, help='视频BV号') # 可视化命令 viz_parser = subparsers.add_parser('visualize', help='为指定视频生成图表') viz_parser.add_argument('bvid', type=str, help='视频BV号') args = parser.parse_args() if args.command == 'crawl': print(f"开始爬取视频 {args.bvid} 数据...") video_info = crawl_video_info(args.bvid) save_video_info(video_info) comments = crawl_comments(args.bvid) # ... 处理并保存评论、弹幕等行为数据 print("爬取完成。") elif args.command == 'analyze': print(f"开始分析视频 {args.bvid} ...") stats = calculate_video_stats(args.bvid) print(stats) elif args.command == 'visualize': print(f"为视频 {args.bvid} 生成图表...") generate_interaction_trend_chart(args.bvid) else: parser.print_help() if __name__ == '__main__': # 初始化数据库（如果不存在则创建表） init_database() main()

运行方式示例：

python run.py crawl BV1xx411c7mD # 爬取数据 python run.py analyze BV1xx411c7mD # 进行分析 python run.py visualize BV1xx411c7mD # 生成图表

5. 常见问题、调试技巧与项目扩展

5.1 开发与部署中的典型问题

1. 爬虫被封IP或请求失败：

   • 现象：返回403 Forbidden、429 Too Many Requests，或获取到的是验证页面。
   • 排查：首先检查请求头是否完整模拟了浏览器（特别是User-Agent和Referer）。使用print(response.request.headers)查看实际发出的请求头。
   • 解决：立即大幅降低请求频率，增加随机延时。如果问题持续，考虑更换IP（使用代理）或尝试寻找更稳定的数据接口。对于毕业设计，最务实的做法是抓取少量数据作为演示即可。

2. 数据库连接或操作错误：

   • 现象：OperationalError: no such table或InterfaceError: Connection already closed。
   • 排查：检查数据库文件路径是否正确、表名是否拼写错误。检查SQLAlchemy的create_all()是否在连接建立后正确执行。
   • 解决：确保在操作数据库前，先运行初始化脚本创建表。使用try...except块捕获数据库异常，并打印详细的错误信息。对于SQLite，检查文件是否被其他进程独占锁定。

3. 数据分析结果异常（如数值为NaN或无限大）：

   • 现象：计算出的比率是NaN或inf。
   • 排查：检查分母是否为0。例如计算互动率时，播放量view可能为0（新视频）。检查数据清洗环节，是否有非数字字符混入了数值字段。
   • 解决：在计算前进行数据校验。使用Pandas的fillna(0)处理空值，对于除零情况，使用条件判断或np.where进行处理。

     df['interaction_rate'] = df.apply(lambda row: (row['like']+row['coin'])/row['view'] if row['view']>0 else 0, axis=1)

4. 可视化图表显示不正常：

   • 现象：图表空白、乱码或布局错乱。
   • 排查：检查传递给绘图库的数据格式是否正确（是否是列表或Series）。检查中文字体设置（Pyecharts/Matplotlib需要指定中文字体路径）。
   • 解决：对于Pyecharts，确保add_yaxis的数据是列表。对于Matplotlib，在代码开头设置中文字体：

     import matplotlib.pyplot as plt plt.rcParams['font.sans-serif'] = ['SimHei'] # 用来正常显示中文标签 plt.rcParams['axes.unicode_minus'] = False # 用来正常显示负号

5.2 项目进阶与扩展方向

完成基础系统后，可以从以下几个方向进行深化，提升项目的复杂度和价值：

1. 构建简易Web仪表盘：使用轻量级Web框架Flask或Streamlit，将分析结果以仪表盘形式展示。Streamlit尤其适合数据应用，几行代码就能将数据分析脚本变成交互式Web应用，可以添加视频BV号输入框、图表类型选择器等控件。
2. 引入机器学习模型：
   • 用户分群（聚类）：基于用户的互动行为模式（如点赞、投币、收藏的比例），使用K-Means等算法对用户进行分群，识别“白嫖党”、“三连支持者”、“深度评论者”等群体。
   • 视频推荐预测：构建一个简单的分类模型，根据视频的元数据（标题、标签、时长）和早期互动数据，预测其是否会成为热门视频。这需要足够多的标注数据（热门/非热门）。
   • 弹幕/评论质量识别：训练一个二分类模型，识别垃圾评论或高质量评论，可用于辅助社区管理分析。
3. 实时数据流处理：这是一个更高级的挑战。可以使用Kafka或Redis作为消息队列，设计一个流式处理管道，实时接收新的互动数据（需要稳定的数据源），并近实时地更新分析结果和仪表盘。
4. 跨平台对比分析：将系统适配其他视频平台（如YouTube、抖音）的API，进行跨平台的用户行为对比分析，这能极大提升项目的视野和学术价值。

5.3 毕业设计答辩与文档准备建议

1. 演示视频录制：演示视频不要只是对着代码滚屏。建议分章节录制：①系统介绍与启动；②数据爬取过程（展示命令行运行和日志输出）；③数据库查看（用数据库工具展示存入的数据）；④运行分析并展示结果（命令行输出或生成的图表）；⑤可视化展示（打开生成的HTML图表或Web仪表盘进行交互）。全程配上清晰的语音解说。
2. 论文/报告撰写：除了常规的摘要、绪论、技术介绍外，一定要突出你遇到的问题和解决方案。将“常见问题”部分的内容提炼进去，这是体现你工程能力和思考深度的关键。详细描述你的数据库设计思路、分析模型的构建过程。
3. 源码整理：确保源码干净、有清晰的注释、完整的requirements.txt。在项目根目录提供一个README.md文件，详细说明如何配置环境、安装依赖、运行系统。
4. 突出亮点：在答辩时，不要面面俱到地讲所有代码。重点讲解1-2个技术难点（如如何破解动态加载、情感分析模型的集成应用）和1-2个有价值的分析结论（如通过你的系统发现了某个有趣的用户行为模式）。

本文还有配套的精品资源，点击获取