Python零基础入门实战：从环境搭建到爬虫与数据分析项目整合-开发者社区

这类教程最值得先看的不是它覆盖了多少个知识点，而是能不能帮你从零开始，把环境搭稳、把基础语法跑通、把第一个项目跑起来，最后能独立完成爬虫和数据分析这类实际任务。很多新手卡在第一步——环境配置和工具选择上，或者学了一堆语法却不知道如何用在项目里。这篇文章会按一个真实的学习和落地路径来拆解，从安装、基础、到爬虫、数据分析，再到项目整合，每个环节都给出可执行的步骤和避坑点。

如果你是完全零基础，跟着走完能自己写出代码；如果你有基础但项目经验少，可以直接看爬虫、数据分析和项目实战部分，了解如何把分散的知识点串起来用。

1. 先搞定环境：别在第一步就卡住

环境问题是新手放弃的第一大原因。不是Python难，而是安装、配置、工具选择这些前置步骤太琐碎。这里不推荐你一次性安装所有东西，而是分阶段配置，确保每一步都能验证通过。

1.1 安装Python：选对版本，配置好环境变量

目前主流且稳定的版本是Python 3.8到3.11。不建议一上来就追最新版（如3.12），因为有些第三方库可能还没完全适配。

Windows系统安装步骤：

访问Python官网（python.org），下载Windows installer。记得勾选“Add Python 3.x to PATH”，这是最关键的步骤，能避免后续在命令行里找不到Python。
安装完成后，打开命令提示符（cmd）或PowerShell，输入python --version。如果显示版本号，说明安装和PATH配置成功。如果报错“不是内部或外部命令”，就需要手动添加环境变量：在系统设置里找到“环境变量”，在“Path”里添加Python的安装目录（如C:\Users\你的用户名\AppData\Local\Programs\Python\Python311）和它的Scripts目录（如C:\Users\你的用户名\AppData\Local\Programs\Python\Python311\Scripts）。

macOS/Linux系统：macOS通常自带Python 2.7，但我们需要Python 3。建议通过Homebrew安装：打开终端，输入brew install python。安装后，终端里输入python3 --version来验证。Linux系统一般通过包管理器安装，如sudo apt-get install python3 python3-pip(Ubuntu/Debian)。

注意：在macOS和Linux上，命令可能是python3和pip3，而不是python和pip。这是为了和系统自带的Python 2区分开。

验证与工具选择：安装成功后，可以再输入pip --version检查包管理工具。之后，我建议新手直接使用VSCode作为代码编辑器，而不是一开始就折腾PyCharm等重型IDE。VSCode轻量，配置Python扩展很方便：

安装VSCode。
在扩展市场搜索“Python”，安装微软官方发布的那个扩展。
打开一个文件夹，新建一个test.py文件，输入print(“Hello, World!”)。
在VSCode右下角选择你刚安装的Python解释器版本，然后右键运行文件。能在终端看到输出，就说明编辑器和环境联动成功了。

1.2 管理项目环境：为什么需要虚拟环境

直接在全系统安装Python包，后期不同项目可能会因为依赖库版本冲突而无法运行。虚拟环境就是为每个项目创建一个独立的“沙箱”。

使用venv（Python内置）：这是最通用、最推荐新手使用的方法。在你的项目目录下打开终端（或VSCode的集成终端），执行：

# Windows python -m venv myenv # macOS/Linux python3 -m venv myenv

这会在当前目录创建一个名为myenv的文件夹，里面包含独立的Python解释器和pip。激活虚拟环境：

# Windows (cmd/PowerShell) myenv\Scripts\activate # macOS/Linux source myenv/bin/activate

激活后，终端提示符前会出现(myenv)字样。之后所有pip install的操作都只影响这个环境。退出虚拟环境输入deactivate。

使用Conda（适合数据科学场景）：如果你主要做数据分析、机器学习，Anaconda或更轻量的Miniconda是更好的选择。它不仅能管理Python环境，还能方便地安装一些科学计算库（如numpy, pandas）的非Python依赖。安装Miniconda后，使用conda create -n myenv python=3.9创建环境，用conda activate myenv激活。

1.3 安装必备基础库

在激活的虚拟环境中，安装最初级但必不可少的几个库，用于后续学习：

pip install numpy pandas matplotlib ipython jupyter

numpy: 数值计算基础。
pandas: 数据处理核心。
matplotlib: 绘图和可视化。
ipython: 增强的交互式Python shell。
jupyter: 用于运行Jupyter Notebook，非常适合做数据分析的阶段性探索。

用pip list可以查看当前环境已安装的包。至此，一个干净、独立、可用的Python学习环境就搭建完成了。

2. 零基础语法核心：学哪些，怎么练，避开什么坑

Python语法学习切忌贪多求全。核心目标是能用代码表达逻辑、处理数据。下面这个顺序和重点，是我带新人时验证过最高效的路径。

2.1 第一周：建立程序思维和基础操作

目标：能理解变量、数据类型、条件判断、循环，并完成简单的用户交互程序。核心内容：

变量与数据类型：整数、浮点数、字符串、布尔值。重点理解“类型”的概念，以及用type()函数查看类型。
输入与输出：input()获取用户输入（永远是字符串），print()输出。练习：做一个简单的个人信息问答程序。
条件判断（if/elif/else）：理解缩进是语法的一部分。练习：做一个成绩等级判断器（A/B/C/D）。
循环（for/while）：for i in range(5):和for item in list:两种形式必须掌握。while循环要小心设置退出条件，避免死循环。
列表（list）：最常用的数据结构。掌握创建、索引、切片、追加(append)、插入(insert)、删除(remove/pop)、遍历。

避坑点：

不要死记语法：每个知识点立刻在编辑器里写代码运行，看到结果。比如学完列表切片，马上试试my_list[1:4]、my_list[-2:]是什么。
理解错误信息：初学时，代码报错是好事。仔细读错误信息（Traceback），它告诉你在哪一行（File “<stdin>“, line 1）、是什么错误（TypeError,IndexError）。这是最重要的调试能力起点。
先完成再完美：第一个程序哪怕再简陋，只要能运行，就是成功。比如判断成绩的程序，先实现60分以上及格，再去细化90分优秀、80分良好等分支。

2.2 第二至三周：函数、字典和文件操作

目标：学会封装代码块（函数），用字典管理键值对数据，并能读写本地文件。核心内容：

函数（def）：理解定义、参数（位置参数、默认参数）、返回值(return)。核心思想是“一次定义，多次使用”。练习：将之前成绩判断的逻辑封装成函数calculate_grade(score)。
字典（dict）：用键（key）来存取值（value）。掌握创建{}、增删改查（dict[key] = value,dict.get(key)）。练习：用字典做一个简单的学生信息管理系统（学号: 姓名）。
文件操作（open）：with open(‘file.txt’, ‘r’, encoding=‘utf-8’) as f:是标准写法。掌握’r’(读)、’w’(写)、’a’(追加) 模式。重点：处理文本文件时，总是显式指定编码（如utf-8），避免中文乱码。练习：从文件读取学生名单，处理后（如筛选）再写入新文件。
异常处理（try/except）：让程序更健壮。比如文件不存在时，用try/except FileNotFoundError捕获异常，给出友好提示，而不是让程序崩溃。

避坑点：

函数不要写得太长：一个函数最好只做一件事。如果函数超过一屏（约50行），考虑拆分。
字典的键：字典的键必须是不可变类型（如字符串、数字、元组），列表不能作为键。
文件路径：建议使用“原始字符串”表示Windows路径，如r”C:\Users\data.txt”，或者使用正斜杠“C:/Users/data.txt”，避免反斜杠转义问题。

2.3 第四周：面向对象入门和模块化

目标：理解“类”和“对象”的基本概念，会使用现有模块，并能将自己的代码组织成模块。核心内容：

类与对象（class）：初学阶段，理解“类”是蓝图，“对象”是根据蓝图造出的具体东西即可。掌握定义类class Dog:、初始化方法__init__、创建对象my_dog = Dog(“旺财”)、对象方法。练习：定义一个“学生”类，有姓名、学号、成绩属性，以及一个打印信息的方法。
模块与包（import）：理解import math、from pandas import DataFrame。核心是代码复用。练习：把自己写的学生管理函数放到一个单独的student_utils.py文件里，然后在主程序main.py中用import student_utils来调用。
常用内置模块：os（操作系统交互，如路径、文件列表）、sys（系统参数）、datetime（日期时间）、json（处理JSON数据，这在网络爬虫和API调用中极常用）。练习：用os.listdir()列出某个文件夹下所有.txt文件。

避坑点：

面向对象不必深究：对于零基础到完成爬虫和数据分析的目标，能看懂和使用别人写的类就够了。复杂的设计模式（如工厂、单例）初期完全不用碰。
循环导入：A模块导入了B，B模块又导入了A，会导致错误。规划代码结构时，尽量让依赖关系单向。
if __name__ == ‘__main__’:：理解这个语句的作用。它使得写在其中的代码，只有在直接运行该文件时执行，而被其他文件导入时不会执行。这是编写可复用模块的好习惯。

至此，Python基础语法的核心骨架已经建立。接下来，我们进入第一个实战领域：网络爬虫。

3. 网络爬虫实战：从静态页面到动态数据抓取

爬虫不是“暴力下载”，而是模拟浏览器行为，从网页中结构化地提取信息。学习路径应该是：先理解网页结构，再用简单工具获取数据，最后处理反爬机制。

3.1 理解网页与基础工具链

核心工具：

requests：用于发送HTTP请求，获取网页HTML内容。pip install requests
BeautifulSoup(from bs4)：用于解析HTML/XML，提取数据。pip install beautifulsoup4
lxml：一个更快的解析器，通常作为BeautifulSoup的解析后端。pip install lxml

第一步：分析网页结构在浏览器（如Chrome）中打开目标网页，按F12打开“开发者工具”。

切换到Elements（元素）标签页，这里可以看到网页的HTML源码。
使用左上角的箭头工具，点击网页上你想抓取的内容（如文章标题、价格），开发者工具会自动定位到对应的HTML代码。
观察该内容的HTML标签和属性，比如<h1 class=“title”>…</h1>。我们就是根据这些标签和属性（如class=“title”）来告诉程序去哪里找数据。

第二步：编写第一个爬虫假设我们要爬取一个静态新闻列表页的标题和链接。

import requests from bs4 import BeautifulSoup # 1. 发送请求 url = ‘http://example.com/news‘ # 替换成目标网址 headers = { ‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36‘ # 模拟浏览器 } response = requests.get(url, headers=headers) response.encoding = ‘utf-8‘ # 根据网页实际编码调整 # 2. 检查请求是否成功 if response.status_code == 200: # 3. 解析HTML soup = BeautifulSoup(response.text, ‘lxml‘) # 使用lxml解析器，更快 # 4. 定位数据。假设每个新闻条目都在 <div class=“news-item”> 里 news_items = soup.find_all(‘div‘, class_=‘news-item‘) for item in news_items: # 在每条新闻里找标题（假设在<h2>标签里）和链接（假设在<a>标签的href属性里） title_tag = item.find(‘h2‘) link_tag = item.find(‘a‘) title = title_tag.text.strip() if title_tag else ‘N/A‘ link = link_tag[‘href‘] if link_tag else ‘#‘ # 处理相对链接（如果链接是 /news/123，需要补全为完整网址） if link.startswith(‘/‘): link = ‘http://example.com‘ + link print(f“标题：{title}, 链接：{link}“) else: print(f“请求失败，状态码：{response.status_code}“)

关键点解析：

headers：设置User-Agent是绕过最简单反爬的基础，让服务器认为你是普通浏览器。
find_all和find：find_all返回所有匹配的列表，find返回第一个匹配。
.text获取标签内文本，.strip()去除首尾空白字符。
标签属性像字典一样访问，如link_tag[‘href’]。
一定要处理可能缺失的标签（用if … else），否则程序可能因某个条目结构不同而崩溃。

3.2 应对常见反爬与数据存储

1. 请求频率控制：连续快速请求容易被封IP。使用time.sleep()在请求间加入随机延时。

import time import random time.sleep(random.uniform(1, 3)) # 休眠1到3秒之间的随机时间

2. 数据存储：爬取的数据通常存为CSV或JSON文件，便于后续分析。

存为CSV（使用pandas）:

import pandas as pd data = [] # 在循环中，将每条数据构造成字典，append到这个列表 # 例如：data.append({‘title‘: title, ‘link‘: link}) df = pd.DataFrame(data) df.to_csv(‘news_data.csv‘, index=False, encoding=‘utf-8-sig‘) # utf-8-sig解决Excel中文乱码

存为JSON:

import json with open(‘news_data.json‘, ‘w‘, encoding=‘utf-8‘) as f: json.dump(data, f, ensure_ascii=False, indent=2) # ensure_ascii=False确保中文正常显示

3. 处理动态加载内容：很多现代网站用JavaScript动态加载数据，直接requests拿到的HTML里没有内容。这时有两种主流方法：

分析网络请求：在开发者工具的Network（网络）标签页，查找XHR/Fetch请求，这些往往是获取数据的真实API接口。直接模拟请求这些接口（通常返回JSON），比解析HTML更简单高效。
使用Selenium：自动化浏览器。能解决几乎所有动态问题，但速度慢，资源占用高。pip install selenium，并下载对应浏览器的WebDriver（如ChromeDriver）。仅在其他方法无效时使用。

3.3 爬虫伦理与法律边界

这是必须严肃对待的部分：

查看robots.txt：在网站域名后加/robots.txt（如http://example.com/robots.txt），查看网站允许或禁止爬取哪些目录。
尊重版权：爬取的数据如果是他人原创内容（如文章、图片），未经许可不得用于商业用途。
控制频率：不要对目标网站造成访问压力。
遵守网站条款：有些网站的用户协议明确禁止爬虫。
敏感数据：绝对不要爬取个人隐私、商业秘密等受法律保护的数据。

爬虫的核心是“按规则获取公开数据”。掌握基础技能后，更高级的挑战在于如何高效、稳定、合法地设计爬取策略，这需要结合具体网站结构反复实践。

4. 数据分析与可视化：用pandas和matplotlib处理真实数据

数据分析不是炫酷的算法，而是“提出问题 -> 获取/整理数据 -> 探索分析 -> 得出结论”的过程。Python里，pandas是处理数据的核心，matplotlib和seaborn是可视化的利器。

4.1 数据分析第一步：数据加载与清洗

绝大多数时间都花在数据清洗上。干净的数据是正确分析的前提。

1. 加载数据：pandas可以读取多种格式：CSV、Excel、JSON、SQL数据库等。

import pandas as pd # 从CSV文件读取 df = pd.read_csv(‘your_data.csv‘, encoding=‘utf-8‘) # 注意编码 # 从Excel文件读取 df = pd.read_excel(‘your_data.xlsx‘, sheet_name=‘Sheet1‘) # 从JSON文件读取（适用于爬虫结果） df = pd.read_json(‘news_data.json‘, orient=‘records‘)

用df.head()查看前5行，df.info()查看数据概览（列名、非空值数量、数据类型），df.describe()查看数值型列的统计摘要（均值、标准差、分位数等）。

2. 数据清洗常见操作：

处理缺失值：

# 查看每列缺失值数量 print(df.isnull().sum()) # 删除缺失值过多的行或列 df_cleaned = df.dropna(subset=[‘重要列名‘]) # 删除‘重要列名’为空的行 # 填充缺失值 df[‘数值列‘].fillna(df[‘数值列‘].mean(), inplace=True) # 用均值填充 df[‘类别列‘].fillna(‘未知‘, inplace=True) # 用特定值填充

处理重复值：df.drop_duplicates(inplace=True)
数据类型转换：df[‘日期列‘] = pd.to_datetime(df[‘日期列‘])，df[‘字符串数字列‘] = df[‘字符串数字列‘].astype(int)
重命名列：df.rename(columns={‘旧名‘: ‘新名‘}, inplace=True)
处理异常值：通过描述性统计或可视化（如箱线图）发现异常值，再决定是修正、删除还是保留。

4.2 数据探索与分析：提问并回答

清洗完后，开始探索。分析总是从具体问题出发。示例：分析一份销售数据 (sales_data.csv)

import pandas as pd import matplotlib.pyplot as plt df = pd.read_csv(‘sales_data.csv‘) # 问题1：总销售额是多少？ total_sales = df[‘销售额‘].sum() print(f“总销售额：{total_sales}“) # 问题2：哪个产品的销售额最高？ product_sales = df.groupby(‘产品名称‘)[‘销售额‘].sum().sort_values(ascending=False) top_product = product_sales.index[0] print(f“销售额最高的产品是：{top_product}， 销售额为：{product_sales.iloc[0]}“) # 问题3：每月的销售趋势如何？ # 假设有‘日期’列，先转换为datetime类型 df[‘日期‘] = pd.to_datetime(df[‘日期‘]) df[‘月份‘] = df[‘日期‘].dt.to_period(‘M‘) # 提取年月周期 monthly_sales = df.groupby(‘月份‘)[‘销售额‘].sum() # 可视化 plt.figure(figsize=(12, 6)) monthly_sales.plot(kind=‘line‘, marker=‘o‘) plt.title(‘月度销售额趋势‘) plt.xlabel(‘月份‘) plt.ylabel(‘销售额‘) plt.grid(True) plt.tight_layout() plt.savefig(‘monthly_sales_trend.png‘) # 保存图片 plt.show()

关键点解析：

groupby：数据分析的灵魂操作，按某列分组后进行聚合计算（如求和sum()、求平均mean()、计数count()）。
sort_values：排序。
.dt访问器：针对datetime类型序列，方便提取年、月、日等属性。
matplotlib绘图基本流程：创建图形plt.figure()-> 绘制（plot,bar,scatter等）-> 设置标题标签plt.title(),plt.xlabel()-> 显示或保存plt.show()/plt.savefig()。

4.3 进阶可视化与报告生成

matplotlib功能强大但略显繁琐。seaborn基于matplotlib，提供了更高级的统计图形接口和更美观的默认样式。

import seaborn as sns sns.set_theme(style=“whitegrid“) # 设置主题 # 绘制产品销售额分布的箱线图（查看离散度） plt.figure(figsize=(10, 6)) sns.boxplot(x=‘产品类别‘, y=‘销售额‘, data=df) plt.title(‘各产品类别销售额分布‘) plt.xticks(rotation=45) # 如果类别名太长，旋转x轴标签 plt.tight_layout() plt.show() # 绘制销售额与数量的散点图（查看相关性） sns.scatterplot(x=‘销售数量‘, y=‘销售额‘, hue=‘产品类别‘, data=df, alpha=0.6) plt.title(‘销售数量与销售额关系‘) plt.show()

生成分析报告：可以将关键数据、图表和结论整合到Jupyter Notebook中，或者使用pandas的to_markdown、to_html功能生成简单的数据报告。对于正式报告，可以将图表保存为图片，插入到Word、PPT或使用Jinja2模板生成HTML/PDF报告。

数据分析的深度取决于业务问题的复杂度。掌握了pandas的数据操作和matplotlib/seaborn的可视化，你就具备了解决大多数基础到中级数据分析问题的能力。

5. 项目实战整合：构建一个端到端的数据管道

单独会爬虫、会数据分析还不够，真正的能力体现在能把它们串联起来，形成一个自动化或半自动化的数据管道。下面我们设计一个从爬取、清洗、分析到可视化的完整小项目。

项目目标：定期爬取某个公开数据源（例如，某电影评分网站的热门电影信息），进行清洗和分析，并生成趋势报告。

5.1 项目结构设计

一个清晰的项目结构能让代码易于管理和维护。建议如下：

movie_analysis_project/ │ ├── config.py # 配置文件（如数据库连接、API密钥、常量） ├── requirements.txt # 项目依赖包列表 ├── README.md # 项目说明 │ ├── src/ # 源代码目录 │ ├── __init__.py │ ├── crawler.py # 爬虫模块 │ ├── cleaner.py # 数据清洗模块 │ ├── analyzer.py # 数据分析模块 │ └── visualizer.py # 可视化模块 │ ├── data/ # 数据目录 │ ├── raw/ # 原始爬取数据 │ └── processed/ # 清洗后的数据 │ ├── outputs/ # 输出目录 │ ├── figures/ # 生成的图表 │ └── reports/ # 分析报告 │ └── main.py # 主程序，串联整个流程

5.2 模块化代码实现

1. 爬虫模块 (src/crawler.py):

import requests from bs4 import BeautifulSoup import pandas as pd import time import random def fetch_movie_data(url): """从指定URL爬取电影数据""" headers = {‘User-Agent‘: ‘Mozilla/5.0 ...‘} try: resp = requests.get(url, headers=headers, timeout=10) resp.raise_for_status() # 如果状态码不是200，抛出异常 resp.encoding = ‘utf-8‘ return resp.text except requests.RequestException as e: print(f“爬取失败: {e}“) return None def parse_movie_list(html): """解析HTML，提取电影列表信息""" soup = BeautifulSoup(html, ‘lxml‘) movies = [] # 假设电影信息在 <div class=“movie-item”> 里 for item in soup.find_all(‘div‘, class_=‘movie-item‘): title = item.find(‘h2‘).text.strip() if item.find(‘h2‘) else ‘N/A‘ rating_tag = item.find(‘span‘, class_=‘rating‘) rating = float(rating_tag.text) if rating_tag else 0.0 # ... 提取其他字段，如导演、主演、上映日期 movies.append({ ‘title‘: title, ‘rating‘: rating, ‘crawl_date‘: pd.Timestamp.now().date() # 记录爬取日期 }) return movies def save_raw_data(data, filename): """保存原始数据到CSV""" df = pd.DataFrame(data) df.to_csv(filename, index=False, encoding=‘utf-8-sig‘) print(f“原始数据已保存至 {filename}“) if __name__ == ‘__main__‘: # 测试用 url = ‘http://example.com/movies‘ html = fetch_movie_data(url) if html: movie_list = parse_movie_list(html) save_raw_data(movie_list, ‘../data/raw/movies_raw.csv‘)

2. 数据清洗模块 (src/cleaner.py):

import pandas as pd def load_and_clean(raw_file_path): """加载并清洗数据""" df = pd.read_csv(raw_file_path, encoding=‘utf-8-sig‘) # 1. 处理缺失值：评分缺失的用中位数填充 median_rating = df[‘rating‘].median() df[‘rating‘].fillna(median_rating, inplace=True) # 2. 处理异常值：假设评分范围是0-10，超出范围的视为异常 df = df[(df[‘rating‘] >= 0) & (df[‘rating‘] <= 10)] # 3. 去重（基于电影标题和爬取日期） df.drop_duplicates(subset=[‘title‘, ‘crawl_date‘], keep=‘first‘, inplace=True) # 4. 数据类型转换 df[‘crawl_date‘] = pd.to_datetime(df[‘crawl_date‘]) return df def save_cleaned_data(df, output_path): df.to_csv(output_path, index=False, encoding=‘utf-8-sig‘) print(f“清洗后数据已保存至 {output_path}“)

3. 数据分析与可视化模块 (src/analyzer.py,src/visualizer.py):分析模块负责计算指标，可视化模块负责绘图。

# analyzer.py import pandas as pd def analyze_movies(df): """计算关键指标""" analysis_result = {} analysis_result[‘total_movies‘] = len(df) analysis_result[‘avg_rating‘] = df[‘rating‘].mean() analysis_result[‘top_10_movies‘] = df.nlargest(10, ‘rating‘)[[‘title‘, ‘rating‘]] # 按日期分析趋势（如果有多日数据） if df[‘crawl_date‘].nunique() > 1: daily_avg = df.groupby(‘crawl_date‘)[‘rating‘].mean() analysis_result[‘daily_rating_trend‘] = daily_avg return analysis_result

# visualizer.py import matplotlib.pyplot as plt import seaborn as sns def plot_rating_distribution(df, save_path): """绘制评分分布直方图""" plt.figure(figsize=(10, 6)) sns.histplot(df[‘rating‘], bins=20, kde=True) plt.title(‘电影评分分布‘) plt.xlabel(‘评分‘) plt.ylabel(‘电影数量‘) plt.grid(True, alpha=0.3) plt.tight_layout() plt.savefig(save_path) plt.close() # 关闭图形，避免在非交互环境下重叠 def plot_top_movies(top_movies_df, save_path): """绘制Top10电影条形图""" plt.figure(figsize=(12, 8)) sns.barplot(x=‘rating‘, y=‘title‘, data=top_movies_df, palette=‘viridis‘) plt.title(‘Top 10 电影评分‘) plt.xlabel(‘评分‘) plt.ylabel(‘电影标题‘) plt.tight_layout() plt.savefig(save_path) plt.close()

4. 主程序 (main.py):

import sys import os sys.path.append(os.path.join(os.path.dirname(__file__), ‘src‘)) from src.crawler import fetch_movie_data, parse_movie_list, save_raw_data from src.cleaner import load_and_clean, save_cleaned_data from src.analyzer import analyze_movies from src.visualizer import plot_rating_distribution, plot_top_movies def main(): # 1. 爬取 print(“开始爬取数据...“) url = ‘http://example.com/movies‘ html = fetch_movie_data(url) if not html: print(“爬取失败，程序退出。“) return movie_list = parse_movie_list(html) raw_data_path = ‘./data/raw/movies_raw.csv‘ save_raw_data(movie_list, raw_data_path) # 2. 清洗 print(“开始清洗数据...“) df_cleaned = load_and_clean(raw_data_path) cleaned_data_path = ‘./data/processed/movies_cleaned.csv‘ save_cleaned_data(df_cleaned, cleaned_data_path) # 3. 分析与可视化 print(“开始分析与可视化...“) results = analyze_movies(df_cleaned) print(f“分析完成。共爬取 {results[‘total_movies‘]} 部电影，平均评分 {results[‘avg_rating‘]:.2f}“) # 生成图表 os.makedirs(‘./outputs/figures‘, exist_ok=True) plot_rating_distribution(df_cleaned, ‘./outputs/figures/rating_dist.png‘) plot_top_movies(results[‘top_10_movies‘], ‘./outputs/figures/top10_movies.png‘) print(“图表已生成至 ./outputs/figures/ 目录。“) if __name__ == ‘__main__‘: main()