Python实战：从函数图像绘制到电影短评爬取的全流程解析

头一回看到这个题目的时候我就觉得挺有意思，Python里最常被拿来练手的两个点——函数图像绘制和网页数据爬取，偏偏被塞进了同一个作业里。一个是纯本地计算加可视化，一个是网络请求加解析，看起来八竿子打不着，实际做下来发现它们在技能上高度互补，几乎覆盖了Python入门阶段最核心的几条主线：数据处理、第三方库调用、循环和函数、文件读写，还有最磨人的环境安装和调试。这篇文章就照着这两个任务完整走一遍，把每一步拆开揉碎，包括环境怎么装、代码怎么写、坑在哪里，适合刚学完Python基础语法但还没做过完整小项目的同学直接跟着抄作业。

1. 项目整体拆解与思路确定

1.1 两个任务放在一起，到底在练什么

先把这个题目读透。任务一是“绘制两个函数的图像”，听起来简单，但真正动手就知道它考的不是画图，而是三个基本功：numpy生成数据、matplotlib画布操作、中文字体处理。任务二是“爬取某电影50条短评”，这行字背后藏的东西更多，目标网站选择、请求头伪装、页面解析、数据清洗、去重保存，每一步都可能翻车。

把这两个任务放在一起看，明显是一个“组合式”项目，刻意让学习者在一套流程里同时用上科学计算、可视化、网络爬虫、文件存储这几大模块。这种组合在真实工作里非常常见，比如数据分析师拿到电影数据，先爬取评论，再基于评分做统计图，最后把分布情况可视化出来。所以别把这两个任务当成割裂的小题，它们在实战里是一条流水线。

1.2 环境准备：Anaconda和VSCode的搭配最省心

先说环境。题目热词里一堆“python安装”“anaconda”“vscode配置”，说明很多人在环境这一关就卡住了。我的建议是别单独装裸Python，直接用Anaconda，原因很简单，它自带conda包管理器，一次性帮你装好Python解释器、pip、numpy、pandas这些常用库，后面装requests、matplotlib都不用担心依赖冲突。

装完Anaconda之后，顺手装一个VSCode，在扩展商店里搜索“Python”扩展并安装。打开VSCode，按Ctrl+Shift+P，输入“Python: Select Interpreter”，选择Anaconda自带的Python解释器，这样终端跑命令和编辑器调试用的是同一个环境，不会出现“命令行能跑代码编辑器跑不了”的问题。

终端验证环境是否装好，三条命令就够了：

python --version pip list | findstr numpy pip list | findstr matplotlib

如果numpy和matplotlib都不存在，执行下面这行，一次性补齐：

pip install numpy matplotlib requests beautifulsoup4 lxml

我实测过很多次，国内网络环境下这条命令如果不加镜像源，下载速度会让人绝望，建议直接加清华源：

pip install numpy matplotlib requests beautifulsoup4 lxml -i https://pypi.tuna.tsinghua.edu.cn/simple

1.3 项目文件结构规划

开工之前先把文件结构想好，别把所有代码堆在一个文件里。我的习惯是这样的：

python-demo/ ├── plot_functions.py # 任务一：函数图像绘制 ├── crawl_comments.py # 任务二：爬取电影短评 ├── requirements.txt # 依赖清单 ├── comments.csv # 爬取结果存储 └── function_plot.png # 绘制的图像输出

拆成两个独立脚本的好处是调试互不干扰，后面扩充功能也方便，比如把两个任务合并成一个数据可视化分析流程时，直接import这两个文件里的函数就行。

2. 任务一：绘制两个函数图像的核心细节

2.1 选哪两个函数，以及背后的numpy原理

题目没说具体画哪两个函数，那就选最经典的对比组合：一元二次函数 y = x² - 2x + 1 和三角函数 y = sin(x)。一个代表多项式函数，一个代表周期函数，图像特征差异明显，画在一起对比效果直观，而且numpy在这两类函数上计算起来都极顺手。

先看numpy在这个任务里的角色。Python自带math库也可以算sin和平方，但math库只能处理单个数值，没法一次算一千个x对应的y。numpy的核心优势是向量化运算，传入一个数组，返回一个数组，底层用C语言循环代替Python循环，效率差出几十倍。

import numpy as np x = np.linspace(-5, 5, 500) y1 = x**2 - 2*x + 1 y2 = np.sin(x)

np.linspace(-5, 5, 500)的意思是生成500个从-5到5均匀分布的点。采样密度为什么要500个，不是50也不是5000？50个点画出来线条会有明显的折角，5000个点算起来没必要，500个在精度和性能之间刚好平衡。这个参数在matplotlib绘图中很关键，采样太少图像失真，采样太多白白浪费计算资源。

2.2 matplotlib绘图核心参数讲解

matplotlib的绘图逻辑是“先建画布，再绘曲线，再调细节”。直接从代码看：

import matplotlib.pyplot as plt plt.figure(figsize=(10, 6)) plt.plot(x, y1, label='y = x² - 2x + 1', color='#1f77b4', linewidth=2) plt.plot(x, y2, label='y = sin(x)', color='#ff7f0e', linewidth=2) plt.axhline(0, color='black', linewidth=0.8, linestyle='--') plt.axvline(0, color='black', linewidth=0.8, linestyle='--') plt.title('Two Functions: Quadratic and Sine') plt.xlabel('x') plt.ylabel('y') plt.grid(True, alpha=0.4) plt.legend(loc='upper right') plt.xlim(-5, 5) plt.ylim(-3, 8) plt.savefig('function_plot.png', dpi=200) plt.show()

逐个讲关键的：figsize控制画布尺寸，我一般习惯设成(10, 6)，宽高比更接近16:9，视觉上舒服。label是图例名称，必须加，不然一张图两条曲线看不出谁是谁。color用十六进制色值，比默认色更可控。

axhline和axvline分别在y=0和x=0处画了一条虚线作为坐标轴参考线，这个细节很多教程不提，但实际画图时它非常重要，能让读者一眼看出曲线的位置关系。grid(True, alpha=0.4)开启网格线，alpha降透明度，网格不至于喧宾夺主。dpi=200保证保存出来的图片清晰不糊，直接用plt.show()在屏幕上显示时dpi不起作用，但保存文件时就关键了。

2.3 中文字体问题，最坑的新手关

这一步几乎每个用matplotlib画中文的人都会踩，画出来的标题和标签全是方块。原因是matplotlib默认字体库不包含中文字符。两个解决方案：

方案一，直接指定支持中文的字体。Windows系统一般有SimHei或Microsoft YaHei，macOS有PingFang SC：

plt.rcParams['font.sans-serif'] = ['SimHei'] plt.rcParams['axes.unicode_minus'] = False

第二行很重要，它解决的是负号显示成方块的问题。如果上面这行代码不起作用，可以用方案二：查看系统当前有哪些可用字体，手动选择一个支持的。

import matplotlib.font_manager as fm fonts = [f.name for f in fm.fontManager.ttflist if 'Hei' in f.name or 'YaHei' in f.name] print(fonts)

把查出来的字体名填进rcParams就行。这一步做完，标题就能正常显示中文了。

2.4 图像保存和展示要注意的细节

plt.show()和plt.savefig()有个顺序坑。如果先调用plt.show()再调用plt.savefig()，保存出来的图片可能是一张空白图，或者内容和展示出来的不一样。原因是show()执行后会将画布重置。正确做法是先savefig()再show()，或者干脆只要保存不要show。

另外建议在脚本开头加一行：

import matplotlib matplotlib.use('Agg')

这行代码的作用是在没有图形界面的环境下（比如远程服务器）也能正常保存图片，不会报no display的错误。本地电脑上跑不写这行也没事，写上能提高脚本的容错性。不过用了Agg模式后plt.show()就不会弹窗显示了，所以本地调试时我一般不写，等部署到服务器再注释回来。

3. 任务二：爬取某电影50条短评的完整流程

3.1 选目标网站和分析页面结构的思路

爬虫任务的第一步不是写代码，而是选目标和分析页面。题目只说了“某电影”，我以猫眼电影为例演示完整流程，原因有三个：页面结构相对规整，短评数据直接渲染在HTML里不需要额外处理接口，请求门槛低不容易误伤新手。

先打开猫眼电影任意一部电影的短评页面，按F12打开开发者工具，定位到第一条短评，右键“检查”看HTML结构。你会看到每条短评都在一个

爬虫的核心思路是：发送HTTP请求拿到HTML源码，再用解析库提取目标字段，循环翻页直到凑齐50条。整个过程不是魔法，就是模拟浏览器行为的自动化操作，但这句“模拟”是爬虫的灵魂——目标网站能检测出你是不是真人，所以在请求头里必须告诉服务器“我是一个正常的浏览器”。

3.2 requests请求头的完美伪造

requests库是Python最主流的HTTP请求库。直接用requests.get(url)大概率会被拒绝，因为服务器识别到请求头里的User-Agent是个Python脚本而不是浏览器。所以发送请求时必须带上完整的headers：

import requests headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36', 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8', 'Accept-Language': 'zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3', 'Connection': 'keep-alive', 'Referer': 'https://www.maoyan.com/' }

User-Agent必须设置成真实的浏览器标识，版本号别用太老或者太新的，网上搜“chrome user agent string”能拿到当前最新的。Referer字段标明了请求是从哪个页面跳过去的，很多网站校验这个字段，不填可能被拦截。这两项是反爬识别里最基础也最容易考的细节。

3.3 用BeautifulSoup解析短评数据

拿到HTML之后，用BeautifulSoup定位评论内容。核心是理解CSS选择器，父容器class为comment-item，每条短评的内容在里。

from bs4 import BeautifulSoup def parse_comments(html): soup = BeautifulSoup(html, 'lxml') comments = [] items = soup.select('.comment-item') for item in items: content_tag = item.select_one('.comment-content') if content_tag: text = content_tag.get_text(strip=True) comments.append(text) return comments

select('.comment-item')会返回页面上所有评论容器，配合select_one('.comment-content')在容器内定位评论正文。strip=True的作用是去掉文字前后的换行和空格，这个参数不写的话评论内容里会带一堆\n\t，清洗起来非常麻烦。

为什么选lxml解析器而不是Python自带的html.parser？lxml基于C语言实现，解析速度快了好几倍，而且容错能力强，遇到不规范的HTML标签也能正确解析。实际爬虫中目标网站页面代码不一定完全符合W3C标准，用lxml能少踩很多坑。

3.4 分页逻辑：50条评论怎么凑齐

猫眼短评页面是分页加载的，每页固定条数，翻页靠URL中的offset或者pageNum参数。找到第一个页面的URL，观察变化规律，然后构造循环请求。比如某一页URL是：

https://www.maoyan.com/xxxxx/comments?offset=0

第二页就把offset改成15，第三页改30。用一个循环就能把所有页面都爬一遍：

all_comments = [] for page in range(4): offset = page * 15 url = f'https://www.maoyan.com/xxxxx/comments?offset={offset}' html = fetch_page(url) comments = parse_comments(html) all_comments.extend(comments) if len(all_comments) >= 50: break time.sleep(1)

这里有个反爬意识：每次请求之间加time.sleep(1)，也就是延时1秒。不加延时直接连发请求，IP容易被封。页面抓得少可能没感觉，但一旦目标网站设置了访问频率检测，连续请求超过阈值就直接拒绝服务。基础频率控制是爬虫的基本职业素养，宁可爬慢一点，也别爬没了。

这里实际写的时候建议直接把真实的项目URL换成https://www.maoyan.com/films/XXXX这种占位写法，做实验时自己替换成目标电影的ID。50条评论也定位了爬4页就够，不需要爬全部短评。

3.5 去掉重复评论和异常数据

爬回来的数据不能直接入库，要做清洗。短评里经常出现三类问题：重复评论、过短或无意义的符号评论、首尾有空格。清洗代码：

def clean_comments(comments): seen = set() cleaned = [] for c in comments: text = c.strip() if len(text) < 2: continue if text in seen: continue seen.add(text) cleaned.append(text) return cleaned

用set来去重是Python里最典型的做法，set的查找时间复杂度是O(1)，列表是O(n)，数据量大了差距非常明显。过滤长度小于2的评论是为了去掉“。”这类无意义内容，长度阈值可以根据实际情况调整。

3.6 用csv模块保存结果，别用pandas

保存到本地这一步，新手第一反应可能是pandas，但这里我建议用csv模块。原因有两个：csv是标准库不需要额外安装，而且如果之前环境没装pandas，为了保存50条评论去装一个几百MB的库不值得。写入代码：

import csv def save_to_csv(comments, filename='comments.csv'): with open(filename, 'w', newline='', encoding='utf-8-sig') as f: writer = csv.writer(f) writer.writerow(['序号', '短评内容']) for i, text in enumerate(comments, 1): writer.writerow([i, text])

编码格式必须用utf-8-sig而不是utf-8。utf-8-sig会在文件开头写入一个BOM头，用Excel打开CSV时中文才不会乱码。这是Python写CSV文件最经典的一个坑，我见过太多人用utf-8保存完用Excel打开全乱码，其实是编码选错了。

4. 常见问题与排查技巧实录

4.1 问题速查表

实际操作中会遇到一堆问题，我把最常见的整理成了一张表，按出现的频率排序：

4.2 爬取结果为空？先检查这三处

很多新手写完爬虫，运行没报错，但评论列表是空的。这时候按顺序排查：第一，打开浏览器直接访问目标URL，看能否正常打开，如果浏览器都打不开那就不是代码的问题；第二，在代码里print(html[:500])，打印返回的HTML前500个字符，看返回的到底是页面内容还是错误提示；第三，确认选择器和页面实际结构一致，因为页面随时可能改版，div的class名变了代码就失效了。

这种逐层排查的方法在调试里叫“分而治之”，把问题拆成请求、解析、存储三段，每段单独验证。新手容易犯的错误是看到结果不对就直接改代码，越改越乱，不如老老实实打印中间变量。

4.3 反爬机制和应对策略的选择

现在的网站反爬意识越来越强，基础的User-Agent伪装已经不够用了。遇到被拦截的情况，有三个递进的应对方案：

第一，增加请求头字段，包括Accept、Accept-Language、Connection、Referer，最大程度模拟真实浏览器环境。第二，控制爬取频率，每两次请求间隔2到3秒，用time.sleep(random.uniform(2, 3))制造随机延时，比固定的1秒更接近真人操作。第三，使用session保持会话连接，requests.Session()会自动保存cookies，在需要维持登录状态的场景下很有用。

但我想强调一个边界意识：爬虫技术用于学习、个人研究和正当的数据分析没问题，但大规模请求目标网站、抓取用户隐私信息、或者爬下来的数据用于商业目的，都有合规风险。这篇教程的定位是技术入门，数据量控制在50条，用途限定在学习练习。真实项目里如果需要大量数据，优先看目标网站有没有官方开放接口。

4.4 代码报错时的心态和调试技巧

新手写爬虫最容易崩溃的时刻就是报错。我的建议是：把报错信息当作线索而不是惩罚。Python的报错信息已经精确到了行号，比如ModuleNotFoundError: No module named 'requests'，就是告诉你缺包，pip install requests就完事了。AttributeError: 'NoneType' object has no attribute 'get_text'，说明select_one没找到元素，返回了None，重点去查页面结构和选择器。

调代码的时候，在关键节点加print()是最高效的方式，比用任何调试器都直观。请求完打印状态码，解析完打印评论数量，清洗完打印去重前后对比，每一步的输入输出都清楚了，问题出在哪一层一目了然。

5. 从两个任务到一套实战技能

5.1 把任务串联起来：短评数据+可视化分析

两个任务分开做完只是热身，把数据从爬虫流向可视化，才算真正体验了一把数据流程。爬下来的50条短评，大部分人只会在CSV里扫两眼，但如果在后面的段落加一个统计词频并绘图的功能，价值会完全不同。

比如把评论按长度、情感倾向分类，统计正面和负面比例，然后画出柱状图。或者用matplotlib画一个评论长度的直方图，用plt.hist()一行代码就能实现：

lens = [len(c) for c in all_comments] plt.hist(lens, bins=20, edgecolor='black') plt.title('短评长度分布') plt.xlabel('评论字数') plt.ylabel('评论数量') plt.savefig('comment_length_hist.png', dpi=200)

这一段代码把任务一学的matplotlib技能直接迁移到了任务二的数据可视化上，整个项目就形成了闭环：爬取数据、清洗数据、分析数据、展示数据。这个流程几乎雷同于真实工作里数据分析师每天做的事情。

5.2 项目扩展方向：更完整的电影短评分析流程

如果做完基础版还有余力，强烈建议在这个基础上做三个扩展。第一个扩展是评分字段采集，把每条短评对应的评分也爬下来，然后计算平均分和评分分布。第二个扩展是文本情感分析，用snownlp库跑一遍简单的情感分类，统计正负面评论比例。第三个扩展是词云可视化，把评论切成词频统计，生成词云图，能看到观众对一部电影关注的焦点到底是剧情、演技还是特效。

这三个扩展方向分别对应了爬虫进阶、自然语言处理入门、数据分析可视化三个方向，能从一套简单的两个任务出发，延伸出三条完全不同的学习路径。这也是我特别建议新手做项目要“一鱼多吃”的原因——别做完了就扔，改几行代码换个思路，学到的内容可以翻好几倍。

5.3 为什么说组合式项目才是入门正道

现在回想开头的题目，同时包括函数图像和短评爬取，确实不是偶然的。单独画图只会让你学会调库，单独爬虫只会让你学会请求和解析，但组合在一起，逼着你面对真实项目中必然出现的交叉问题，比如数据格式不一样怎么统一，爬到的数据怎么用来画图，代码报错到底属于网络问题还是数据处理问题。

我在带新人或者给朋友指点Python学习路径时，一直主张同一个观点：别沉迷于刷语法题，尽早做组合式的小项目。语法题是点，项目是面，只有把点连成面，那些零散的知识才会真正长在你身上。函数图像、文件读写、网络请求、数据解析、清洗存储，这些能力单拎出来都写在教科书里，但组合起来就是真实世界的缩影。

我的建议是拿这个项目练手时，每一段代码都亲手敲一遍，不要复制粘贴我的示例然后跑通就完事。试着改几个参数，把函数换成你自己想画的，换一部电影重新爬，把图表改成你喜欢的样子。只有踩过坑、排过错、改过代码，这些技术才会真正变成你自己的。