Python爬虫实战：自动下载高清壁纸的脚本实现

写这个自动下载壁纸的脚本，最初纯属被逼出来的。我平时喜欢囤高清壁纸，可壁纸站翻半天找到一张对味的，点下载之前先给你弹两个广告，好不容易存下来，发现是带水印的缩略图，心态直接炸裂。后来我决定自己写个Python脚本，让程序替我搞定"翻页、定位图片、下载存盘"这套重复劳动。思路其实不复杂：用requests请求壁纸站页面，用BeautifulSoup解析出图片真实地址，再循环把图片存到本地文件夹。整个项目只依赖一个第三方库，不涉及框架，非常适合刚入门Python、想拿真实项目练手的朋友，也适合不想在下载壁纸上继续浪费生命的人。读完这篇，你能拿到一份完整可运行的脚本，并且知道每一步为什么要这么写。

1. 项目拆解：自动下载壁纸到底要解决什么问题

1.1 手动存图的真实痛点：不只是费时间

很多人觉得，下载壁纸嘛，点几张图能花多久？我一开始也这么想。可真当你按"列表页-详情页-原图-另存为"这个流程走一遍，就知道有多反人类了：壁纸站一页有几十个缩略图，点进详情页又要加载半天，右键保存下来的文件名还往往是乱码编号，存完根本不知道是哪张。

这个项目要解决的核心问题，就是把"人肉浏览"替换成"程序遍历"。你只需要给脚本一个列表页地址，它会自动找出这一页所有壁纸的详情链接，再逐个进入详情页提取原图地址，最后批量下载到本地。整个过程里，人只负责启动脚本和事后挑图。

往深一层看，这种需求本质上是网页抓取里最典型的"列表页 + 详情页"模型。搞懂这个模型，你之后再去写批量下载文档、备份商品信息、抓取数据报表，都是同一套逻辑迁移。所以别看它是个下载壁纸的小脚本，它是一节很实在的爬虫入门课。

1.2 为什么选Python：生态、成本、上限

用其他语言写这个脚本行不行？行，但没必要。我见过有人用Node.js写爬虫，也能跑，但代码量和对新手的友好度都差点意思。还有人想用shell脚本处理，可shell对HTML解析基本是残废，遇到稍微复杂的DOM结构就直接抓瞎。

Python在这个场景下的优势非常直白：生态成熟，requests处理HTTP请求，BeautifulSoup处理HTML解析，两个库加起来就是爬虫的"标准答案"。写起来不到一百行，可读性也高，代码放在那里半年后再看，还能一眼看懂。

另外说句实在话，Python这个选择的天花板很高。你今天用它写下载壁纸的脚本，明天想爬数据、做量化分析、写自动化测试，语言基础和库的使用习惯都能复用。热词里那些"Python量化交易策略代码""自动化脚本""接口脚本"之类的东西，底层能力都是从这里起步的。这门语言的投入产出比，是明显高于其他脚本方案的。

2. 动手前先搞懂：页面结构、请求伪装与数据提取

2.1 打开F12，先摸清壁纸站的HTML骨架

写任何爬虫脚本，第一件事不是写代码，是打开浏览器按F12，把目标网站的HTML结构看明白。这一步省不得。我见过太多人上来就写正则，写一半发现页面改版了，或者选错了标签，白忙活一个小时。

拿一个典型的壁纸站举例，它的列表页长这样：一个class为wallpaper-item的div，包裹着一个a标签和一个img标签，a标签的href指向详情页，img的src是缩略图。详情页里则是一个id为wallpaper的img标签，src才是原图地址，结构大概是这个样子：

<div class="wallpaper-item"> <a href="/detail/12345.html"> <img src="/thumb/12345.jpg" alt="壁纸标题"> </a> </div>

详情页里则是：

<img id="wallpaper" src="/uploads/2024/12345.jpg">

为什么要分列表页和详情页两步走？因为列表页上的图片大多数是压缩过的缩略图，直接拿下来当壁纸，放大全是马赛克。真正的高清原图藏在详情页里。所以脚本要做的事情是：先抓列表页里的详情链接，再进详情页找原图地址。这个"两步跳转"的逻辑，就是前面说的"列表页 + 详情页"模型。

用BeautifulSoup提取列表链接，对应代码非常短：

from bs4 import BeautifulSoup soup = BeautifulSoup(html, 'html.parser') items = soup.select('div.wallpaper-item a') links = [a['href'] for a in items]

这里要注意soup.select()用的是CSS选择器语法，如果你不熟悉CSS，也可以换成soup.find_all('a')再过滤。选择器只是个工具，关键是你要先搞明白页面结构再动手。

2.2 请求头伪装：让服务器以为你是真人

很多初学者写爬虫遇到的第一个拦路虎，是这个报错：403 Forbidden。页面在浏览器里打开得好好的，换成requests一请求就被拒。原因很简单，服务器知道你不是真人。

浏览器发起请求时，会带上User-Agent、Referer、Accept等一堆头信息。而requests默认的User-Agent是类似python-requests/2.31这样的字符串，服务器一看就知道是脚本在访问，直接拒绝。所以我们需要伪造一个浏览器的请求头，让服务器以为访问者是个普通用户：

headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36', 'Referer': 'https://example.com/' }

User-Agent是基础，Referer告诉服务器你从哪个页面跳转过来的。某些壁纸站对图片防盗链有检查，光有User-Agent还不够，Referer填对了才能拿到图。遇到403的时候，优先检查这两个字段，八成能解决。

2.3 BeautifulSoup和正则，怎么选更省心

提取图片地址，有两条常见路线：正则表达式和BeautifulSoup。我先说结论：能结构化解析，就别用正则硬抠。

正则的优势是轻量，Python标准库自带re模块，不需要装任何东西。但它的劣势也很明显：面对嵌套的HTML，正则写起来又长又脆，稍微改个属性顺序就可能匹配失败。我之前为了验证效果，用正则从同一段HTML里提取链接，写出来的模式串又臭又长，换了个页面结构直接崩。

BeautifulSoup则是把HTML解析成DOM树，你可以按标签、属性、CSS选择器去取内容，写出来的代码可读性强得多。同样是提取所有壁纸详情链接，BeautifulSoup的写法一眼就能看懂：

detail_links = [] for a in soup.select('div.wallpaper-item a'): href = a.get('href') if href: detail_links.append(href)

不过正则也不是完全没用。后面清洗文件名、截取URL参数这类纯字符串处理的活儿，用正则反而顺手。所以我的建议是：解析HTML用BeautifulSoup，清洗字符串用正则，各司其职。

3. 完整实操：从零写一个能自动下载壁纸的Python脚本

3.1 环境准备：Python、pip、依赖库，一步到位

开始写代码之前，先把环境收拾利索。你需要在电脑上装好Python 3.8以上版本，装好之后打开终端验证一下：

python --version

如果系统提示找不到python命令，可能是安装时没勾选"Add Python to PATH"。这个坑在很多新手电脑上经常出现，解决方法是重新运行安装包，把环境变量选项勾上，或者直接用完整路径调用Python。

接下来安装第三方库，requests和beautifulsoup4这两样就够了：

pip install requests beautifulsoup4

如果你在Windows上遇到pip无法将pip项识别为 cmdlet之类的报错，说明pip命令没进PATH。最简单的办法是改用模块方式运行：

python -m pip install requests beautifulsoup4

这个场景在搜索热词里出现频率特别高，所以单独提一句：python -m pip是pip命令失效时的通用后手，记牢它。

3.2 第一版脚本：先让列表页的壁纸地址全部露出来

写脚本我习惯用渐进式，先把最核心的链路跑通，再逐步加功能。第一版的目标只有一个：输入一个列表页地址，输出当前页所有壁纸详情链接。

import requests from bs4 import BeautifulSoup from urllib.parse import urljoin headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36', } def get_detail_urls(list_url): resp = requests.get(list_url, headers=headers, timeout=10) resp.encoding = 'utf-8' soup = BeautifulSoup(resp.text, 'html.parser') detail_urls = [] for a in soup.select('div.wallpaper-item a'): href = a.get('href') if href: detail_urls.append(urljoin(list_url, href)) return detail_urls list_url = 'https://example.com/wallpaper/list_1.html' urls = get_detail_urls(list_url) for url in urls: print(url)

这里有几个细节要解释一下。timeout=10是设置请求超时时间，防止某个请求卡死，整个脚本挂住不动。resp.encoding = 'utf-8'是手动指定页面编码，避免中文乱码。urljoin(list_url, href)则是把相对地址拼成完整的绝对地址，因为很多网站的链接写的是/detail/12345.html这种相对路径，不补充前缀的话，下一步请求就会失败。

跑完这个脚本，如果终端里刷出了一串详情页地址，说明第一步链路是通的。这时候再往下写，心里就有底了。

3.3 第二版脚本：翻页、去重、下载合并成一条龙

第一版只打印了链接，接下来把它升级成能真正下载图片的完整脚本。我的做法是增加两个函数：一个负责从详情页提取原图地址，一个负责下载图片并保存到本地。

import os import re import time import requests from bs4 import BeautifulSoup from urllib.parse import urljoin headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36', 'Referer': 'https://example.com/', } def get_detail_urls(list_url): resp = requests.get(list_url, headers=headers, timeout=10) resp.encoding = 'utf-8' soup = BeautifulSoup(resp.text, 'html.parser') detail_urls = [] for a in soup.select('div.wallpaper-item a'): href = a.get('href') if href: detail_urls.append(urljoin(list_url, href)) return detail_urls def get_image_url(detail_url): resp = requests.get(detail_url, headers=headers, timeout=10) resp.encoding = 'utf-8' soup = BeautifulSoup(resp.text, 'html.parser') img = soup.find('img', id='wallpaper') if not img: return None return urljoin(detail_url, img.get('src')) def download_image(img_url, save_folder): resp = requests.get(img_url, headers=headers, timeout=10, stream=True) if resp.status_code != 200: return False filename = img_url.split('/')[-1].split('?')[0] filename = re.sub(r'[\\/:*?"<>|]', '_', filename) save_path = os.path.join(save_folder, filename) with open(save_path, 'wb') as f: for chunk in resp.iter_content(chunk_size=8192): if chunk: f.write(chunk) return True save_folder = 'wallpapers' os.makedirs(save_folder, exist_ok=True) downloaded = set() for page in range(1, 6): list_url = f'https://example.com/wallpaper/list_{page}.html' detail_urls = get_detail_urls(list_url) print(f'第 {page} 页，找到 {len(detail_urls)} 个详情页') for detail_url in detail_urls: img_url = get_image_url(detail_url) if not img_url: continue filename = img_url.split('/')[-1].split('?')[0] if filename in downloaded: continue downloaded.add(filename) ok = download_image(img_url, save_folder) print(f'{"成功" if ok else "失败"} {filename}') time.sleep(1)

几个关键设计的用意，逐一说明。

stream=True加在下载图片的请求上，是让requests以流式方式返回内容。图片文件动辄几兆甚至几十兆，如果一次性用resp.content全部读入内存，壁纸数量一多，电脑内存容易被吃满。配合iter_content(chunk_size=8192)，每读8KB就往磁盘写一次，内存占用始终很低。这个写法在下载大文件时是标准姿势，也非常适合图片批量下载。

re.sub(r'[\\/:*?"<>|]', '_', filename)是清洗文件名。Windows下的文件名不允许包含\/:*?"<>|这些字符，而网站给图片起的文件名不一定规整，不处理直接保存，轻则报错，重则覆盖文件。这行正则看着不起眼，实际上能帮你避开大量磁盘写入报错。

downloaded这个集合是干去重用的。翻页遍历时，经常遇到同一个壁纸在不同分类里重复出现，或者分页顺序有交叉。不设置去重，就会重复下载白耗流量。集合的查找是O(1)复杂度，图片数量再大也不怕。

最后那个time.sleep(1)，是为了给目标网站留出请求间隔。很多人写爬虫喜欢把速度拉满，结果就是被服务器封IP。你一分钟请求几百次，服务器不封你封谁？一次请求睡一秒，下载几十张图不过多等一分钟，换来的是稳定不封禁，这笔账很划算。

4. 常见问题与排查技巧实录

4.1 高频报错速查表：从403到乱码一次看完

我在实跑这个脚本的过程中，把最容易踩到的坑整理了张表，按"现象-原因-解法"的格式列出来。你在跟着做的时候碰到问题，直接来这里找答案。

最后一个问题多说两句。Windows的PowerShell对新手的"敌意"是出了名的，很多报错看起来吓人，实际只是环境变量没配对。遇到提示某个命令"无法被识别"，第一反应不要重装系统，先检查命令是否真的装好了、路径是否写对了，再用python -m这个万金油方式绕过去。

4.2 实测踩坑记录：这4个细节能帮你省一晚上调试时间

第一，相对路径必须用urljoin补全。我有一次偷懒，直接用提取出来的href请求，结果抛出一堆404。后来才发现网站的链接全是/detail/xxx.html这种相对路径，少了域名前缀，请求自然全打偏了。凡是拼接URL的地方，记得用urljoin(基准地址, 相对路径)。

第二，不要一上来就上多线程。有热词提到"脚本注入""全自动脚本"之类的东西，很多人也被带偏，觉得下载脚本必须写得高大上。实际上这个壁纸脚本用单线程完全够用。非得上并发，你会立刻感受到什么叫"反爬升级"：请求快一点，IP就被重点盯上。先跑通单线程，再加入请求间隔，稳定运行了再考虑优化，这才是正确顺序。

第三，下载失败要保证脚本能继续跑。图片请求偶尔会失败，原因可能是网络抖动、超时、服务器临时抽风。代码里要对下载函数做异常托管：失败的打印出来，不要中断整体流程。专业一点的写法是给download_image加上try/except，捕捉requests异常后返回False，日志记录下来，事后再统一重试。这个习惯在你写任何批量处理脚本时都受用。

第四，别忽略目标网站的访问条款。这算是个老生常谈，但确实重要。写自动化脚本去访问别人的服务器，本质上是在消费对方资源，控制频率、设置合理的延时、不拿脚本去撞接口，都是最基本的网络礼仪。很多"脚本跑着跑着被封了"的求助帖，复盘下来大多是对目标服务器的访问压力太大。把代码写好之外，学会做一个让人舒服的访客，也是爬虫技术的一部分。

最后说点我个人的体会。这个脚本我后来又改了几版，给里面加了多线程下载、断点续传、按分辨率过滤，功能是越来越像样了，但回头看，最值钱的反而是最朴素的那些基础函数：先理解页面结构，用requests拿到数据，再靠BeautifulSoup把内容抽出来。这套思路放到任何抓取需求上都一样。还有一个建议是，遇到报错先别急着抄代码，花几分钟把报错信息读明白，这个过程里学到的东西，比脚本本身更值钱。