5分钟完成网站离线下载：WebSite-Downloader 帮你把整站完整存到本地-开发者社区

5分钟完成网站离线下载：WebSite-Downloader 帮你把整站完整存到本地

【免费下载链接】WebSite-DownloaderA website downloader written with Python项目地址: https://gitcode.com/gh_mirrors/web/WebSite-Downloader

上周出差，高铁穿过隧道，信号断了近两个小时。想查的资料早被我存进书签，可那家网站域名过期，内容已经下架。那一刻我才明白，像 WebSite-Downloader 这样的网站离线下载工具，才是书签真正的"保险柜"——内容在自己手里，断不断网都不慌。

它是什么：一个会替网站"搬家"的下载器

你可以把它想象成一位细心的搬家师傅：不光把整屋家具搬进新家，还会把每个抽屉上的标签重贴一遍，让你在新地方随手就能找到东西。WebSite-Downloader 就是干这个的——它爬下整站页面与资源，再把页面里互相引用的链接改写成本地相对路径，离线打开照样正常浏览。

它的底子很简单，三个要点就够：

纯 Python 标准库写成，单个文件，不装任何第三方依赖；
默认 8 线程并发抓取，自动识别 HTML、CSS、JS、图片、字体、文档等常见资源；
抓完自动改写链接，这是它最亮眼的本事：本地副本"自给自足"。

零基础起步：环境只需确认一件事

动手前只需确认电脑装了 Python 3.6 或更高版本。在终端输入python --version，能看到版本号就行。

为什么要这个版本？因为整个下载器只用了 Python 自带的标准库，不需要pip install任何东西。这也是它特别适合新手的底气——少一步依赖安装，就少一个出错的环节。

然后克隆项目到本地：

git clone https://gitcode.com/gh_mirrors/web/WebSite-Downloader cd WebSite-Downloader

首次下载：改两行代码，跑一条命令

打开目录里的 WebSite-Downloader.py，直接滚到文件最末尾，会看到两行入口代码：

manager = Manager('https://www.example.com') manager.start()

把第一行的网址换成你想下载的站点，保存，然后在终端运行：

python WebSite-Downloader.py

为什么改这里？因为程序就是把第一行的网址当作爬取起点，顺着页面里的链接一路"扫"下去；第二行则是真正启动的开关。换网址、跑命令，仅此而已，全程不用看其他代码。

下载期间终端会实时打印进度。等它收尾时，电脑会"嘀嘀嘀"连响十声提示音——这是作者特意留的小彩蛋，听到响声，基本就完事了。

验证结果：打开本地首页，断网也能看

下载完成后，工作目录下会多出一个以域名命名的文件夹，结构类似whsw-site/www.whsw.net/。进入最里层，双击index.html，用浏览器打开。

如果一切正常，你会看到和线上几乎一样的页面——图片、样式、跳转链接全都指向本地文件。这背后就是"链接重写"在起作用：原本指向线上的地址被改成了相对路径，所以关掉网络，页面依然完整可用。

进阶调优：两个小改动，更快也更全

提速：调大并发线程数。在 WebSite-Downloader.py 的第 88 行附近有一句for i in range(8)，8 就是默认并发线程数。把它改成 16，下载速度会明显提升。但要提醒一句：线程不是越大越好，开太多会给对方服务器造成压力，反而可能被限流甚至封 IP，自己常用的站点，10 到 16 就够了。

扩容：支持更多文件类型。Spider 类里维护了一个other_suffixes集合，里面列出了 js、png、pdf、mp4 等常见后缀。如果你需要下载别的格式，比如 webp、epub，往这个集合里加一个字符串即可，一行的事。

另外提一句排错入口：所有失败请求都会记在同目录的 log.log 文件里。下载中途卡住或漏了文件，先翻日志，比瞎猜高效得多。

现实用途：备份、演示、归档各取所需

定期备份：个人博客、企业官网这类自己说了算的站点，每月跑一次离线备份，服务器挂了、域名过期了，内容都还在手上。落地建议：挑流量低的时间段跑，别赶高峰期。
无网演示：客户现场、会场、高铁上，任何没网的环境，提前把演示站点下载好，打开本地首页就能开讲，比临时连热点稳得多。落地建议：出发前一天跑一次，顺便验证页面是否完整。
资料归档：把常看的教程、技术文档、API 手册按站点下载归档，整理成自己的本地知识库，配合本地搜索工具随时查阅。落地建议：按主题建文件夹分类存放，命名带上日期，方便追溯版本。

避坑速查：几个高频问题与对策

下载中途没反应了？先看 log.log，里面记录了每个失败链接和原因；超时类错误大多会自动重试，不必干预。
页面打开缺图缺样式？两种情况：页面内容由 JavaScript 动态生成，这类动态内容工具抓不到；或者站点引用了外部 CDN 资源，需要手动补充。下载前先确认目标站主要是静态内容。
中文乱码？工具已内置 utf-8、gb2312、gbk 多种编码的自动尝试，绝大多数中文站点能正常保存，遇到个别乱码页可单独处理。
下载超大媒体文件慢？代码对 mp4、pdf、zip 这类大文件会自动放宽超时到 600 秒，耐心等待即可。
磁盘空间不够？大型网站动辄几百兆。先下载一个内容少的子页面试试体量，再决定是否整站抓取。
下载会不会太重？尊重对方网站的 robots.txt，控制并发和频率，别把别人的服务器当成自己家。

这也顺带说到分寸：工具本身没有善恶，用在哪、怎么用，取决于你。个人学习、备份自有内容没有问题；商用、再分发他人作品前，务必确认授权与版权边界。