做工业数据采集这几年，见过太多新手刚入门的时候，写个for循环就对着目标站点猛发请求，跑不了十几页要么返回403，要么IP直接被临时封禁，换个浏览器打开页面又一切正常，死活找不到问题出在哪。
其实绝大多数网站的反爬体系都是分层部署的，基础防护手段覆盖了80%以上的场景。很多时候你觉得反爬深不可测，只是没摸清楚对方用了哪层机制，踩了最基础的坑而已。
今天整理了行业内最通用的5种反爬手段，从入门级到进阶层，每一种都讲清楚识别特征、破解思路和可直接复用的代码方案，新手可以对照着一步步排查问题。
一、IP访问速率限制：新手最容易踩的第一个坑
这是所有网站的标配防护，没有之一。原理很简单：服务端统计单个IP在单位时间内的请求次数，超过设定阈值就直接拒绝请求，或者弹出验证码，封禁时长从几分钟到24小时不等。
识别特征：
- 前几十次请求都正常，突然批量返回403或429状态码
- 切换手机热点或者等待半小时之后，请求又恢复正常
- 同一个网络下，浏览器访问站点也会出现受限情况
破解思路：
分两种场景对应处理：
- 小批量、低频率采集：控制请求间隔，加入随机延时，模拟真人浏览的节奏，切忌匀速发送请求。
- 大批量、高频率采集：对接代理IP池，每次请求轮换出口IP，
