绝大多数人都了解,在应用网络爬虫数次抓取同一网址时,常常会被网址的IP反爬虫体制给禁掉,为了更好地处理禁封IP的难题一般 会应用代理IP

但也是有一部分人到PPTP代理IP的应用上存有着误会,她们觉得应用了代理IP就能处理一切难题,殊不知事实上代理IP并不是全能的,它仅仅一个专用工具,假如错误操作,一样会封号IP。



代理IP分三种种类:透明代理、匿名代理、高匿名代理。


透明代理(Transparent),另一方网络服务器了解你应用了代理ip,也了解你的真正IP。


匿名代理(Anonymous),另一方网络服务器了解你应用了代理ip,但不清楚你的真正IP。


高匿名代理(High),另一方网络服务器不清楚你应用了代理ip,也不知道你的真正IP。


透明代理和匿名代理会被总体目标网址获知应用了代理IP,当然会受限制,高匿名代理商则不容易,因此 在挑选代理IP的情况下,要留意这一点。


应用一个代理IP抓取总体目标网址,封号IP的要素过多,例如cookie,例如UserAgent这些,当做到了阀值后,IP便会封号;当浏览总体目标网址的頻率过快时,IP也会封号,由于人们一切正常浏览远远地达不上哪个頻率,当然会被总体目标网址的反爬虫对策鉴别。


仅有尽可能地仿真模拟真正客户一切正常浏览,才可以较大 水平地防止封号IP。