最近接了一个单子,采集高德地图数据,作为一个刚进入爬虫圈不久的我来说能接到单子还是很激动的。这里分享下我的小白接单晋级之关于爬虫的随机数。
进行数据采集的时候我按照正常的流程进行的,首先是去买代理,这里就遇到一个小问题。我网上找了一家代理买的时候没有注意买成了动态转发,一开始不会用。还有有示例参考。不知道大家有没有使用动态转发这样的代理模式。配置了代理在运行的时候我发现他们提供的示例里面还有随机数的设置,
开始的时候我觉得这个头很奇怪,会不会影响到我带cookie访问。带着疑问又去学了些知识。原来用户自主切换IP,爬虫程序可以通过设置HTTP头Proxy-Tunnel: 随机数
,将不同的请求强制指定为一个代理IP或不同代理IP;该模式适合一些需要登陆(多个session使用相同IP)、Cookie缓存处理等需要精确控制IP切换时机的业务。每个HTTP请求自动切换,是指爬虫代理为爬虫程序发出的每个HTTP请求随机提供一个代理IP。该模式适合一些需要大量IP的单session爬虫业务。所以这个并不会影响我的cookie登陆。
在爬虫学习中会遇到各种各样的问题,要成为大神这些都是要一一解锁的,希望自己解锁的困难更多。