python爬虫爬取数据的过程很简单，只要几行代码就可以实现，但并不是所有的网站都希望能够被爬虫所访问。那么基于这个需求就出现各种各样的反爬技术和措施，今天我们就介绍几个比较常用的反爬技术给大家提供参考，往下看看吧。

1、验证码

验证码是最为基础也是最难的一个反爬技术，简单的验证码就是只需要输入正确的图片字符就可以通过验证。但是现在流行的验证码都是滑动滑块、拼图、数字计算等这些验证方法，这就提高了爬虫的难度。

2、cookie验证

cookie是一个保存在浏览器里面特殊文件，它会不会随着浏览器的关闭而消失掉，而是有一个时间限制会自动的删除。而这个反爬技术的原理就是在爬虫第一次访问网站的时候就去生成一个唯一的cookie值，当爬虫第三次访问是如果cookie值是不存在的话就表示是爬虫在工作。因为爬虫是模拟正常访问，但是ip地址不会变。

3、ip限制

大多数的爬虫程序在爬取数据的过程中访问速度非常快并且很频繁，所以有些网站会去根据访问的ip频率判断它是否为爬虫，如果频率过高就禁止访问。因为需要在爬取的过程中添加代理IP，这里推荐亿牛云代理，海量IP池，专业的技术支持和售后服务，有需要的小伙伴可以去官网详细咨询www.16yun.cn