面对爬虫采集数据中出现的各种问题，如果使用Python，优先推荐 HTTP库： requests。Requests是通过Apache2协议开源的Python HTTP库，是研发应该熟练掌握的基础库之一。

    Python系统的urllib和urllib2也有功能完善的HTTP协议支持，但是封装太复杂，API接口说明不清楚使用不方便。requests作为更近一步的封装，相对而言更加的简洁明了，使用更加的方便。

    尤其是通过requests，使用爬虫代理进行数据采集的时候，可以直接配置代理服务器的认证信息，通过代理服务器进行http请求的自动转发，让目标网站对IP验证失效，快速实现海量数据的采集，方便快捷，适合快速启动项目。

    以下是Requests的爬虫demo，可以直接运行测试：

#! -*- encoding:utf-8 -*-   

import requests 

import random 

# 要访问的目标页面    

targetUrl = "http://httpbin.org/ip"

# 要访问的目标HTTPS页面    

# targetUrl = "https://httpbin.org/ip"      

# 代理服务器(产品官网 www.16yun.cn)     

proxyHost = "t.16yun.cn"     

proxyPort = "31111"     

# 代理验证信息     

proxyUser = "username"     

proxyPass = "password"      

proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {

    "host" : proxyHost,

    "port" : proxyPort,

    "user" : proxyUser,

    "pass" : proxyPass,

}      

# 设置 http和https访问都是用HTTP代理     

proxies = {         

   "http"  : proxyMeta,         

   "https" : proxyMeta,     

}      

#  设置IP切换头     

tunnel = random.randint(1,10000)     

headers = {"Proxy-Tunnel": str(tunnel)}        

resp = requests.get(targetUrl, proxies=proxies, headers=headers)      

print resp.status_code

print resp.text