现在这个时代，网络爬虫的价值就不多说了，Python 的便捷与强大有目共睹的，在这个数据泛滥、追求效率的时代，使用 Python 可以为我们创造相当多的便捷，Web 开发、桌面小工具开发、、大数据处理、图像处理、机器学习等等，能做到的事情实在太多。

对于大多数网站来说爬虫是有利的，而恶意的爬虫就适得其反了。正常来说我们想要获取某些网站数据应该通过他们的开放 API 进行合法授权访问，但是企业毕竟是企业，都是有所保留的开放 API 权限，所以有时候我们不得不使用暴力手段来洗劫有价值的数据，这也就是爬虫存在的一大价值。爬虫技术最核心的可能就是 HTTP 请求了，学会爬虫至少应该掌握 HTTP 的 POST 和 GET 请求方法，还有譬如通常至少要保证 User-Agent、Referer、Cookie 等的正确使用，还有一个重点就是代理IP的使用，封IP是很多网站最基本的反爬措施。代理的使用也不是很难，如果隧道代理的使用简单示例如下：

#! -*- encoding:utf-8 -*-

    import requests

    import random

    # 要访问的目标页面

    targetUrl = "http://httpbin.org/ip"

    # 要访问的目标HTTPS页面

    # targetUrl = "https://httpbin.org/ip"

    # 代理服务器(产品官网 www.16yun.cn)

    proxyHost = "t.16yun.cn"

    proxyPort = "31111"

    # 代理验证信息

    proxyUser = "username"

    proxyPass = "password"

    proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {

        "host" : proxyHost,

        "port" : proxyPort,

        "user" : proxyUser,

        "pass" : proxyPass,

    }

    # 设置 http和https访问都是用HTTP代理

    proxies = {

        "http"  : proxyMeta,

        "https" : proxyMeta,

    }

    #  设置IP切换头

    tunnel = random.randint(1,10000)

    headers = {"Proxy-Tunnel": str(tunnel)}

    resp = requests.get(targetUrl, proxies=proxies, headers=headers)

    print resp.status_code

    print resp.text

示例里面的代理由亿牛云提供，一家专业做爬虫代理IP的，对代理IP方面有需求的可以直接选择他们家试试，产品质量有保证，售后服务也是非常好的。