之前有分享过一些python爬取网站的不同方式，今天就重点来给大家介绍下使用这Python Requests爬虫如何进行数据的获取，这里我们就以求取关键词页面为学习目标。
首先需求是爬取搜狗首页的页面数据，在这个过程中我们会使用的一些爬虫技术，比如使用UA伪装请求页面数据。面对网站封IP的情况会在爬取过程中加上代理IP的使用。代理的选择比较这里直接使用的是由亿牛云提供的爬虫代理，相对传统的api获取方式要方便的多，使用也有示例可以参考，这里我们在实践中给大家展示下使用的方式。爬取搜狗页面数据的代码示例如下：

Plain Text

1

#! -*- encoding:utf-8 -*-

2

3

    import requests

4

    import random

5

6

    # 要访问的目标页面

7

    targetUrl = "https://123.sogou.com"

8

9

    # 要访问的目标HTTPS页面

10

    # targetUrl = "https://123.sogou.com"

11

12

    # 代理服务器(产品官网 www.16yun.cn)

13

    proxyHost = "t.16yun.cn"

14

    proxyPort = "31111"

15

16

    # 代理验证信息

17

    proxyUser = "16UXDXBJ"

18

    proxyPass = "098504 "

19

20

    proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {

21

        "host" : proxyHost,

22

        "port" : proxyPort,

23

        "user" : proxyUser,

24

        "pass" : proxyPass,

25

    }

26

27

    # 设置 http和https访问都是用HTTP代理

28

    proxies = {

29

        "http"  : proxyMeta,

30

        "https" : proxyMeta,

31

    }

32

33

34

    #  设置IP切换头

35

    tunnel = random.randint(1,10000)

36

    headers = {"Proxy-Tunnel": str(tunnel)}

37

38

39

40

    resp = requests.get(targetUrl, proxies=proxies, headers=headers)

41

42

    print resp.status_code

43

    print resp.text

若有收获，就点个赞吧