你怎么看“开放三胎政策”
三胎政策可是这两天微博上的热搜词呀!不少网友的朋友圈都被这个话题刷屏了吧?三胎的开放是为了解决我们国家老龄化严重的问题。不过看了很多的评论和观点大都是在吐槽这个政策,还有一大群人不理解现在很多人连一胎都不愿意生居然会想着放开三胎的。
今天我们就通过python分析下近几年中国的人口出生率,关于我国人口的数据来源,可以从“国家数据”网站中获取。这是一个由国家统计局提供的网站,里面有很多国家公开的数据信息!获取到数据之后,我们先将数据清洗,提取出我们需要的数据。但是在采集的的过程中,我们发现网站采取了防爬取技术,如果我们一直用同一个代理IP爬取这个网页,很有可能IP会被禁止访问网页,为了达到正常抓取信息的目的我们就需要挂代理,像我们比较懒的人可以试试动态转发模式的代理,例如我们现在采集国家数据使用的这家就比较好。
附上完整代码:
<?php // 要访问的目标页面 $url = "http://data.stats.gov.cn/"; $urls = "https://data.stats.gov.cn/"; // 代理服务器(产品官网 www.16yun.cn) define("PROXY_SERVER", "tcp://t.16yun.cn:31111"); // 代理身份信息 define("PROXY_USER", "16HLEITE"); define("PROXY_PASS", "859431"); $proxyAuth = base64_encode(PROXY_USER . ":" . PROXY_PASS); // 设置 Proxy tunnel $tunnel = rand(1,10000); $headers = implode("\r\n", [ "Proxy-Authorization: Basic {$proxyAuth}", "Proxy-Tunnel: ${tunnel}", ]); $sniServer = parse_url($urls, PHP_URL_HOST); $options = [ "http" => [ "proxy" => PROXY_SERVER, "header" => $headers, "method" => "GET", 'request_fulluri' => true, ], 'ssl' => array( 'SNI_enabled' => true, // Disable SNI for https over http proxies 'SNI_server_name' => $sniServer ) ]; print($url); $context = stream_context_create($options); $result = file_get_contents($url, false, $context); var_dump($result); // 访问 HTTPS 页面 print($urls); $context = stream_context_create($options); $result = file_get_contents($urls, false, $context); var_dump($result);?>
你怎么看“开放三胎政策”
xiaotaomi
会员积分:6520
三胎政策可是这两天微博上的热搜词呀!不少网友的朋友圈都被这个话题刷屏了吧?三胎的开放是为了解决我们国家老龄化严重的问题。不过看了很多的评论和观点大都是在吐槽这个政策,还有一大群人不理解现在很多人连一胎都不愿意生居然会想着放开三胎的。
今天我们就通过python分析下近几年中国的人口出生率,关于我国人口的数据来源,可以从“国家数据”网站中获取。这是一个由国家统计局提供的网站,里面有很多国家公开的数据信息!获取到数据之后,我们先将数据清洗,提取出我们需要的数据。但是在采集的的过程中,我们发现网站采取了防爬取技术,如果我们一直用同一个代理IP爬取这个网页,很有可能IP会被禁止访问网页,为了达到正常抓取信息的目的我们就需要挂代理,像我们比较懒的人可以试试动态转发模式的代理,例如我们现在采集国家数据使用的这家就比较好。
附上完整代码:
<?php // 要访问的目标页面 $url = "http://data.stats.gov.cn/"; $urls = "https://data.stats.gov.cn/"; // 代理服务器(产品官网 www.16yun.cn) define("PROXY_SERVER", "tcp://t.16yun.cn:31111"); // 代理身份信息 define("PROXY_USER", "16HLEITE"); define("PROXY_PASS", "859431"); $proxyAuth = base64_encode(PROXY_USER . ":" . PROXY_PASS); // 设置 Proxy tunnel $tunnel = rand(1,10000); $headers = implode("\r\n", [ "Proxy-Authorization: Basic {$proxyAuth}", "Proxy-Tunnel: ${tunnel}", ]); $sniServer = parse_url($urls, PHP_URL_HOST); $options = [ "http" => [ "proxy" => PROXY_SERVER, "header" => $headers, "method" => "GET", 'request_fulluri' => true, ], 'ssl' => array( 'SNI_enabled' => true, // Disable SNI for https over http proxies 'SNI_server_name' => $sniServer ) ]; print($url); $context = stream_context_create($options); $result = file_get_contents($url, false, $context); var_dump($result); // 访问 HTTPS 页面 print($urls); $context = stream_context_create($options); $result = file_get_contents($urls, false, $context); var_dump($result);?>
21-06-01 16:19
1002
0
回复
暂无评论