你抢到鸿星尔克了吗?
在官宣向河南灾区捐赠5000万物资之后被网友偶然间发现的这家国货品牌,鸿星尔克一夜之间受到了万千网友的“宠爱”。所以鸿星尔克这两天真的不要太火,不管是在直播间还是在线下实体店,大家都在进行疯狂抢购。尤其是直播间的各种神评论简直成了最近最大的快乐源泉。虽然鸿星尔克的董事长都亲自发声,呼吁大家理性消费,不要野性消费,但还是阻挡不住大家的热情,人人都在买,仓库爆仓,东西断货。只能说明民族品牌爱国,那么肯定会得国民的善待的和支持的。
这里我们来了解下没有爆火前鸿星尔克的销量,我们通过淘宝获取数据,这样可以更直观的让大家看到这个对比。关于淘宝网站,作为爬虫工作者来说是有一定难度的,淘宝的反爬不是一般的严,在访问前我们的准备工作,随机ua,cookie,优质代理是一样都不能少的。接下来我们来具体的分享下采集的示例
// 要访问的目标页面 string targetUrl = "https://www.taobao.com/"; // 代理服务器(产品官网 www.16yun.cn) string proxyHost = "http://t.16yun.cn"; string proxyPort = "31111"; // 代理验证信息 string proxyUser = "16GSJXAJ"; string proxyPass = "499997"; // 设置代理服务器 WebProxy proxy = new WebProxy(string.Format("{0}:{1}", proxyHost, proxyPort), true); ServicePointManager.Expect100Continue = false; var request = WebRequest.Create(targetUrl) as HttpWebRequest; request.AllowAutoRedirect = true; request.KeepAlive = true; request.Method = "GET"; request.Proxy = proxy; //request.Proxy.Credentials = CredentialCache.DefaultCredentials; request.Proxy.Credentials = new System.Net.NetworkCredential(proxyUser, proxyPass); // 设置Proxy Tunnel // Random ran=new Random(); // int tunnel =ran.Next(1,10000); // request.Headers.Add("Proxy-Tunnel", String.valueOf(tunnel)); //request.Timeout = 20000; //request.ServicePoint.ConnectionLimit = 512; //request.UserAgent = "Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.82 Safari/537.36"; //request.Headers.Add("Cache-Control", "max-age=0"); //request.Headers.Add("DNT", "1"); //String encoded = System.Convert.ToBase64String(System.Text.Encoding.GetEncoding("ISO-8859-1").GetBytes(proxyUser + ":" + proxyPass)); //request.Headers.Add("Proxy-Authorization", "Basic " + encoded); using (var response = request.GetResponse() as HttpWebResponse) using (var sr = new StreamReader(response.GetResponseStream(), Encoding.UTF8)) { string htmlStr = sr.ReadToEnd(); }
获取了数据以后还需要进行分析,这里我们就先不分享了,下次继续分析数据。不说了小编也要去抢鸿星尔克了,哈哈哈!
你抢到鸿星尔克了吗?
xiaotaomi
会员积分:6520
在官宣向河南灾区捐赠5000万物资之后被网友偶然间发现的这家国货品牌,鸿星尔克一夜之间受到了万千网友的“宠爱”。所以鸿星尔克这两天真的不要太火,不管是在直播间还是在线下实体店,大家都在进行疯狂抢购。尤其是直播间的各种神评论简直成了最近最大的快乐源泉。虽然鸿星尔克的董事长都亲自发声,呼吁大家理性消费,不要野性消费,但还是阻挡不住大家的热情,人人都在买,仓库爆仓,东西断货。只能说明民族品牌爱国,那么肯定会得国民的善待的和支持的。
这里我们来了解下没有爆火前鸿星尔克的销量,我们通过淘宝获取数据,这样可以更直观的让大家看到这个对比。关于淘宝网站,作为爬虫工作者来说是有一定难度的,淘宝的反爬不是一般的严,在访问前我们的准备工作,随机ua,cookie,优质代理是一样都不能少的。接下来我们来具体的分享下采集的示例
// 要访问的目标页面 string targetUrl = "https://www.taobao.com/"; // 代理服务器(产品官网 www.16yun.cn) string proxyHost = "http://t.16yun.cn"; string proxyPort = "31111"; // 代理验证信息 string proxyUser = "16GSJXAJ"; string proxyPass = "499997"; // 设置代理服务器 WebProxy proxy = new WebProxy(string.Format("{0}:{1}", proxyHost, proxyPort), true); ServicePointManager.Expect100Continue = false; var request = WebRequest.Create(targetUrl) as HttpWebRequest; request.AllowAutoRedirect = true; request.KeepAlive = true; request.Method = "GET"; request.Proxy = proxy; //request.Proxy.Credentials = CredentialCache.DefaultCredentials; request.Proxy.Credentials = new System.Net.NetworkCredential(proxyUser, proxyPass); // 设置Proxy Tunnel // Random ran=new Random(); // int tunnel =ran.Next(1,10000); // request.Headers.Add("Proxy-Tunnel", String.valueOf(tunnel)); //request.Timeout = 20000; //request.ServicePoint.ConnectionLimit = 512; //request.UserAgent = "Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.82 Safari/537.36"; //request.Headers.Add("Cache-Control", "max-age=0"); //request.Headers.Add("DNT", "1"); //String encoded = System.Convert.ToBase64String(System.Text.Encoding.GetEncoding("ISO-8859-1").GetBytes(proxyUser + ":" + proxyPass)); //request.Headers.Add("Proxy-Authorization", "Basic " + encoded); using (var response = request.GetResponse() as HttpWebResponse) using (var sr = new StreamReader(response.GetResponseStream(), Encoding.UTF8)) { string htmlStr = sr.ReadToEnd(); }
获取了数据以后还需要进行分析,这里我们就先不分享了,下次继续分析数据。不说了小编也要去抢鸿星尔克了,哈哈哈!
21-07-27 16:24
1127
0
回复
暂无评论