自从疫情彻底放开后，各行各业都有了复苏的迹象，新政策对旅行消费的影响迅速显现。马上临近元旦和春节，多个疫情前大热的出境目的地，在2023兔年春节时段的搜索热度开始显著增长。携程全平台显示国际机票瞬时搜索量增长850%；签证搜索量瞬时增长10倍，途牛旅游网出境游等相关搜索热度同样大涨，搜索量最高的出境航班热门目的地主要有曼谷、东京、首尔、洛杉矶和新加坡等周边小众国家。
出国游和国内游还是有点不同的，所以在出游前建议大家都先做好攻略。这里小编利用python爬虫技术做了一份国外热点国外城市的旅游攻略数据，希望可以对有需要的小伙伴有帮助。这里推荐一个我个人比较喜欢的旅游网站蚂蜂窝，可以通过爬取网友的出游分享来制定一份出游攻略。第一步当然是爬取网站数据啦。爬取思路是爬取索引页中每一个行程的发起人和详情页url，之后进入详情页抓取出发时间、目的地、著名景点，闭坑指南等况等数据，每个行程的索引页数据和详情页数据合并后作为该行程的完整数据进行存储。
爬取前先进行了网站反爬分析，反爬机制还好，重点是对IP的限制比较严，所以直接在爬虫程序里面加上代理IP即可。代理的这里就选择之前项目一直使用的亿牛云隧道代理，因为我使用的是C Sharp，所以示例也是C Sharp爬取详细过程，有需要其他语言示例demo的可以私信我或直接搜索亿牛云获取资料。片爬取实现过程如下：Plain Text

复制代码

// 要访问的目标页面

string targetUrl = "http://httpbin.org/ip";

// 代理服务器(产品官网 www.16yun.cn)

string proxyHost = "http://t.16yun.cn";

string proxyPort = "31111";

// 代理验证信息

string proxyUser = "username";

string proxyPass = "password";

// 设置代理服务器

WebProxy proxy = new WebProxy(string.Format("{0}:{1}", proxyHost, proxyPort), true);

ServicePointManager.Expect100Continue = false;

var request = WebRequest.Create(targetUrl) as HttpWebRequest;

request.AllowAutoRedirect = true;

request.KeepAlive = true;

request.Method    = "GET";

request.Proxy     = proxy;

//request.Proxy.Credentials = CredentialCache.DefaultCredentials;

request.Proxy.Credentials = new System.Net.NetworkCredential(proxyUser, proxyPass);

// 设置Proxy Tunnel

// Random ran=new Random();

// int tunnel =ran.Next(1,10000);

// request.Headers.Add("Proxy-Tunnel", String.valueOf(tunnel));

//request.Timeout = 20000;

//request.ServicePoint.ConnectionLimit = 512;

//request.UserAgent = "Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.82 Safari/537.36";

//request.Headers.Add("Cache-Control", "max-age=0");

//request.Headers.Add("DNT", "1");

//String encoded = System.Convert.ToBase64String(System.Text.Encoding.GetEncoding("ISO-8859-1").GetBytes(proxyUser + ":" + proxyPass));

//request.Headers.Add("Proxy-Authorization", "Basic " + encoded);

using (var response = request.GetResponse() as HttpWebResponse)

using (var sr = new StreamReader(response.GetResponseStream(), Encoding.UTF8))

{

string htmlStr = sr.ReadToEnd();

}

若有收获，就点个赞吧