人工智能 | 旅游电商平台数据治理服务 - 数据采集篇

面对需求日益提高的庞大旅游人群，探索一个行之有效的监督监测体系，进行产业发展现状分析、产业导向分析、市场竞争分析、产业布局分析、产业与区域经济发展分析等方面的分析，成为旅游电商平台面临的一个现实且急迫的问题。

基于以上目标数据源以及可行性评估结果，最终确定采用爬虫方式（Python的Scrapy框架）对可行的数据源进行定时爬取。Scrapy 使用了Twisted(aiohttp)异步网络框架来处理网络通讯，可以加快下载速度，并且包含了各种中间件接口，可以灵活的完成各种需求。
采取可读性更强的XPath代替正则表达式。Xpath是XML Path的简介，基于XML树状结构，可以在整个树中寻找锁定目标节点。由于HTML文档本身就是一个标准的XML页面，因此我们可以使用XPath的语法来定位页面元素。 可同时在不同的URL上爬行。Scrapy可以并行的同时爬取多个页面。