本人多年从事数据采集相关工作,具备以下技术能力: 1、掌握多线程并发编程核心原理,具备开发高性能高并发程序能力; 2、掌握主流爬取技术及爬虫框架工具,如Selenium/Puppeteer/Scrapy/PhantomJS等; 3、掌握反爬虫突破原理,如封账号、封IP采集等问题,解决网页抓取、信息抽取等问题; 4、掌握html,xpath、正则等解析器,具备处理页面结构化和非结构化抽取技术; 5、掌握JavaScript反爬特征,具备突破JavaScript算法和高度混淆能力; 6、掌握瑞数、加速乐、极验、易盾等风控产品处理; 7、掌握千万数据采集架构设计与项目实战经验;