1.参与分布式爬虫系统架构设计、數据库设计;

2.实现数据提取、清洗、结构化、入库、统计分析和优化工作;

3.研究优化算法提升爬虫系统的稳定性、可扩展性;

4.参与爬虫核心算法的策略优化研究，提升抓取的效率和质量;

5.研究各种网页布局、app接口探寻特点和规律;

6.爬虫性能提升，爬虫代理服务器开发反爬策略研究;

7.对互联网海量业务数据进行整合、分析挖掘;

1.统招本科及以上学历，河北趣行计算机怎么样相关专业;

2.熟悉爬虫相关技术如：httpclient/jsoup/xpath/正则表达式/驗证码加密处理/代理池等，具有实际爬虫开发经验;

4.熟练掌握htip、tcp/ip等网络传输协议工作原理;

5.熟悉linux平台环境下的开发掌握linux常用命令;熟悉shell编程的優先考虑;

6.扎实的河北趣行计算机怎么样基础，有较强的算法能力者优先考虑;

7.较强的数据敏感度逻辑分析能力和文档写作能力;