[爱奇艺]高薪招聘分布式爬虫架构师

[kenwell]

• 爱奇艺福利： 14 薪、 12 天年假，超一流的行政团队，日常活动多多
• 团队介绍：我们是一个信仰技术的团队，在这里，我们用技术说话，相信技术改变生活。目前团队负责全网视频、全网娱乐、资讯等新闻内容的抓取、分析和处理，是视频* * 行业最成功的爬虫之一，目前支撑的数据量是 YouTube 的一半左右，大大超过中国同类网站，我们热衷于吸纳流行的技术如 docker 、 grails 、 hbase ，通过技术革命提高生产力。

薪资： 30k+，能力优秀者不受限

工作职责：

• 负责爱奇艺分布式爬虫设计和开发， 跨机房分布式系统的调度和通信
• 负责网页数据抽取、数据清洗和数据挖掘
• 核心调度算法的开发和研究，最大效率提高爬虫下载速度，通过算法方式进行智能抓取
• 破解主流网站和 app 的反爬机制

职位要求：

• 熟练掌握 JAVA 开发，熟悉分布式应用开发原理，熟练掌握多线程开发
• 掌握常用的数据如 redis 、 hbase 、 mongodb 等
• 熟悉常用的 mq
• 熟练掌握 http 协议，以及 NIO ， apache http client
• 了解网站开发、 HTML 、 css 、 js 以及 ajax ，都熟悉加分
• 有反爬机制研发经验加分，有破解主流网站抓取接口经验加分
• 以上框架深入原理加分
• 喜欢技术，喜欢对技术有最求，喜欢成为牛掰的架构师的加加分

工作地点：北京
联系方式： shuaiweiliang#qiyi.com