V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
addenvex
V2EX  ›  酷工作

[上海] [米哈游] 爬虫工程师内推(急招)

  •  
  •   addenvex · 2021-06-08 10:28:33 +08:00 · 1662 次点击
    这是一个创建于 1024 天前的主题,其中的信息可能已经有所发展或是发生改变。
    岗位职责:
    1 、负责米哈游舆情系统、竞品分析等项目的数据爬取、解析、清洗、入库等日常工作;
    2 、维护好日常爬取脚本的正常运作与规则的有效性;
    3 、与大数据工程师对接,完成实时数据与离线数据的爬取与入库;
    4 、持续优化系统提高系统的稳定性。

    岗位要求:
    1 、2 年及以上爬虫、反爬虫研发经验;
    2 、精通 python 开发,熟悉使用 scrapy 、selenuim 等常用开源爬虫框架;
    3 、熟悉 HTTP 协议、HTML 、DOM,并有一定的 JavaScript 能力;
    4 、熟练使用 Xpath 、正则表达式或 Beautiful Soup 任一种解析框架;
    5 、熟练使用 splash 、浏览器内核等工具解析动态页面;
    6 、熟悉多线程、网络编程以及分布式爬虫架构开发场景;
    7 、熟悉使用 Redis 和任意一种常见的分布式消息队列;
    8 、熟练使用模拟登陆、UA 池、动态代理、IP 池等常规伪装手段;
    9 、熟悉常规反爬虫手段以及常见的解决方案,有一定的逆向工程能力;
    10 、有过爬取主流社区网站经验;
    11 、熟悉解决去重、分类、垃圾过滤等问题更佳;
    12 、熟练使用 Mysql,熟悉 Nosql 数据库等,有大数据开发相关经验更佳;
    13 、本科或以上学历,计算机相关专业。


    联系微信 base64: enk0NjAxNjAyMzE=
    RLinux
        1
    RLinux  
       2021-06-08 10:35:49 +08:00
    现在都这么直接的吗~~
    paopjian
        2
    paopjian  
       2021-06-08 10:36:55 +08:00
    这是友商还是故意自黑的?这么直接
    chenxiansheng
        3
    chenxiansheng  
       2021-06-08 10:58:50 +08:00
    这种是不是经常换,出事了背锅....
    luoqeng
        4
    luoqeng  
       2021-06-08 11:39:40 +08:00
    出了事就是临时工干的
    feiniu
        5
    feiniu  
       2021-06-08 13:02:42 +08:00
    薪资都没?
    addenvex
        6
    addenvex  
    OP
       2021-06-09 21:08:00 +08:00
    @feiniu 加微信、私聊
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3082 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 12:44 · PVG 20:44 · LAX 05:44 · JFK 08:44
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.