V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
qwertty01
V2EX  ›  问与答

Twitter 反爬措施很牛逼啊,有没有大佬指点一下?

  •  1
     
  •   qwertty01 · 2018-10-10 14:04:52 +08:00 · 4692 次点击
    这是一个创建于 2262 天前的主题,其中的信息可能已经有所发展或是发生改变。

    主要是想获取某个推主的全部推文。

    如果只爬推文限制几百条的样子。

    爬推文和回复没有限制,但是爬虫很容易被检测出来,该设置的都设置了 UA,header,cookie

    有没有大佬指点一下?

    比如这个 https://twitter.com/i/profiles/show/realDonaldTrump/timeline/with_replies?include_available_features=1&include_entities=1&max_position=1049635559000469504&reset_error_state=false

    2 条回复    2018-10-10 15:03:26 +08:00
    whileFalse
        1
    whileFalse  
       2018-10-10 14:40:45 +08:00
    twitter 有 api 啊。
    qwertty01
        2
    qwertty01  
    OP
       2018-10-10 15:03:26 +08:00
    @whileFalse twitter api 有限制啊 获取历史推文是企业级的 api
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3340 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 11:37 · PVG 19:37 · LAX 03:37 · JFK 06:37
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.