V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
chenqh
V2EX  ›  Python

今天才知道 gevent 不支持 requests 库

  •  
  •   chenqh · 2017-03-31 17:53:34 +08:00 · 7098 次点击
    这是一个创建于 2798 天前的主题,其中的信息可能已经有所发展或是发生改变。

    此该我的心情只能用 。。。。

    第 1 条附言  ·  2017-04-01 11:35:07 +08:00
    当然你们可能不信,那么我就举个例子吧,用 gevent 调用 requests 并行访问谷歌,设置超时为 1S ,如果是 10 个并 行
    ,你们觉得时间应该是多少?
    第 2 条附言  ·  2017-04-01 17:21:29 +08:00
    我的锅。。
    是我不应该 tornado+request+gevent
    tornado 就应该用 AsyncHTTPClient
    19 条回复    2017-04-12 19:05:59 +08:00
    crytis
        1
    crytis  
       2017-03-31 18:03:09 +08:00 via iPhone
    真的吗
    4ever911
        2
    4ever911  
       2017-03-31 18:06:05 +08:00
    谁说不支持? 我用的好好的。。
    4ever911
        3
    4ever911  
       2017-03-31 18:08:40 +08:00   ❤️ 1
    你们这些年轻人不要总想搞个大新闻
    hippoboy
        4
    hippoboy  
       2017-03-31 18:17:28 +08:00
    好象是的?
    tonghuashuai
        5
    tonghuashuai  
       2017-03-31 18:23:29 +08:00
    那我用的是假的 gevent 的吗?
    eclipselu
        6
    eclipselu  
       2017-03-31 18:24:56 +08:00   ❤️ 1
    fuxkcsdn
        7
    fuxkcsdn  
       2017-03-31 20:58:02 +08:00
    6 楼+1
    tumbzzc
        8
    tumbzzc  
       2017-03-31 23:18:44 +08:00 via Android
    grequests
    chenqh
        9
    chenqh  
    OP
       2017-04-01 00:44:19 +08:00 via iPhone
    @4ever911 你看下到底有没有省时间
    AgentK
        10
    AgentK  
       2017-04-01 02:18:48 +08:00
    @chenqh 亲测节省了
    4ever911
        11
    4ever911  
       2017-04-01 02:20:59 +08:00
    @chenqh 兄臺,你肯定是使用不對。 3000 多 URL ,我 10 來秒就搞定了,下載保存的文件有接近 100MB ,你說省時間沒有。

    你打開方式不對啊。。。另外,注意複用 session 也能省不少時間。
    4ever911
        12
    4ever911  
       2017-04-01 02:22:47 +08:00
    關鍵字 session , adapter , Pool , monkeypatch
    AgentK
        13
    AgentK  
       2017-04-01 02:53:20 +08:00
    @4ever911 adapter/adaptor 是啥?
    chenqh
        14
    chenqh  
    OP
       2017-04-01 08:03:46 +08:00 via iPhone
    @4ever911 你代码怎么写的?
    neoblackcap
        15
    neoblackcap  
       2017-04-01 15:27:01 +08:00   ❤️ 1
    访问 google ?我司应该几十毫秒吧。
    不要总想着在愚人节搞个大新闻,你不 monkeypatch 又有多少程序能支持 gevent 啊。楼主你啊, too youny too simple, sometime naive 。还是要学习一个的。
    chenqh
        16
    chenqh  
    OP
       2017-04-01 15:47:59 +08:00
    @neoblackcap 我説的是 gevent.joinall 啊,如果他能并发,你説有多少呢?
    neoblackcap
        17
    neoblackcap  
       2017-04-01 17:44:18 +08:00
    @chenqh gevent.joinall 只是等待所有请求啊?为什么就不能并发呢?搞不懂
    neoblackcap
        18
    neoblackcap  
       2017-04-01 17:45:08 +08:00
    不要整天搞个大新闻,问问题就应该将你的最小可重复执行环境给贴出来
    ElfenSterben
        19
    ElfenSterben  
       2017-04-12 19:05:59 +08:00
    gevent 不是协程库么????
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   998 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 21:18 · PVG 05:18 · LAX 13:18 · JFK 16:18
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.