V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
wangtianshang
V2EX  ›  Python

如果一个程序需要进行大量的 IO 操作,应当使用并行还是并发?

  •  
  •   wangtianshang · Nov 4, 2018 via Android · 8173 views
    This topic created in 2733 days ago, the information mentioned may be changed or developed.
    36 replies    2018-11-06 20:00:45 +08:00
    HuHui
        1
    HuHui  
       Nov 4, 2018
    看具体业务
    wmhx
        2
    wmhx  
       Nov 4, 2018
    并行 /并发 有什么区别?
    lhx2008
        3
    lhx2008  
       Nov 4, 2018 via Android
    异步
    lean
        4
    lean  
       Nov 4, 2018 via Android
    @wmhx 并行:生产流水线
    并发:购物订单
    misaka19000
        5
    misaka19000  
       Nov 4, 2018
    并行还是并发不看 IO,要看计算量大不大
    WildCat
        6
    WildCat  
       Nov 4, 2018
    揭秘 iPhone 售后的灰色产业链,是什么让苹果每年损失十多亿美元
    https://zhuanlan.zhihu.com/p/46463952

    「据外媒 The Information 统计,苹果在 2013 年用于全球售后维修的预算为 16 亿美元,但最终花了 37 亿美元来维持业务运营,而中国市场的售后处理占了业务支出的大头。」
    WildCat
        7
    WildCat  
       Nov 4, 2018
    @WildCat 楼上发错了 抱歉!
    opengps
        8
    opengps  
       Nov 4, 2018
    并行 /并发 是不是这么理解:
    并行,多进程甚至多服务器
    并发,单进程多线程

    对于将来需要扩展的业务,显然必然选择多进程多服务器这种“分布式”,对于仅仅需要多几个线程充分用满当前 cpu,则并发多线程去运行
    mattx
        9
    mattx  
       Nov 4, 2018
    io 的瓶颈在于磁盘, 网卡等, 无法真正的并行, 即使调用上的并发量上去了, 效果也挺差的. 用异步的方式来解决, 降低消耗.
    leriou
        10
    leriou  
       Nov 4, 2018
    @wmhx 并行可类比为 2 个人同时去一台饮水机的两个出水口接水, 两个人一个要热水,一个要凉水, 并发类比两个人一起去都要热水
    zjsxwc
        11
    zjsxwc  
       Nov 4, 2018 via Android
    一张嘴同时说中午与英文是并行;说一句中午再说一句英文是并发。
    xmadi
        12
    xmadi  
       Nov 4, 2018 via iPhone
    这种咬文嚼字没有意义
    qhxin
        13
    qhxin  
       Nov 4, 2018
    erlang 解决烦劳
    likuku
        14
    likuku  
       Nov 4, 2018
    猜你实际上是想问密集 I/O 时 Python 用 多进程 or 多线程?

    假若是问这个,两个都行啊。CPU 密集,则只得用多进程。
    kekxv
        15
    kekxv  
       Nov 4, 2018 via Android
    应当用 redis 等玩意
    henglinli
        16
    henglinli  
       Nov 4, 2018
    有兴趣可以看看这个,https://sites.google.com/site/1024cores/。 这个人设计了 golang scheduler (我估计 golang 现在任然是这个 scheduler ) https://docs.google.com/document/d/1TTj4T2JO42uD5ID9e89oa0sLKhJYD0Y_kqxDv3I3XMw/edit
    我当时只是想看看 lockfree 的,可能你对 Scalable Architecture 这部分更感兴趣。
    站在我的水平上,我的意见是并发能达到需求,就不考虑并行。越往底层走,越难 handle,当然也越有意思。
    ltoddy
        17
    ltoddy  
       Nov 4, 2018   ❤️ 2
    并发是指一次处理多件事。

    并行是指一次做多件事。

    二者不同,但是有联系。

    一个关于结构,一个关于执行。

    并发用于制定方案,用来解决可能(但未必)并行的问题。

    -- Rob Pike Go 语言的创造者之一

    我自己想法是多线程+异步.
    zxiso
        18
    zxiso  
       Nov 4, 2018 via Android
    大量 io 最好可以通过异步流程,分离 io 部分和逻辑部分。因为整体 io 耗时就摆在那里。。逻辑部分可以做点进度条之类的东西让用户感觉良好就好。。
    feverzsj
        19
    feverzsj  
       Nov 4, 2018
    都可以
    qwe61655
        20
    qwe61655  
       Nov 4, 2018 via iPhone
    看情况
    blackjar
        21
    blackjar  
       Nov 4, 2018
    这两个冲突吗? 多进程+协程
    inframe
        22
    inframe  
       Nov 4, 2018 via iPhone
    看起来是 concurrency 和 parallel 的关系
    ArianX
        23
    ArianX  
       Nov 5, 2018 via Android
    我一直觉得并行是并发的一种方式
    JCZ2MkKb5S8ZX9pq
        24
    JCZ2MkKb5S8ZX9pq  
       Nov 5, 2018
    网络 IO 多开可能提速,硬盘 IO 能提速嘛?
    jimzhong
        25
    jimzhong  
       Nov 5, 2018
    @ArianX 反了吧
    glacer
        26
    glacer  
       Nov 5, 2018
    并发就是假的并行...
    并行是指多核情况下同时处理多任务,并发是在单核下利用时间片来模拟同时处理多任务。
    glacer
        27
    glacer  
       Nov 5, 2018
    回答楼主问题。IO 密集型的程序使用多线程或线程并发即可,这种情况下能最大化利用 CPU。
    sl0000
        28
    sl0000  
       Nov 5, 2018
    这个应该使用并法逻辑流的 I/O 多路复用
    checgg
        29
    checgg  
       Nov 5, 2018
    这是啥问题?
    并行和并发的定义是啥,不理解,能否补充一下英文关键词或者具体业务场景?
    大量 IO 是指的磁盘 IO 还是网络 IO ?
    liuminghao233
        30
    liuminghao233  
       Nov 5, 2018 via iPhone
    异步加协程最好了
    Antihank
        31
    Antihank  
       Nov 5, 2018
    并发是场景,并行是方法,你怎么并发 IO ?
    xmge
        32
    xmge  
       Nov 5, 2018
    并行
    dychenyi
        33
    dychenyi  
       Nov 5, 2018
    我做过, 多线程+mmap
    lolizeppelin
        34
    lolizeppelin  
       Nov 5, 2018 via Android
    看情况 io 上限摆在那里 极限情况下并行并不能超过物理上限
    反而因为大量上下文切换降低性能

    你试试 多个大量数据的 SQL 文件并行插入 结果插入速度远低于顺序执行这些 sql 文件


    但是多个少量 sql 文件 并行插入性能就不错

    所以 看情况
    xiangbohua
        35
    xiangbohua  
       Nov 5, 2018
    中间层缓冲,统一 IO 进磁盘,随机 IO 真的废
    wangtianshang
        36
    wangtianshang  
    OP
       Nov 6, 2018 via Android
    @glacer 是的😁
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   936 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 169ms · UTC 21:37 · PVG 05:37 · LAX 14:37 · JFK 17:37
    ♥ Do have faith in what you're doing.