V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
skyfollow
V2EX  ›  程序员

在自己本地训练出一个 bert 预测模型,在云服务器需要购买怎么样的配置?

  •  
  •   skyfollow · 2020-10-26 19:30:33 +08:00 · 2621 次点击
    这是一个创建于 1488 天前的主题,其中的信息可能已经有所发展或是发生改变。

    在自己本地训练出一个 bert 预测模型,放在阿里云服务器上什么配置比较好?

    尝试过只带 CPU 的服务器,用的 16 核 16g 计算型服务器,压测只有 4.1TPS,效果不好。是不是只能上阿里云 gpu 服务器?

    但是在本地推理过程只用 CPU 压测能达到 60TPS,本地使用 6 核 32g 的 cpu 。

    第 1 条附言  ·  2020-10-27 09:01:57 +08:00
    原因找到了,自己在本地也是用 gpu 运行,cpu 代码没有失效,没有用 cpu 推理,如果在阿里云部署 bert 跑出来的模型,还是建议用 gpu 的服务器,cpu 的压测最多也就几到十几 TPS 。
    9 条回复    2020-10-27 11:25:06 +08:00
    eternitym31
        1
    eternitym31  
       2020-10-26 19:33:30 +08:00   ❤️ 1
    12 层的感觉 M40 就可以。
    skyfollow
        2
    skyfollow  
    OP
       2020-10-26 20:52:19 +08:00
    @eternitym31 可以用 CPU 的机器吗?
    yzc27
        3
    yzc27  
       2020-10-26 21:09:25 +08:00 via iPhone
    现在 Colab 试试?
    airqj
        4
    airqj  
       2020-10-26 21:13:48 +08:00 via Android   ❤️ 1
    Mobilebert 试试
    eternitym31
        5
    eternitym31  
       2020-10-26 23:02:04 +08:00   ❤️ 1
    @skyfollow 看模型大小,12 层的模型不推荐用 CPU,除非是离线系统;以我以前上线的模型来看 3 层 768-hidden size 的模型至强单核只有 18qps,延迟接近 80ms ;如果能压缩 hidden size 可以大大减少推理时间(前提句子长度不要太长,一般小于 128 )
    zbl430
        6
    zbl430  
       2020-10-27 09:47:37 +08:00
    distilbert 或者 转 tensorRT engine

    这些云服务带 GPU 的机器应该都很贵吧,按小时收费?
    shm7
        7
    shm7  
       2020-10-27 10:11:36 +08:00
    一般用公司的 gpu 机器部署。云服务的 GPU 机器我之前看过 azure 的,贵的睁不开眼。

    PS: bert 用 cpu 跑基本跑不动的,楼上说的 tensorrt/openvino 等 c++库可以试试看看能不能提高 tqs
    shikimoon
        8
    shikimoon  
       2020-10-27 10:11:59 +08:00
    不做任何优化的话,2080ti 或者 t4 跑 bert 大概是每秒 15-20 条文本
    jimmyismagic
        9
    jimmyismagic  
       2020-10-27 11:25:06 +08:00
    搞深度学习的学生太难了
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2171 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 00:49 · PVG 08:49 · LAX 16:49 · JFK 19:49
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.