在自己本地训练出一个 bert 预测模型,放在阿里云服务器上什么配置比较好?
尝试过只带 CPU 的服务器,用的 16 核 16g 计算型服务器,压测只有 4.1TPS,效果不好。是不是只能上阿里云 gpu 服务器?
但是在本地推理过程只用 CPU 压测能达到 60TPS,本地使用 6 核 32g 的 cpu 。
1
eternitym31 2020-10-26 19:33:30 +08:00 1
12 层的感觉 M40 就可以。
|
2
skyfollow OP @eternitym31 可以用 CPU 的机器吗?
|
3
yzc27 2020-10-26 21:09:25 +08:00 via iPhone
现在 Colab 试试?
|
4
airqj 2020-10-26 21:13:48 +08:00 via Android 1
Mobilebert 试试
|
5
eternitym31 2020-10-26 23:02:04 +08:00 1
@skyfollow 看模型大小,12 层的模型不推荐用 CPU,除非是离线系统;以我以前上线的模型来看 3 层 768-hidden size 的模型至强单核只有 18qps,延迟接近 80ms ;如果能压缩 hidden size 可以大大减少推理时间(前提句子长度不要太长,一般小于 128 )
|
6
zbl430 2020-10-27 09:47:37 +08:00
distilbert 或者 转 tensorRT engine
这些云服务带 GPU 的机器应该都很贵吧,按小时收费? |
7
shm7 2020-10-27 10:11:36 +08:00
一般用公司的 gpu 机器部署。云服务的 GPU 机器我之前看过 azure 的,贵的睁不开眼。
PS: bert 用 cpu 跑基本跑不动的,楼上说的 tensorrt/openvino 等 c++库可以试试看看能不能提高 tqs |
8
shikimoon 2020-10-27 10:11:59 +08:00
不做任何优化的话,2080ti 或者 t4 跑 bert 大概是每秒 15-20 条文本
|
9
jimmyismagic 2020-10-27 11:25:06 +08:00
搞深度学习的学生太难了
|