xiaoFine 最近的时间轴更新
xiaoFine

xiaoFine

V2EX 第 114520 号会员,加入于 2015-05-01 12:23:40 +08:00
占用 GPU 的服务如何解决并发?
程序员  •  xiaoFine  •  2022-03-16 22:36:46 PM  •  最后回复来自 xiaoFine
23
Istio bookinfo 是如何做到服务发现的?
  •  1   
    Kubernetes  •  xiaoFine  •  2020-05-16 13:08:00 PM  •  最后回复来自 xiaoFine
    2
    2020 年了,还有人觉得 UUID 比 int 适合“海量”数据?
    编程  •  xiaoFine  •  2020-02-07 21:35:33 PM  •  最后回复来自 uxstone
    15
    兼顾.Net 和 Python 的开发环境
  •  1   
    程序员  •  xiaoFine  •  2019-09-17 21:33:15 PM  •  最后回复来自 dorothyREN
    6
    毕业生的一点烦恼:工作方向和学的不一样怎么办
    程序员  •  xiaoFine  •  2019-07-04 12:59:55 PM  •  最后回复来自 xiaoFine
    16
    xiaoFine 最近回复了
    2022-03-16 22:36:46 +08:00
    回复了 xiaoFine 创建的主题 程序员 占用 GPU 的服务如何解决并发?
    回头自问自答下。
    这个要看各家的 serving 框架,目前 triton 和 torchserver 都能做到 dynamic batching 之类的功能,但本质上每次推理还是显卡独占;如果是为了省 GPU ,另一个思路是 GPU 虚拟化,暂时没实践
    2022-02-22 14:41:14 +08:00
    回复了 shmichaelli 创建的主题 上海 上海的程序员交流群(技术、求职、生活)
    xiao_Fine
    2021-12-08 11:27:27 +08:00
    回复了 dwlovelife 创建的主题 程序员 typora 收费了,有什么好的替代产品
    单纯问一下为啥都推荐 typora ,感觉就比裸写加了些便捷操作,和 vsc 写起来没啥区别吧,是我写 md 的姿势不对吗
    我依稀记得 19 年的时候用 vscode 连 tmux 是有显示问题的。。。不知道现在还有没有。
    倒是你的工作流是不是太复杂了,为啥不直接 remote 服务器,或者用 wsl
    @tanxiong 说实话你这预算不如小额有偿领养
    2020-06-01 09:41:39 +08:00
    回复了 xiaoFine 创建的主题 程序员 占用 GPU 的服务如何解决并发?
    @helloworld000 感谢(看来还有很多路要走
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5340 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 20ms · UTC 07:09 · PVG 15:09 · LAX 23:09 · JFK 02:09
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.