V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
1311317
V2EX  ›  问与答

有了解 fast tokenizer 的老哥吗?怎么将 baichuan2-13b 的 tokenizer 转成 fast tokenizer?

  •  
  •   1311317 · 13 天前 · 449 次点击
    目前在用 vllm 做 baichuan2-13b-chat 模型的推理框架,想进一步加速推理速度,怎么将 slow tokenizer 转成 fast tokenizer 呢?
    1 条回复
    1311317
        1
    1311317  
    OP
       10 天前
    大佬们,能给个思路吗
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2229 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 15:34 · PVG 23:34 · LAX 08:34 · JFK 11:34
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.