V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
podel
V2EX  ›  OpenAI

ChatGPT 的回复太慢了有啥办法可以加快吗

  •  
  •   podel · 2022-12-12 17:19:50 +08:00 · 10469 次点击
    这是一个创建于 472 天前的主题,其中的信息可能已经有所发展或是发生改变。

    如题。 chatgpt 回复的时候那个打字框贼慢贼慢。长回答的时候看得都要急死了。 后台应该数据早就一次性就返回了。 有什么油猴脚本之类得能够加快回答得回复显示得速度吗?

    第 1 条附言  ·  2022-12-13 09:16:05 +08:00
    结帖: 是 POST 请求长连接返回的。没办法一次性返回结果。
    并且最近几天米国的 /我这边 IPLC 线路都不稳会出现 network error
    22 条回复    2022-12-18 14:44:44 +08:00
    zhoufenfens
        1
    zhoufenfens  
       2022-12-12 17:24:45 +08:00
    它应该是保持着一个长连接吧,不是一次性返回然后逐字渲染。
    bluedawn
        2
    bluedawn  
       2022-12-12 17:25:25 +08:00 via iPhone
    似乎是这两天才这样的,原因不知道,可以试试 GitHub 大佬做的相关项目
    podel
        3
    podel  
    OP
       2022-12-12 17:25:39 +08:00
    没错。采用得是长 POST 回复信息得。 而不是一次性回复信息。
    所以必须保持 长得稳定得连接才行。没办法加快
    lookStupiToForce
        4
    lookStupiToForce  
       2022-12-12 17:26:14 +08:00
    应该不是“后台应该数据早就一次性就返回了”
    有些回答会中断停留很长时间,有时候甚至会直接回答一半直接挂掉
    mxT52CRuqR6o5
        5
    mxT52CRuqR6o5  
       2022-12-12 17:36:24 +08:00
    @lookStupiToForce 我也觉得 chatgpt 的一个字一个字蹦出来的设计是受限于模型设计的,OP 认为『后台应该数据早就一次性就返回了』有点太想当然了
    podel
        6
    podel  
    OP
       2022-12-12 17:45:00 +08:00
    @mxT52CRuqR6o5 就算不行也应该 先把数据准备好。 然后一次性返回。 长 POST 真的太难稳定了。
    Garalt
        7
    Garalt  
       2022-12-12 17:55:21 +08:00
    用英语比中文快,个人体验
    me221
        8
    me221  
       2022-12-12 19:40:47 +08:00
    有没有可能是你国不稳定
    systemcall
        9
    systemcall  
       2022-12-12 22:22:42 +08:00
    VPN 太烂了吧,换个好点的就会快不少
    ViolaH
        10
    ViolaH  
       2022-12-12 23:14:29 +08:00 via iPhone
    @me221 不是,我在海外这几天照样很慢,还容易跳 network error ,前几天没这样
    zhuweiyou
        11
    zhuweiyou  
       2022-12-13 00:01:03 +08:00
    长连接持续返回的,并不是一次返回
    Shosuke
        12
    Shosuke  
       2022-12-13 00:17:12 +08:00 via iPhone
    它好像最近的人类道德观念非常强烈
    netabare
        13
    netabare  
       2022-12-13 01:22:19 +08:00
    一个字一个字返回这个应该是最近增加的 throttling ,之前是一段一段话返回的,估计没有任何办法加快。
    rpman
        14
    rpman  
       2022-12-13 02:34:25 +08:00 via iPhone
    这种序列 decoding 模型 streaming 其实是一种优化
    因为完整解码就要这么多时间。他只是把中间结果也展示了。
    needpp
        15
    needpp  
       2022-12-13 08:03:00 +08:00
    ![image]( http://tvax1.sinaimg.cn/large/63211452gy1h91uvhz4k4j21dg0o47wh.jpg)


    顺带问一下,我想知道这种分段的数据前端怎么接收的?
    summer2019
        16
    summer2019  
       2022-12-13 08:12:59 +08:00 via iPhone
    @needpp event stream
    Tink
        17
    Tink  
       2022-12-13 08:25:21 +08:00 via Android
    他在组织语言
    Ocean810975
        18
    Ocean810975  
       2022-12-13 08:25:51 +08:00 via Android
    @ViolaH 话说是不是因为不在美国?你要在美国当我没说
    eggsblue
        19
    eggsblue  
       2022-12-13 08:47:50 +08:00
    作为一个人,你也需要组织语言来交流🥹
    neptuno
        20
    neptuno  
       2022-12-13 08:49:28 +08:00 via iPhone
    人也是这样说话呀,问完问题,去做点其他事情,就跟微信聊天一样。
    ZztGqk
        21
    ZztGqk  
       2022-12-13 12:13:33 +08:00 via iPhone
    用的 decoder ,现在还是无法并行输出的。
    wong2
        22
    wong2  
       2022-12-18 14:44:44 +08:00
    Server Sent Event 当然最终是原理限制的
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5623 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 31ms · UTC 06:33 · PVG 14:33 · LAX 23:33 · JFK 02:33
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.