1
cattrace 2023-03-16 22:54:21 +08:00 via iPhone
是的
|
2
yangyaofei 2023-03-16 22:54:58 +08:00
理论上是, 实现上(为了加速)可以不是, 想真的了解建议读读论文或者看看相关科普视频, 或者更简单的直接问 chatGPT
|
3
lxiian 2023-03-16 23:27:12 +08:00 via iPhone
要看你是不是用了 sse 去调接口了
|
4
mxw0204 2023-03-17 03:14:16 +08:00
这个看你需求,一个一个字蹦比一次性都出来的要快,两种都支持
|
5
freakxx 2023-03-17 03:26:23 +08:00
关键词 stream
|
6
Mutoo 2023-03-17 08:14:48 +08:00
transformer 的工作原理就是用前面所有内容去推荐下一个字是什么。所以它的生成过程确实是一个字一个字蹦出来的。服务端使用 streaming 方式返回结果也是为了让用户更快看到内容,而不是等待全文。
|
7
ebony0319 2023-03-17 09:19:24 +08:00
text/event-stream
|
8
JadePenG 2023-03-17 09:27:55 +08:00
chatGPT 是根据上下文获取的信息, 给它任意长的上文它会生成下一个字,面对长内容时,chatGPT 就会把下一个字和之前的上文组合成新的上文,不断重复就能获取新的下文了。
|
9
gaooo 2023-03-17 09:52:49 +08:00 via Android
是的,接口流式传输的,实时响应,可以到 chatplus.app 下载体验一下
|