V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
rossroma
V2EX  ›  程序员

为什么相同的提问, API 和聊天窗口的回答不一样?

  •  
  •   rossroma · 13 天前 · 1421 次点击
    最近打算利用 gpt 的能力开发一个翻译插件,于是在 coze 上进行调试,聊天窗口的回答就是我预期的样子。
    https://imgur.com/oKs2McL.png

    但是同样的问题,通过 API 调用的话,回答的结果却变了。这是什么原因?我用国内的 kimi ,也是 API 的答案有问题。
    https://imgur.com/ScQZGQt.png
    13 条回复    2024-05-03 17:42:52 +08:00
    seers
        1
    seers  
       13 天前 via Android
    有时候窗口会有隐藏参数,提示词之类的
    cheng6563
        2
    cheng6563  
       13 天前
    默认提示词不同呗,然后温度也可能不同。
    hnliuzesen
        3
    hnliuzesen  
       13 天前
    还可能是聊天用的模型和 API 的模型版本不一样
    fusi
        4
    fusi  
       13 天前
    你同一个问题,分两个会话问,响应的结果也有可能出现差异,毕竟这是生成,没有固定的谜底
    Subfire
        5
    Subfire  
       13 天前
    如果回答一样才奇了怪了, 追求幂等?
    rossroma
        6
    rossroma  
    OP
       13 天前
    @hnliuzesen 我是用的相同的 bot 去调试的,Prompt 也是我自己写的,理论上应该一致才对。
    hnliuzesen
        7
    hnliuzesen  
       13 天前
    @rossroma 我没有用过 coze ,你的 bot 在搭建的时候能设置调用 OpenAI 接口的 temperature 与 top_p 参数么?这两个参数会影响响应结果的随机性。如果不能设置走的是默认值的话,每次回答都是不一样的。
    也不排除有可能在网页上提问,和使用 API 提问,最终发到 OpenAI 接口的参数有差异。
    clintme
        8
    clintme  
       13 天前
    只有 temperature 值设置为 0 才每次给出同样的结果
    pikachu233
        9
    pikachu233  
       13 天前
    你去看看 gpt 的开发文档,参数可比你想象的多,如果模型一样回答不一致的话,一定是参数不一样
    z1829909
        10
    z1829909  
       13 天前
    system prompt 不一样, 可以看成网页其实也是调 api 的, 但是网页被设计了自己的参数
    rossroma
        11
    rossroma  
    OP
       13 天前
    这是 coze 小助手给的回答:
    Coze 平台确保了您在聊天窗口和 API 调用之间的结果应该是相同的。如果您发现有差异,可能是由于以下几个原因:
    1. Context:聊天窗口中的上下文(如前一个问题的回答和 bot 的状态)在 API 调用中可能没有。
    2. Settings:API 调用可能有不同的参数。
    3. 更新:如果您在测试 bot 之后更改了 bot ,可能需要重新发布才能在 API 调用中看到更改。
    我建议您检查上述可能的因素,查明情况。如果问题依然存在,您可以查阅我们的 Coze 官方文档获取更多信息,或者在我们的官方社区( Discord: https://discord.gg/xDQKpAKEFX, Telegram: https://t.me/+m7bX9D4WjV4yMzgx )上寻求帮助。

    这 3 个问题我都排查过了
    owen21
        12
    owen21  
       10 天前
    为全一样的话,prompt 就不可咒语了。。。 目前来说,这玩意就非程序化,一样的输入得不到一致的结果,如果结果总是一样,那就叫程序,不叫 AI.
    dcrdw
        13
    dcrdw  
       8 天前 via Android
    api 有个参数叫 send ,这个决定了每次一样的对话回复内容的相似度
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1000 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 22:25 · PVG 06:25 · LAX 15:25 · JFK 18:25
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.