V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
rububio
V2EX  ›  分享创造

让 ChatGPT 来自动审 PR(然而效果并不是很好)

  •  
  •   rububio ·
    kxxt · 2022-12-08 18:07:12 +08:00 · 2562 次点击
    这是一个创建于 718 天前的主题,其中的信息可能已经有所发展或是发生改变。

    ChatGPT 火了之后我就在想能不能让它来审 PR 。我自己手动编了点输入给它,发现效果还不错,于是萌生了编写一个 Github Action 的想法。

    我简单的学了学 GitHub Action 之后做出来了一个虽然比较粗糙,但是勉强能跑的东西。

    可以先围观一下 ChatGPT 锐评 PR:

    因为一次 API 请求对输入长度有限制,我后来增加了多次请求的模式(每个文件分别发送 diff ,最后询问建议),下面是多次请求模式的案例。

    我发现很多时候 ChatGPT 能找到出问题的地方,它也很有可能找到正确的问题,但是提出正确的解决方法的概率就相对小一些了。(当然它有时会说一些不明所以的话)

    在早期的版本里 ChatGPT 还会给出修复的 patch, 但是基本都是错误的(比如: https://github.com/kxxt/chatgpt-action/pull/7 ),后来我就不让他给 patch 了。

    OpenAI 那边好像有防火墙,会误杀掉部分带有大量代码的请求并返回 403 错误。

    有时 ChatGPT 会直接拒绝服务,说一些它只是个大语言模型之类的话,可以通过重试解决。

    Github 链接: https://github.com/kxxt/chatgpt-action

    5 条回复    2022-12-09 07:43:28 +08:00
    theusername
        1
    theusername  
       2022-12-08 20:51:36 +08:00 via Android
    好有创意啊,佩服佩服
    aaronlam
        2
    aaronlam  
       2022-12-08 22:40:53 +08:00
    很有有创意,但我觉得就目前的水平来说应该还是没法完成正常的审核代码的职能,反而更像是在捣乱。。
    GiantHard
        3
    GiantHard  
       2022-12-08 22:45:52 +08:00 via Android
    这个场景有个 what the diff AI
    Aloento
        4
    Aloento  
       2022-12-09 06:01:54 +08:00 via iPhone
    这个可以有
    rububio
        5
    rububio  
    OP
       2022-12-09 07:43:28 +08:00
    @aaronlam 是这样的,在真实场景下(一个 PR 含有大量多文件更改)表现不是很好。不过在更改的文件比较少的时候我感觉效果还行。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5946 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 02:05 · PVG 10:05 · LAX 18:05 · JFK 21:05
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.