V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
GaryHu
V2EX  ›  Local LLM

有没有类似 bob 那种 all-in-one LLM 的 plugin

  •  
  •   GaryHu · 2023-12-22 14:23:38 +08:00 · 1170 次点击
    这是一个创建于 371 天前的主题,其中的信息可能已经有所发展或是发生改变。

    思路其实和 mistral MoE 有点像(但是是软件层面的,不是神经网络架构层面的)

    痛点

    • 现在不同模型关于一个输入(例如讲义里面的一道例题,或者是一段代码)可能理解和见解都不尽相同
    • bob 解决了翻译可能单用某个模型词不达意的痛点,那么是否有类似的软件,把翻译任务 -> LLM Q&A 的任务?

    需求场景:

    • 在做练习题的时候,让多个 LLM 共同发表对这题的看法,因为每个模型给出的答案可能不同(相当于一个班上有不同水平的学生),自己汲取多方的意见然后解答
    • 在写代码的时候,面对一段复杂的开源代码(是一些比较复杂的算法),可以让 LLM 共同给出见解,那么可能有的模型( e.g llama )给出的某个见解有误,也可能在阅读多个模型回答后对代码有很深的理解

    实际上应该把 bob 的翻译后端改成和 LLM 交互的后端应该就可以了,但是不清楚目前有没有现成的类似产品。现在最接近我想法的是 Chathub ,但是那玩意儿是个浏览器插件,我希望的是在 MacOS 下可以像 bob 一样无感呼出的。

    有一些单用 Chatgpt 的呼出方法:

    但是都没有做到像 bob 那样支持 Model ALL-in-one/ocr/输入/划词 多合一的工具

    4 条回复    2023-12-25 09:53:53 +08:00
    Sniper000
        1
    Sniper000  
       2023-12-22 16:43:43 +08:00
    可惜 ChatGPT 是免费账户 也没有 apikey 可以用了
    my3157
        2
    my3157  
       2023-12-22 18:32:46 +08:00
    ollama 可以 serving 多个不同的模型, 不过你需要一个 gui 或者自己调 api
    realzsy
        3
    realzsy  
       2023-12-25 00:40:53 +08:00
    试一下 pot ?
    GaryHu
        4
    GaryHu  
    OP
       2023-12-25 09:53:53 +08:00
    @realzsy pot 似乎也没有 chatgpt 相关的插件?
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2596 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 15:00 · PVG 23:00 · LAX 07:00 · JFK 10:00
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.