V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
LemonLeon
V2EX  ›  程序员

我们开发了一个 LLM API to Earn 概念的大模型接口转发平台,支持 Azure OpenAI(自定义回收价格,动态分配流量)

  •  
  •   LemonLeon · 1 天前 · 470 次点击
    加密圈的钱辈一定对 xxx to earn 这个概念不陌生,我们基于这样的理念,开发了一个 AI 圈可以获取收益的接口转发平台: poixe.com

    用户可以将其闲置 / 冗余的 API 资源(目前已支持 OpenAI ,Azure OpenAI )丢到平台里,设置一个价格,供给平台里的其他用户来使用以获取收益。其本质相当于一个开放了渠道管理的 one-api 转发程序,每个人都可以创建渠道。

    ## 开发这个平台的思考在于:

    1 )市场上一直存在着大量闲散,低成本甚至免费获取到的 AI API 资源。通常,这些资源掌握在信息检索能力较强的人手中,比如正在读我这篇帖子的读者。

    2 )拥有资源的人,并不完全有能力/精力/想法将其变现。一部分人可能选择搭建转发站,但运营好一个转发站并不轻松。大部分人手中的这些资源都是空置状态。

    3 )如果有这样一套系统,可以通过平台将闲置的 API 分发给有需要的人,让市场上的零散"供给"和需求匹配起来,那么就可以给我们三方共同创造收益。

    ## 介绍下系统的技术栈:

    采用 Golang Gin 作为后端框架,前端使用 React + Vite ,数据库用的 MySQL ,使用 Redis 提供缓存(重度依赖),同时,加入了 Kafka 作为消费日志的中间件处理。

    根据过往使用 one-api 的经验,系统的瓶颈往往在于日志批量写入时的磁盘 IO ,所以我们增加了 Kafka 作为缓冲层,在高并发场景下可以对流量做削峰填谷,同时提高了系统的可扩展性。

    ## 目前,已完成的开发任务如下:

    1 )官网



    2 )控制台 -> 令牌



    3 )控制台 -> 日志



    4 )控制台 -> 用量统计



    5 )供应商功能(即本文提到的回收 API 额度)



    6 )供应商功能 -> 渠道管理



    7 )供应商功能 -> 收益页面



    8 )供应商申请入驻页面



    ## 写在最后

    这是我们一次大胆的尝试,开发并没有结束,准确说是刚才开始。我们计划以此平台为基础,持续开发更多与 LLM API 相关的应用层服务。

    欢迎建议。
    4 条回复    2024-12-25 23:20:22 +08:00
    fengzhi
        1
    fengzhi  
       1 天前
    Token 越来越便宜,价格不是问题
    gaobh
        2
    gaobh  
       1 天前 via iPhone
    没戏,大家都搞了这么多年互联网了,虽然你套了个大模型的壳子,但是这套老玩法早就验证行不通了
    RangerWolf
        3
    RangerWolf  
       1 天前
    op 的 UI 做的挺好的
    功能目前我还没有需求 都是直接采购的别人家转发的 openai 的 api
    LemonLeon
        4
    LemonLeon  
    OP
       1 天前
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1422 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 19ms · UTC 23:58 · PVG 07:58 · LAX 15:58 · JFK 18:58
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.