V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
V2EX  ›  AlexaZhou  ›  全部回复第 2 页 / 共 34 页
回复总数  676
1  2  3  4  5  6  7  8  9  10 ... 34  
❮ ❯
我觉得在网关层做比较好:
1. 首先网关在转发 API 的时候,可以清理掉其中的遥测信息,解决了上面第一条
2. cc 客户端请求的是本地网关地址,就解决了上面第二条

至于邮件,就只能自己小心了,比如开全局再打开 A 家的邮件

我作晚在网关上实现了相关功能,可以自动去掉这些信息,并且能可视化查看请求详情,有需要可以使用 https://github.com/alexazhou/gt_ai_gateway
@WorldDominator
很好的建议,安排
@vinsony 可以的,这一两天加个清理功能和开关来控制
@Greenm

两个原因:
1. 主要是日常还要用这个😂,对不想卸载也不想让他在背后搞小动作的情况,总要有个解决方案
2. 这种用户量足够大的软件,基本都被研究的很清楚了,不会一直处于被动

这里给大家提供多一个选择,让大家可以按需屏蔽掉,总会有人需要的
@hitrip 总要在反抗和站着不动让人打中间选一个。反抗可能有后果,但我不想站着不动让人打
6 月 29 日
回复了 fakEHacker 创建的主题 › 程序员 › DeepSeek 好贵啊
@fakEHacker @shintendo 一听就是缓存命中的问题,我开源了一个 gt_ai_gateway ,可以提升缓存命中率,并且看到每个请求的详情,推荐试试看

https://github.com/alexazhou/gt_ai_gateway

![提升缓存命中]( https://raw.githubusercontent.com/alexazhou/gt_ai_gateway/master/images/cch_cache.png)
@cha1
看起来是 url 问题,像下面这样配置就行,去掉 url 后面的尾巴(端口号要按自己配置的改一下)

claude code:
ANTHROPIC_BASE_URL="http://127.0.0.1:8720/llm"

codex:
base_url = "http://127.0.0.1:8720/llm/v1"
@ludyleocn 之前听说说 cc switch ,这里 cc desktop switch 是专用于 claude desktop 的配置工具吗,好奇这里为什么会需要一个专门的工具,而不是直接用 cc switch
@cha1 点 GtAIGateway 左侧导航栏的接入配置,可以看到服务 API ,然后修改 codex 和 claude code 的配置文件,把服务端地址改成 GtAIGateway 的地址就可以的
@Kinnice 多谢反馈,我先想想,后面可以的话加上相关功能
@Kinnice

我测试过通过 GtAIGateway 的协议转换功能,让 cc 调用 gpt-5.5 模型,观察还挺正常的,你可以试试看,如果遇到问题跟我反馈,我来修复

回复下上面的:
1 “能” 我刚找到界面了,确实有这个功能。仔细比较了下,GtAIGateway 这块专门写的的渲染器,从美观和功能上做的更多一点

2 “AxonHub 部署到腾讯云 edge”,应该是需要额外自己再准备数据库😂,严格来说算半个 serverless 吧。GtAIGateway 不需要自己准备数据库,可以省去这部分成本和运维的麻烦

3 “这个是不是就是把 cch 去掉了”,cch 是很重要的一块,另外还有其他的如对 responses 协议的处理(粘性路由);后续还会不断扩展这部分逻辑,力求把缓存命中率提升上来


还有个差别是 GtAIGateway 有构建好的 App 提供,直接本机运行比较方便

以上内容无意引战,主要是解释下和其他工具不同的地方,方便大家理解
@iomect
感谢指出,这个要看不同的模型,如果 gpt-5.5 来说,prompt token 确实是打一折。那么算下来应该是 9 点几倍;

对 deepseek 模型来说,缓存价格是普通输入的 1%,那么就超过 10 倍了;

所以之类用了 10 这样一个概数来表达大概的程度
@iomect

感谢指出,不过功能还是差很多的,比如这几个功能,应该是属于 GtAIGateway 有而 AxonHub 没有:

1. 可以用可视化对话的方式来查看请求
2. 部署到免费的 serverless 平台上,如 cloudflare worker
2. 开箱可用的提升缓存命中改写功能( AxonHub 或许能手动写规则通过改写来实现,但手动也很麻烦)
@ximaoyang
老兄,这么说就有点狭隘了

1. “除了 A 家的其他都是垃圾”,我完全不同意这个,除了 A 家很多好模型,GLM 5.2 ,GPT5.5 ,DEEPSEEK V4 flash/pro ,都很好用,只是要有正确的使用方式才能发挥出来威力
2. “尽量多/new session ,保证上下文小一点,工作效率高的时候花钱还少” 这个想法已经过时了,就是要大上下文,把足够的信息都塞进去,模型才聪明。特别是使用 deepseek 的时候,不断 new 完全浪费钱,效果还差
3. “别总是 ai 写代码,ai 自己审核,ai 测试,中间啥都不管” 我也是不知道你这是说的谁,不懂


“现在的工具框架自己都是 ai 几天写出来的垃圾项目,大家又不傻”
批评之前还是先看看情况吧,这个项目从 25.2 月开始开发,累计提交超过 500 个 commit ,自用已经很完善了,才开放出来给大家
@dfourc 主要还是分享 GtAIGateway ,多 Agent 工具就是顺便提下😂,也让人知道有这么个东西,如果用不上忽略就好啦
@SoraStar 感谢试用,欢迎反馈意见呀
@adfi1 是的,有这样的工具,用起来还是很方便的,也帮我看看这个还有什么需要改进的
6 月 7 日
回复了 luoxmc 创建的主题 › Apple › 谈下 ios 端的 surge 相比 loon 不足的一些地方
出站模式切换功能是我最常用的功能
@dong706 有道理,感觉可以加一个 agent 视图,用来看团队里的 agent 们都在什么,这样正好跟 对话视图 / 任务视图 形成互补
@dong706 是现在最低支持 Python 3.11😂,所以在 3.10 上报错了。我来看看是不是能支持上
1  2  3  4  5  6  7  8  9  10 ... 34  
❮ ❯
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1041 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 23ms · UTC 18:09 · PVG 02:09 · LAX 11:09 · JFK 14:09
♥ Do have faith in what you're doing.