V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  rogerer  ›  全部回复第 1 页 / 共 2 页
回复总数  39
1  2  
3 天前
回复了 Suger828 创建的主题 程序员 请教大模型微调
1.全量一般没人调得动,除非你训的是非常小的模型。LoRA 做的事情是在原有模型的旁边搞一条 Pathway ,这样不用动原有模型的参数,也能让模型去适配一些特定的任务,属于是没有办法的办法。
DPN 应该是指强化学习来调整 LLM 相关的技术,这个现在叫 post-training ,用来增强模型的推理能力。

2.function call ,其实应该也能通过微调的技术来做,比如给模型一些模板奖励信号,这样更输出可能会更规整。
嵌入模型是用来检索的。LLM 依赖的 Transformer 架构的时空复杂度是和序列长度 O(N^2)的,所以不太能把知识库所有的语料都放进去。

静态嵌入模型在这里本质上是做语义相似度,把和你要查询的内容相关的文本找出来再喂给 LLM ,因为静态嵌入模型和上下文无关,所以预先计算成向量,然后再和你的查询转换成的计算相似度就可以了。

另一件事情是,LLM 并不是输入越多信息越好,所以用另一个模型帮它做精简。
3 天前
回复了 jlak 创建的主题 程序员 感觉编程辅助工具都在卷 Agent 而不是补全
补全的能力更多依赖 foundation model
4 天前
回复了 voidmnwzp 创建的主题 程序员 ai 这是真要把前端干死吧
@pureGirl 确实没必要分了,以前分前后端是一个人能学的知识有限,现在大家的心智负担小了不少
4 天前
回复了 voidmnwzp 创建的主题 程序员 ai 这是真要把前端干死吧
@mumbler 我最近用 cursor 复现论文,效果非常好。你说推荐系统,一整套系统让 AI 直接来做上很难的,exposure bias 嘛。但如果是学术界用来复现论文或者快速实现 idea ,非常好用,基本上也不需要怎么改。这可比前端用 cursor 要舒服多了。
4 天前
回复了 IAmSimon 创建的主题 程序员 讨论一下 Ai 辅助编程的痛点
建议给 AI 写文档,你要什么功能,具体的定义,期望的表现都给 AI 写好。
20 天前
回复了 Suger828 创建的主题 程序员 如何进行大模型知识蒸馏
@dianso 蒸馏还好,要去训练的模型不是 LLM 的规模。
---
现在大家用 LLM 的结果去蒸馏,蒸馏学习的目的是让更大的模型作为小模型的 supervisor ,这样能让小模型学到大模型的能力,所以直接学输出也是可以的。
@ttgo 2.0 的能力还挺强的
@pureGirl 那就做优先级队列?把耗时长的任务放后面一点,并行处理 xlsx 也没有太多特殊的操作。
29 天前
回复了 ano 创建的主题 程序员 是不是 cursor 的重点是 sonnet 3.5
不完全是,prompt 怎么写,constrained decoding 怎么做(猜测应该是用了这个技术)还是挺关键的。

trae 现在就存在一个问题是 apply edit 经常没办法 apply 得很精准,猜测他们的实现是把生成的代码和当前文件全部送给 LLM ,然后拿 LLM 的输出来输出,这种稳定性保证不了。
有点像是年前端出来的半成品,而且魔改 vscode 得很厉害,以至于第三方的 theme 全部不让用。
trae 这个名字发音也不如 marcode ,传播度可能会受影响。
29 天前
回复了 rogerer 创建的主题 程序员 腾讯医典的静态服务被滥用?
@Yanlongli 还是开发的责任,把 webp 解析成 HTML 。
30 天前
回复了 rogerer 创建的主题 程序员 腾讯医典的静态服务被滥用?
需要使用微信打开
@dabingbing 你怎么和 cuda 交互?还是得让 C++去充当业务语言和 LLM 的中间件吧
31 天前
回复了 panjinghui1213 创建的主题 程序员 前端开发如何走的更远?
@murmur webgl 和 webgpu 可以用来做端侧推理,不仅仅是做图形学的事情。
@Nnq 航司超售是一种售票策略,避免有人临时改签。
我甚至觉得 AI 带来的改变不如低代码带来的改变大...
看看最近回复
126 天前
回复了 Rust2015 创建的主题 程序员 AI 对比传统的搜索引擎有什么优势:
我始终认为搜索引擎和对话系统是两个完全不同的东西,问对话系统和问同事是一回事。
1  2  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   931 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 27ms · UTC 19:24 · PVG 03:24 · LAX 11:24 · JFK 14:24
Developed with CodeLauncher
♥ Do have faith in what you're doing.