neteroster 最近的时间轴更新
neteroster

neteroster

V2EX 第 191331 号会员,加入于 2016-09-11 21:01:55 +08:00
今日活跃度排名 1535
根据 neteroster 的设置,主题列表被隐藏
二手交易 相关的信息,包括已关闭的交易,不会被隐藏
neteroster 最近回复了
36 天前
回复了 smalltong02 创建的主题 程序员 对 Qwen 2 模型代理能力的完整测试
很好的测试。Qwen2 确实是非常优秀的一组模型,特别是多语言能力方面的改进可圈可点。阿里选择将模型(除 72B )以 Apache2.0 开源也是非常慷慨。期待未来更强的模型。
@googlefans 那都不是一个系列的,Qwen 开源模型系列目前最新版本是 Qwen1.5 ( https://huggingface.co/Qwen ),下一个版本是 2 。

所谓通义千问 2.5 指的实际上是 Dashscope 上型号为 "qwen-max" 的闭源模型,后者目前指向 "qwen-max-0428"( Chatbot Arena 榜上有名),而 Qwen2 开源系列将很可能超过该模型( ref: 官方 discord )
等 Qwen2 ,这两周会出,不出意外的话应该会很强(推上几位相关负责人都很自信)
57 天前
回复了 Tuatara 创建的主题 NVIDIA 现在买 3090TI 玩 AI 靠谱吗
@wsbqdyhm 这个 https://github.com/RVC-Boss/GPT-SoVITS

如果不会用的话 B 站搜搜教程,现在应该听多了。
57 天前
回复了 Tuatara 创建的主题 NVIDIA 现在买 3090TI 玩 AI 靠谱吗
@muxiaofei

中文微调推荐 Qwen 系列,llama3 预训练估计没多少中文语料。

微调分不同类型,全量,LoRA ,QLoRA 等,最近也有一些新兴技术。例如,llama3 8b 用 LoRA 基本 24G 能满足,但是全量微调这个大小则是天方夜谭。部分任务下 LoRA 等技术和全量微调效果接近甚至更好,但是也有很多任务是不及全量微调的,需要实际测试。

租算力完全可行。

另外,知识库不推荐微调,先试试 RAG 。
58 天前
回复了 Tuatara 创建的主题 NVIDIA 现在买 3090TI 玩 AI 靠谱吗
@neteroster 再补充几句,70B 还没到 Mac 的适应区间,2 * 3090 就能拉爆 M3 Max 了,还是在便宜的多的情况下。拉高 batch size 差距应该会更加显著。

再大的模型?那就要想清楚你是不是真的需要那么大的模型了,现在大部分模型都集中在 <100B 区间,就算 >100B 的模型 Mac 也跑不快的。唯一有优势的可能是 MoE ,不过现阶段并不多,可能战未来吧。
58 天前
回复了 Tuatara 创建的主题 NVIDIA 现在买 3090TI 玩 AI 靠谱吗
真要考虑 Apple Silicon 跑 LLM 的话先看看这个:

https://github.com/ggerganov/llama.cpp/discussions/4167

不是所有 M 芯片都是那么快的。等级森严在苹果这里也是不会变的。

除非你非跑超大模型不可,否则就性能而言 M 芯片的性价比是不如 NVIDIA 的。总之就是先想清楚需求。

然后就是如果涉猎比较广泛,不止玩 LLM ,当然还是 NVIDIA ,毕竟生态再这里。
4060Ti 16G ,但是最近涨的貌似有点多,胜在显存大些,要跑比较大的模型的话可能有用,单看性能其实性价比不高。

如果模型不需要那么大显存就 4070(s) 吧,跑模型速度会快点,游戏也能开高点画质。能接受二手的话,也可以考虑,毕竟 40 系没有经过矿潮洗礼,挑个一线带个人送保的牌子就行。

如果愿意折腾的话也可以看看 P100 / P40
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2379 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 11ms · UTC 15:41 · PVG 23:41 · LAX 08:41 · JFK 11:41
Developed with CodeLauncher
♥ Do have faith in what you're doing.