V2EX › RoccoShi 的所有回复 › 第 2 页 / 共 27 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2 3 4 5 6 7 8 9 10 ... 27

❮

❯

44 天前

回复了 tsja 创建的主题 › 分享发现 › 小宇宙出 Plus 会员了 120 元/年

都是些无关痛痒的功能啊

44 天前

回复了 Czzzzzzzzzzr 创建的主题 › 买买买 › 今年买的最值的电子产品是什么

高驰 pace3 ，airpods 4

45 天前

回复了 CC11001100 创建的主题 › 程序员 › 手贱拿大模型试了下最近一次的 LeetCode 周赛，道心破碎了，成仙路已断，前路在何方？

leetcode 的题还是偏简单了，对于现在的大模型来说小菜一碟

46 天前

回复了 boycem 创建的主题 › 职场话题 › 过年提前回家，大家的请假理由是什么？才能体现自己是“好”员工

坦诚清晰才是好员工

46 天前

回复了 potatouu 创建的主题 › 剧集 › 请问大家如何评价“无耻之徒”？

最喜欢的美剧没有之一

48 天前

回复了 gransh 创建的主题 › V2EX › 这两天用新加坡节点一直上不了 V2

和地区没啥关系，公用 ip 很容易被 v2 屏蔽

49 天前

回复了 evilStart 创建的主题 › 程序员 › 服了，天天都有 cursor 的帖子

@ChrisV5 为啥你这每个月价格还不一样

51 天前

回复了 applepresent 创建的主题 › 分享创造 › 用 cursor 弄了个一点点黄的网站，快来锐评下！

打开前几张和鬼一样🥴

52 天前

回复了 pretty66 创建的主题 › 问与答 › 求助贴，业务需求要把服务器迁移到日本，用户主要是中国大陆用户，推荐下合适的服务器

日本三网优化一般都是 gia ，价格贵流量少不抗打。
建议服务器日本随便买，然后访问流量走其他地区的反代

54 天前

回复了 coolair 创建的主题 › 问与答 › 有对图片/附件管理比较友好的 Markdown 笔记软件吗？

https://github.com/chenfeicqq/obsidian-attachment-manager/blob/master/README_ZH.md

你这个需求，装个插件的事

54 天前

回复了 fu82581983 创建的主题 › 互联网 › 最近一年搜索引擎的使用的频率越来越低了

确实，现在基本都是小红书和各类 AI 了

56 天前

回复了 huc2 创建的主题 › 机器学习 › LLM 静态批处理和 Continuous Batch 相关疑问的求解

op 理解都没啥问题吧我感觉, static batching 和 continuous batching 区别就是每一次 decode 生成新 token 后如何处理, 和 prefill 没啥关系, prefill 肯定都是一起的

静态 batching 就是生成 eos_token 后的 sequence 还要等着 batch 里其他所有 sequence 都生成 eos_token 后一起输出

continuous batching 就是发现有 eos_token 就直接拿出来, 塞一个新的 sequence 进来, 至于 prefill 是塞进来后再做还是做好再塞进来, 都可以

PS: 随便找了个 huggingface TGI continuous batching 的伪代码 ( https://medium.com/@martiniglesiasgo/anatomy-of-tgi-for-llm-inference-i-6ac8895d903d)

https://i.imgur.com/byYMNgm.png

PPS: 理解可能也有问题, 也不是专业的, 就碰巧之前也看过这个博客, 期待其他大佬补充(

56 天前

回复了 Cellinlab 创建的主题 › 分享发现 › 产品起名字一定要注意⚠️，你完全想不到用户理解的你的名字和你想表达的效果

podreddit

1 2 3 4 5 6 7 8 9 10 ... 27

❮

❯