snowkylin's recent timeline updates
snowkylin

snowkylin

V2EX member #632676, joined on 2023-06-05 19:14:37 +08:00
snowkylin's recent replies
@zhyim 8-bit 的吗,应该可以吧(可能得看 H100 是多少显存的版本),试试?
@vpsvps 我没试过直接用 ollama 下载,不太确定,以及这个是 unsloth ai 出的动态量化版本,目前我只看到 huggingface 上有
@vpsvps 可以,会比较慢(可能大约 2-3 token/s ,取决于内存带宽和 cpu 规模)
@fcten 是的,所以我在正文里写了,文中测试的这套配置对于跑大规模 LLM 推理并不是最有性价比的(我用这个只是因为我手上刚好有,主要是做训练用)。如果纯做 LLM 推理,目前最有性价比的新机方案我觉得可能是高配大内存的 Mac Studio 。

https://x.com/ggerganov/status/1884358147403571466
Jul 13, 2023
Replied to a topic by muzihuaner 分享创造 欢迎加入山河大学
Jul 2, 2023
Replied to a topic by muzihuaner 分享创造 欢迎加入山河大学
草,我才发现 .ac.cn 域名是开放注册的

那中科院以及国科大岂不是有点尴尬……
@Greatshu 可以参考版上之前的一些讨论: https://v2ex.com/t/943679
@codehz 新的版本可以重命名呀,文件名加个前缀后缀,yourfile_v2, yourfile_v3 之类的,就可以上传了。当然之后如果搞个用户系统的话,是可以让已登录的用户管理自己 released 的文件。
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5026 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 27ms · UTC 03:58 · PVG 11:58 · LAX 20:58 · JFK 23:58
♥ Do have faith in what you're doing.