我模仿 nanochat 全栈 llm 流程, 在 8 x H100 芯片训练了 500m 参数的 llm, 以下感悟
wangshuo6 · 1 天前 · 1629 次点击
花费了 8w 个 token, 110$的 gpu 服务器成本(一般时间花在 debug 上，一半时间训练)
感受是 gpu 价格及其贵，代码出现 1 个 bug = 10min debug -> 至少 1.2$花销
bug 出现频率高: python 容易写出语法/变量名错误，超参数填的的不对会导致 gpu 计算错误，cuda 和 pytorch 版本问题也会导致出错
总结就是:
1. 犯错的代价是严重的，务必用小批量数据测试代码是否写的正确
2. ai 基建大概率不是泡沫
以上 gpu 是租的便宜的小厂商的，主流云服务价格翻倍
 |
1
YanSeven 1 天前
“AI 基建大概率不是泡沫”，这句话是什么意思。
|
 |
2
cmos 1 天前
1. cuda 和 pytorch 版本：我们是用 docker 环境，固定死的。
2. 服务器成本贵、花费高：热度炒起来导致的，我用 Tesla K40 的时候，计算卡还是正常价格，A100 开始疯涨。 3. bug 出现频率高：不熟导致的，先在 RTX PRO 6000 上测试，通过后用集群跑。 4. ai 基建大概率不是泡沫：工业上是很有用的，“民用”上，什么时候能直出黄图、视频，什么时候才能算基建。 |
 |
3
importmeta 1 天前
@YanSeven AI 股票的泡沫论
|
 |
4
wangshuo6 OP @importmeta 我不觉得是泡沫
|
 |
7
xjoker 1 天前
大佬是租用哪个小厂家的，也想自己玩玩
|
 |
8
huaweii 1 天前 via Android
你用的哪家小厂 gpu 算力服务
|
 |
9
cctvbnm111X1 1 天前
AI 基建还得看国产，等纯国产 3nm 、GDDR7 、HBM3 生产线全部落地，价格就便宜了
|
 |
10
lingeo 1 天前
@cctvbnm111X1 国产不会便宜，首先产能就供不上，其次有产能也是优先给政府单位，还有不是把硬件造出来就行了，配套的驱动、生态都要维护，这块可以看看昇腾社区的提问。
|
 |
11
iwdmb 23 小时 48 分钟前
|
 |
12
riceball 21 小时 39 分钟前
500M 用得上云跑吗? 本地有一个 16G VRAM ，大概应该也够吧。 或者直接 CPU run,慢就慢。
|
 |
13
c0xt30a 19 小时 18 分钟前
训练的数据集方便透漏下么？
8w 个 token, 是 8B token 的笔误么？ |
Select Language