V2EX › mightybruce 的所有回复 › 第 4 页 / 共 29 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2 3 4 5 6 7 8 9 10 ... 29

❮

❯

48 天前

回复了 xjhou00007 创建的主题 › Web Dev › c++ go rust 谁更适合开发嵌入式 Linux 上的 web 后台服务

嵌入式 web 基本都是 C, C++ ，这种不是多的很。何必找一些不成熟的项目。
这种项目首先要考虑的就是资源占用，占用大的一概不考虑了。

https://github.com/civetweb/civetweb

54 天前

回复了 nakroy 创建的主题 › 程序员 › AI 大模型的分布式存储方案

https://arthurchiao.art/blog/gpu-advanced-notes-1-zh/
可以看看这个人写的一些科普吧。

54 天前

回复了 nakroy 创建的主题 › 程序员 › AI 大模型的分布式存储方案

模型权重分担在各个计算节点上内存和 GPU 显存，每一次推理不是一张显卡，是好几张显卡同时计算。
你只要买英伟达的专门用来大模型训练的高端显卡比如 A100, H100 或国内华为相应的显卡昇腾 910B 训练机器, 人家自然会告诉你存储、网络，cpu, 交换机的选择。

54 天前

回复了 nakroy 创建的主题 › 程序员 › AI 大模型的分布式存储方案

模型的参数就是在各个服务器的内存以及 GPU 大模型的专门的显存里面的。
我语气有一点冲，不过你的确是在自我想象

RDMA 现在已经有支持以太网的方案，并非一定要 IB

54 天前

回复了 nakroy 创建的主题 › 程序员 › AI 大模型的分布式存储方案

存储使用 PCIE 接口的带宽都不适合 70B 大模型以上的多卡训练和推理的大模型，你去云计算厂商和 AI 大模型公司那里多了解了解吧。

54 天前

回复了 nakroy 创建的主题 › 程序员 › AI 大模型的分布式存储方案

兄弟你就别自我意淫吧，没搞过就别想什么了。大模型训练是不可能每次从磁盘上读取的，另外大模型非常大，神经网络都是多块 gpu 每个计算一部分，通过高速网络和缓存并尽量减少 cpu 和操作系统的占用。
传统的 PCIE 都嫌慢，你还跟我说用磁盘，哈哈，我都笑死了。
了解 RDMA 是什么技术，
IB, 以太网 RoCE 都可以支持 RDMA.

57 天前

回复了 drymonfidelia 创建的主题 › 程序员 › 微服务到底在哪个方面让开发、维护简单了？怎么看都是变复杂了，原本配置一次数据库就能跑，现在要配置八九个容器和数据库，更新一次要配置好几个服务

你要是 2016 年来提这个问题，我还有点兴趣，那时候微服务治理发展阶段才开始不久。

这个问题现在还不知道怎么解决，我只能说你们上微服务就是错误的选择。

65 天前

回复了 wangclack 创建的主题 › 问与答 › 求指点国产手机品牌关系

不玩游戏，强力推荐 oppo find X7 X8 , 自带端侧 70 亿参数大语言模型，而不需要联网调用一些大模型厂商的 API 就能处理很多一些办公相关的任务。

80 天前

回复了 perbugwei 创建的主题 › 职场话题 › 到底什么是奋斗

睡不好，吃点褪黑素片。
建议平时多锻炼锻炼身体，然后扩展一下社交圈，这样以后有用。

82 天前

回复了 webszy 创建的主题 › 程序员 › 有没有开源的 serverless 平台

有开源的 serverless 平台，不过如果你不懂 k8s 和 istio 以及一些服务网格，你也搞不定。