carmark

carmark

🏢  Software Engineer
V2EX 第 12571 号会员,加入于 2011-10-12 17:43:52 +08:00
今日活跃度排名 29603
2 G 32 S 37 B
根据 carmark 的设置,主题列表被隐藏
二手交易 相关的信息,包括已关闭的交易,不会被隐藏
carmark 最近回复了
@liang723 规模大了的话,一般大厂规模会更大。不过现在小厂也是随便有百卡(盲猜)。
说下我的感受,做 AI 平台+系统 接近 8 年:
1. K8s 现在针对 AI 平台,技术点主要包括:调度器( Gang Scheduler ),Training-Operator 这种;这里面可做的点比如:调度器性能优化,调度器调度优化解决碎片问题,解决高低优先级问题,节点内亲和性,节点间 RDMA 网络亲和性; Operator 里面结合调度,如何做容错等;

2. K8s 结合存储系统,类似 Fluid 或者其他存储方案,如何针对性提升,或者针对存储解决 AI 训练或推理场景的问题,比如训练的低延迟,推理的高吞吐;是否可以搞个缓存系统,缓存如何优化,Dataloader 如何搞;

3. K8s 结合网络,这里主要是 SRIOV 相关的技术,基于 sriov-Operator ,以及网络上 multus 就差不多;

4. K8s 结合 GPU ,GPU Device plugin ,GPU Operator 以及其他,基于 nv 的卡都具备了,GPU 可以搞搞虚拟化,容器 GPU 虚拟化,虚拟机咋接,怎么调度这些;

5. AI 平台流程化,比如熟悉 AI 算法的开发流程,调试流程,上线流程,CV 和 LLM 的特点是啥,数据集管理这些;

6. 需要了解 AI 任务分布式特点,如何建立,如何容错,如何与 K8s 结合,这部分就是 Training Operator 的内容,需要知道。

7. 进一步就是了解 AI 算法本身,比如大模型计算过程,参数量啥的,还有推理优化、预训练优化等等;
类似脉脉的思路,辅助生成答案?
121 天前
回复了 xfrgux 创建的主题 游戏 2024 年了,云游戏体验还是不行
国内的话可以试试 haixingcloud.com ,专为游戏配置的高主频 CPU ,RTX 3090,4090 显卡。
242 天前
回复了 lufeng666 创建的主题 奇思妙想 [需求征集] 最想要个什么样的应用?
@lufeng666 是的,所以才是少见,但是感觉是刚需,即便把这个做成一个服务,都会有人付费的。
245 天前
回复了 lufeng666 创建的主题 奇思妙想 [需求征集] 最想要个什么样的应用?
@lufeng666 现有的开源的 app 就没有云图的。
245 天前
回复了 lufeng666 创建的主题 奇思妙想 [需求征集] 最想要个什么样的应用?
准确,无广告的天气 app ,对标彩云的效果就行。
2023-02-20 10:06:45 +08:00
回复了 balabalaXMX 创建的主题 职场话题 后端面试—关于系统设计与项目难点
> 老生常谈的项目亮点和遇到的难点是什么,这个需要说到什么粒度?比如我优化了一个本地缓存,本来是全局一个前缀树,解析字符串,根据 xxxx 的业务场景,改成了二级 map ,减小了锁的粒度。这么说是不是过于简单了?

是的简单了,我的思路是:
1. 实际过程中,在线上业务或者 perf 测试时候发现了问题,如何发现的?这里涉及到了可观测性工具,以及 perf 工具,以及 debug 思路
2. 找到了问题,那么就要考虑原有的结构, 如何调优,如何测试,有没有更好地思路,是否去做了探查,业界有哪些方法来解决这个问题(方法论问题)
3. 解决完成后,看收益,要具体到数字指标
4. 如何持续性优化思路
2023-02-20 10:02:53 +08:00
回复了 balabalaXMX 创建的主题 职场话题 后端面试—关于系统设计与项目难点
分享下我的经验,我作为面试官期望得到的结果:
2023-02-01 08:42:17 +08:00
回复了 carmark 创建的主题 酷工作 诚招资深 DevOps Engineer/运维工程师
@bigpigB 有办公室的,资深可以 base 成都
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   943 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 13ms · UTC 21:34 · PVG 05:34 · LAX 14:34 · JFK 17:34
Developed with CodeLauncher
♥ Do have faith in what you're doing.