我们有一个大数据的项目生产环境，用的 raid0 ，大家觉得有毛病吗？

Raid0

毛病

觉得

生产

36 条回复 • 2017-09-24 18:10:05 +08:00

1

ScotGu

2017-09-20 12:33:35 +08:00

集群整体 RAID0 ？恭喜！作死成就达成！

RAID10 或者 5 啊。

2

psirnull

OP

2017-09-20 12:47:00 +08:00

@ScotGu 我也是建议 5 ，但是项目不是我负责，很无奈。。。

3

mooncakejs

2017-09-20 12:52:02 +08:00

先计算下，项目能撑几个月，如果时间不长，随他吧。

4

psirnull

OP

2017-09-20 12:53:48 +08:00

@mooncakejs 我们公司基本上是要和甲方单位长期合作的。

5

tinybaby365

2017-09-20 12:54:17 +08:00 via iPhone

Hadoop 节点？ raid0 解决同一节点 disk 间的数据倾斜？

6

Aliencn

2017-09-20 12:54:42 +08:00

要看具体业务场景，不一定用 raid0 的都是坑

7

Luckyray

2017-09-20 12:55:40 +08:00

然后备份了好几个？

8

psirnull

OP

2017-09-20 12:57:13 +08:00

@tinybaby365 还作的是虚拟资源池。。。。

9

psirnull

OP

2017-09-20 12:57:34 +08:00

@Luckyray 木有备份资源

10

psirnull

OP

2017-09-20 12:58:29 +08:00

@Aliencn 项目经理说现在的硬盘质量好，没问题。。。。。。。。。。

11

gamexg

2017-09-20 13:15:50 +08:00

如果只是代码，不涉及用户数据并且是多机均衡负载就没大问题。
如果涉及到了用户数据，那么等着硬盘挂了做开盘数据恢复吧......

12

asdf123101

2017-09-20 13:18:29 +08:00 via Android

没有备份，我觉得就是在做死😂

13

ryd994

2017-09-20 13:36:16 +08:00

@psirnull 让老板看看 BackBlaze 的硬盘统计： https://www.backblaze.com/blog/hard-drive-failure-rates-q1-2017/
BackBlaze 是一家用家用级硬盘组 RAID 提供廉价储存的公司，不妨做个参考

其实重点是你们用户协议里有没有保护数据的条款，如果本来就不保数据的话，那确实没什么关系。大数据平台一般主要用算力，在平台上一般也就需要留个 checkpoint。数据人家自己都有。出事了最多补偿一下数据传输费用和重新计算的费用。未必需要安全性。

如果你是负责人的话，最好留下文字留档，免得出事背锅

14

aheadlead

2017-09-20 13:40:39 +08:00

@psirnull 别上 RAID 5，都是泪
…除非你都是百把 G 的小硬盘

15

psirnull

OP

2017-09-20 13:49:53 +08:00

@aheadlead 请指教下，RAID5 会有什么问题，性能吗？

16

AntiGameZ

2017-09-20 13:53:39 +08:00

@psirnull RAID 5 写入要做 XOR 校验，所以写入速度很多时候还不如单盘。

17

psirnull

OP

2017-09-20 13:58:41 +08:00

@ryd994 感谢啊！~

18

RubyJack

2017-09-20 14:12:20 +08:00

hdfs 本身就有冗余啊，我觉得 RAID 都不需要

19

ryd994

2017-09-20 14:13:43 +08:00

1

@psirnull RAID5 要性能的话最好上硬件卡
以及注意能否在线重建和重建时再挂一块的可能性
如果同批次硬盘坏了一个，其他的估计也快了，重建又是压力很大的操作，一不小心挂两块就都没了

20

psirnull

OP

2017-09-20 14:15:04 +08:00

@RubyJack 基础架构是用的虚拟资源池。。。。等于 RAID0 上跑的是虚拟机。。。。

21

Morriaty

2017-09-20 14:21:01 +08:00

如果是 hdfs，不需要 raid

22

aheadlead

2017-09-20 14:22:32 +08:00

@psirnull 在重建的时候很容易接二连三的挂盘

楼下接着补充我不是存储专家不敢多说

23

mhycy

2017-09-20 14:23:01 +08:00

@AntiGameZ
@psirnull

RAID5 上硬卡不会有写入性能问题
问题在于 RAID5 有可能无法完整恢复数据（如果另一个盘有坏道的话）

所以建议上 RAID6，至少存在交叉比对的可能
（现在硬卡 RAID6 其实性能很不错的, H730P 能做到持续读写 1GB/s+）

至于虚拟机跑在 RAID0....等着完蛋好了

24

natforum

2017-09-20 14:28:13 +08:00

用 5 或者 7 吧，0 太古老了

25

psirnull

OP

2017-09-20 14:59:59 +08:00

所以说是坑很大嘛

26

tianwm

2017-09-20 16:44:08 +08:00

至少 RAID 5 吧....再加时时备份..

27

wekw

2017-09-20 17:37:45 +08:00

这显然是作大死行为，经理可能想坑死公司。

更不推荐 RAID5，谁用谁知道，坑死人没商量。

老老实实 RAID 1 或者 RAID 10，看钱多钱少喽。

28

lydasia

2017-09-20 18:46:21 +08:00 via iPhone

5 重建的时候有大概率 gg

29

7654

2017-09-20 18:56:33 +08:00

我们还有个庞大的磁带库呢

30

oaix

2017-09-20 20:48:57 +08:00

如果你的 hdfs 设置了多个副本，用 raid0 也没什么问题。
如果有钱可以用 raid10，不要用 raid5。

31

ryd994

2017-09-20 21:06:41 +08:00

@natforum 哦，那 RAID10 一定很新咯？

32

msg7086

2017-09-21 01:06:01 +08:00

@psirnull RAID 5 比 RAID 0 安全一些，但是由于 URE 的固定概率，数据损坏率依然极高。

URE 是每多少读取中有多少数据损坏的比率。这个比率基本是固定的，所以硬盘越大，在读完硬盘之前遇到数据损坏的概率越高。单盘 2TB 应该就是 RAID 5 的极限了，一般而言 TB 级硬盘都应该上至少 RAID 6，保证一块硬盘挂掉，一块硬盘读取错误的情况下，还有第三份数据做后备。

我们 12 盘 4TB 直接上了 RAID Z3 阵列，可以保证两块硬盘同时挂掉，第三块盘读取错误的情况下，有第四份数据的后备。

33

psirnull

OP

2017-09-21 11:02:27 +08:00

@msg7086 学习了。了解了下，主流用 10 的还是挺多的。

34

lianxiaoyi

2017-09-21 11:13:13 +08:00

我就是 raid 0 啊。跑的挺爽的。。。。。。

35

ryd994

2017-09-21 11:54:20 +08:00

@psirnull RAID10 其实有个坑就是，如果很不巧的挂的是同一侧的两块的话就 GG 了

36

psirnull

OP

2017-09-24 18:10:05 +08:00

@ryd994 那都没得用了。。。。