同一机柜内 7、8 台服务器之间不停从一个位置交换文件（平均每个文件为 100、200 兆大小），大家有什么好的存储交换方案吗？比如用什么样的 交换机、用什么存储协议或方式，最好是开源的方案，谢谢~~

[yanerweb]

现在采用的是 千兆交换机 链接 7、8台服务器。
其中一台服务器 运行 centOS 的 NFS (ver 3）服务，其他服务器 Mount 它使用，交换数据。
但随着 服务器之间文件 交换量 越来越大，这个 NFS 已经撑不住了。
现在想改造 这个 存储的方案，大家有什么推荐的吗？

[adrianzhang]

貌似没有上专门的存储设备啊。是因为价格么？如果价格还算可以承受，可考虑EMC SAN直连。如果还有预算，注重性能，可看一下：

http://en.wikipedia.org/wiki/InfiniBand
比较昂贵，但性能好。

[canesten]

同带宽下InfiniBand比其他的万兆并不贵多少

[yanerweb]

@adrianzhang 现在没有用任何 专门的存储设备，资金有限，可能本次改造最多投入 5到10万元，
貌似是需要引入 SAN存储 的概念了？是吗？ NAS 什么的，不行吧？
另外，是不是需要提升到 万兆网络了~~

[xenme]

1000M的话，吞吐只有100M/s，你的磁盘的读写速度应该还是能满足的。
所以，一种是上万兆，然后共享的server可以放到cache里面嘛，如果文件不多，不大的话，直接丢内存，这样IO就不成问题了。
或者就是上SAN了。

[yanerweb]

@xenme 哦，那么服务器之间文件 交换的 协议用什么那？ 还是 NFS 吗？或其他什么 协议？谢谢~~

[xenme]

NFS也是可以满足的，只要你机器性能跟得上。EMC的NAS跑个万兆不成问题。换万兆么，比现在性能会有很大提升。
不过前提要确定现在的瓶颈在哪里，才好对症下药。

[zxy]

FC 加HBA 上EMC存储,存储别考虑国内的那几家

[adrianzhang]

@yanerweb 上SAN或者Infiniband一般说来要看IO是多少，并预估未来所需要的。NAS一般用于普通分享，在小文件特别多并大量存取的时候会有显著性能下降。你的这个情况，可以找EMC售前给评估一下。
@xenme 所说的是个简单的解决办法，但如果文件总量太大无法放入内存，或者吞吐增长非线性，那还是赶紧换SAN解决。EMC设备不贵，贵在硬盘上（他家的硬盘是专用的）。如果对于数据安全要求不是特别高，那么可以考虑别的SAN，比如IBM或HP的，捡便宜的上，也好过NFS性能。

[adrianzhang]

另外需要注意的是：上SAN，划zone，共享又是个问题。找存储公司售前问的时候注意这些问题。

[yanerweb]

谢谢大家，
没有开源的存储方案吗？我现在主要是寻找比 服务器NFS服务共享磁盘 这种最土更好的交换方案。
硬件费用在 5到8万元左右~~

[xenme]

@adrianzhang SAN共享是个大坑，而且预算只有10W，比较困难

[adrianzhang]

@yanerweb 欧美很多小NAS硬件公司的firmware都是用linux改的。
@xenme 没错，所以我赶紧加了一条提醒。这么多机器共享，以前都是SAN加NAS头做的。

[xenme]

@yanerweb 其实建议你分析下瓶颈在哪里：
如果在centos的CPU/network，对应的加就好了。
开源存储如 @adrianzhang 也都是Linux改的，甚至有些就是精简了下而已。
找到瓶颈，才是关键。

[9hills]

@yanerweb 用分布式文件系统，比如MooseFS，ClusterFS等。

[denghongcai]

分布式文件系统靠谱，但是坑有点多……

[pubby]

交换文件具体怎么个过程啊？

看看瓶颈是磁盘还是网络再想解决办法

[webjin]

哈哈 ~

[Lax]

比如MooseFS，Ceph。如果是hadoop的话，直接就用hdfs了。

[msg7086]

GlusterFS？一堆服务器万兆互联做集群什么的

[ziyuan]

感觉你的瓶颈是网络交换，建议升级到万兆先