有没有类似分布式的 rsync 文件同步部署方案？

[shepherd]

最近在做一个项目，多个客户端需要从 rsync 服务器上获取文件，不同客户机需要获取的文件不一定相同（而且相同的概率很小），目前只使用了一台 rsync 服务器，这样一来，当多个客户端同时启动时， rsync 服务器的网络带宽和 IO 瞬间被占满。所以需要考虑使用分布式或者其他的方式来提高文件分发效率。
目前想过几个方案，但是都不算完美：
1.手动布设多个 rsync 服务器，通过控制客户端的配置信息来为其指定 rsync 服务器。这种方案无法最大化发挥多个 rsync 服务器的性能，因为不同客户端需要同步的文件的大小也是有很大差异的（ 2G~10G 不等），可能会导致资源的分配不均。
2.btsync ，其设计的思想基本能吻合需求，但是首先不开源，其次客户端只能在命令行下进行自动化的操作，配置和使用起来比较麻烦，不同客户端同步的文件不同，因此可能需要为每个客户端都生成一个种子。
项目对数据传输加密或不加密并没有严格要求，最主要是性能。

刚才在本地搭建 syncthing 测试了一下，环境如下：
使用两个节点作为源（文件夹内容完全相同，约 10 个文件，其中有一个 2G 大小的单文件），向第三个节点下发文件夹。发现以下问题：
1.速度并没有更快。在客户端上直接用 rsync 从单台服务器上同步文件时，速度能达到 4MB/s 左右；在本环境下测试时，速度只有 2.5MB/s 左右。
2.syncthing 的部署和配置相对较繁琐。大部分参数都是在 web gui 上进行配置的，客户端为了能获得多源支持，需要将所有源设备都添加到本地的 syncthing 配置中。

由于生产环境中，客户端的数量、客户端需要同步的文件内容都是不固定的，所以移植 syncthing 的开销不小，实际上，只需要 syncthing 文件同步核心部分的功能即可，数据块的加密功能都可以去掉。不过 syncthing 确实可以从多个源上获取数据，特别是在同步大文件的时候，效果明显，预计增加文件源的数量即可提高传输效率。准备把 syncthing 的源码看一下。

[kozora]

刚好部署了几台，我是都是在同一个区域的机器，走内网的话，其实还是很快的

[shepherd]

@kozora 我这也是走内网，一个 B 类网，中间有一些网络设备。

[murusu]

syncthing

[lecher]

既然不同客户机获取的文件相同的概率很低，不管哪种方案，不同客户机要同步的文件还是要有独立的配置，这个问题还是回到了手动配置多个权限的事情上面。
所以只要一个同步配置是存在 3 台以上的跨地域服务器，我觉得 btsync 是一个不错的临时解决方案，因为用 rsync 更容易让主服务器出现带宽瓶颈。
毕竟 rsync 和 btsync 都依赖定时任务去唤醒同步检测， rsync 如果同步数据过大，定时间隔设置不好会出现重复任务占用带宽， btsync 至少没有这个同步时间过长会重新发起新任务的问题。

[likuku]

看着需求，目前也只有 btsync 可以做到了。

btsync 客户端有 GUI 的啊。

[likuku]

或者自建磁力链系统，通过 openvpn 自有网络来磁力传输，设计客户端可以定期去抓最新磁链 + 给客户端推最新磁链

[shepherd]

@lecher 这里的同步是不需要定期执行的，一般只在客户端启动的时候执行。
@likuku 哦哦，刚才没描述清楚，客户端是需要在命令行下调用 btsync 。
另外，这些机器都是不连接互联网的。

[willis]

提醒下楼主， rsync 支持限速的，自己按实际带宽和客户端数量限制一下速度，就解决了带宽和 io 占满的问题了

[shepherd]

@willis 嗯，其实最需要解决的问题是：客户端太多导致每个客户端同步的时候速度很慢。所以才相当能不能不服务器做成类似 CDN 的效果

[julor]

试试 syncthing ，就是 btsync 的开源版

[Yamade]

https://linux.cn/article-5879-1.html

[shepherd]

@julor @Yamade 嗯，正在测试 syncthing 的部署效果