这是一个创建于 2453 天前的主题，其中的信息可能已经有所发展或是发生改变。
现状
目前产品的时间都是存在 mysql 中。 相同的日志保存在同一个库中，按天分表。 不同的日志就需要保存在不同的数据库实例中了。 每天新增日志 30G 左右。
现在遇到了问题：
- 分库、分表在做数据分析的时候麻烦，影响写代码效率
- 磁盘空间不足。
服务器磁盘只有 ssd 可选，的且空间上限是 200G。 每天就需要将历史的日志备份到亚马逊上面，要做长时间的日志分析，再从亚马逊还原回来。
采用现有的模式肯定是走不下去了，考虑要迁移到大数据平台。
- 自己搭建
- 使用公有云
由于现有团队没有大数据平台搭建和维护的经验，主要考虑使用公有云。
公有云
目前对大数据平台的需要主要是集中在存储和数据分析上。 这块使用经验匮乏，不知道其中会存在什么坑？向大家请教下！
目前想到的几个点：
- 服务可用性
- 数据安全性
- 服务资费
跪求有经验的老司机分享下。
 |
1
opengps 2018-03-05 13:48:47 +08:00
收藏坐等，同样关注中。。。
我们的数据也是每天不少，但是依然使用传统分库分表分区应付阶段 |
 |
2
fredcc 2018-03-05 13:58:29 +08:00  1
既然是现有日志都在 AWS 上，如果日志是结构化的，那么直接使用 redshift 就很方便啊。可以继续使用 jdbc 分析，日增量 30G 很小。
|
 |
3
imstand 2018-03-05 14:12:23 +08:00 via iPhone 1
Google 的 Bigquery
|
 |
4
leofml 2018-03-05 14:26:27 +08:00 1
如果使用青云的话, 存储可以使用对象存储 QingStor, 数据分析可以使用数据仓库 HashData.
参考入门指南 http://docs.hashdata.cn/getting-started-guide/hashdata_warehouse_guide.html |
 |
5
zhchyu999 2018-03-05 14:33:30 +08:00 1
七牛也有基于 ES 的大数据。需要联系开通。不过上云容易，下云难
|
|
6
fredcc 2018-03-05 14:48:20 +08:00 1
1、可用性：托管服务，有完整的自动快照等备份能力，基本不用担心。SLA 可以看下文档
2、安全性：指数据丢失还是数据加密？ 3、资费以美东区一年计算，单个 DC2.large 是 2190 美元，购买一年 RI 可以 6 折。可用存储 160GB，标准 nginx 日志压缩率在 1：0.4 左右，可以看下能否满足需要 |
|
7
imstand 2018-03-05 15:03:19 +08:00 1
服务可用性
https://cloud.google.com/bigquery/sla 数据安全性 https://cloud.google.com/security/ 服务资费 存储 0.02USD/G/月，查询 5USD/T 总结，在所有 OLTP 服务中最省时省力省钱的产品。 |
Select Language