大数据量优化

[young1]

各位大佬，我主要干 GIS 领域，然后现在做一些地质类的项目的时候，就碰到了一个问题：
一个项目做勘察，可能有很多个钻孔，然后每个钻孔会有很多信息，存储不同的表。然后如果遇到做项目归档成果导出类似的需求的时候，就需要根据项目吧所有钻孔信息做整合生成报表。怎么样做才能使效率最高化，还不容易出错。（ JAVA 仔）

[NikoXu]

spring data jap 的 entity 支持继承吧 , 可以把公共的字段放在父表里面

[7911364440]

平铺吧，表越多就越复杂，效率也越慢

[spritecn]

不 join 的话,内存够的话,还是很快的吧,不行就提前全推给 ES,再拉出来

[Meld]

我理解也不是很常调用的业务，每天凌晨跑个定时任务生成下聚合报表，需要的时候直接读这个报表就行了吧

[young1]

@Meld 现在也是用的后台任务去执行，但是数据有可能会发生改变，而且客户更期望的是通过接口直接返回 ZIP 结果进行下载那种效果

[Meld]

@young1 哦，那确实需要实时聚合下，数据量级大概是多大的？看起来数据量不大，只是拆的表比较细？

[sampeng]

导出报表是数据分析的活。数据量看有多大，笛卡尔积如果超过十亿。就应该上 clickhouse 之类的宽表服务