V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
nodesolar
V2EX  ›  程序员

有人试过 AWS s3 + Athena 做数仓么

  •  
  •   nodesolar · 2 天前 · 639 次点击

    话说 V 友们中有人试过 AWS s3 + Athena 做数仓么?

    5 条回复    2025-11-20 09:59:17 +08:00
    defunct9
        1
    defunct9  
       2 天前
    干嘛不用,AWS Redshift ,或者 flink 、spark 之流
    skallz
        2
    skallz  
       2 天前
    我之前写过一个数据采集加数据分析,就靠它,当时预设的数据量太大了,如果直接走服务器并发量会把服务器打爆,然后发现了这么个东西,只需要前端上传数据文件到 s3 ,然后 athena 对接 s3 就够了,不过 athena 速度有点慢,得看业务场景
    rockxsj
        3
    rockxsj  
       2 天前
    athena 我记得就是 presto(trino)。 我们之前的方案的确长期就是对象存储+trino ,不过现在换成了对象存储+starrocks ,性能比 trino 要高不少。
    lxdlam
        4
    lxdlam  
       2 天前
    我们是 Iceberg on S3 + Athena/Glue(Serverless Spark) 的架构,中间用 dbt 做数据建模 + dagster 做 ETL flow 的管理,整体体验不错,下游支撑了大部分离线应用,比如 Superset 看板 etc 。
    nodesolar
        5
    nodesolar  
    OP
       1 天前
    @lxdlam

    学习了
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   2683 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 20ms · UTC 14:02 · PVG 22:02 · LAX 06:02 · JFK 09:02
    ♥ Do have faith in what you're doing.