V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Braisdom
V2EX  ›  程序员

Agile Query 基于信贷业务的大数据量分析场景演示

  •  
  •   Braisdom ·
    braisdom · 351 天前 · 1762 次点击
    这是一个创建于 351 天前的主题,其中的信息可能已经有所发展或是发生改变。

    为了一个潜在客户做的演示,顺带录了个屏。有兴趣的朋友可以联系我:18901845760

    演示环境: 3 台 32C ,64G 服务器 CPU: Intel(R) Xeon(R) CPU E5-2670 0 @ 2.60GHz 存储:SSD

    数据体量: 会员:6 千万 实名会员:3.9 千万 贷款申请:1.82 亿 放贷数量:1.1 亿

    实际演示视频:Youtobe B 站

    第 1 条附言  ·  350 天前
    补充一下,产品介绍:
    4 条回复    2023-05-06 15:57:29 +08:00
    liuxu
        1
    liuxu  
       350 天前
    你这个演示只是编译阶段上层模块,能快速出数据应该还是后端数据库的支撑吧,或者建立指标时就在创建缓存

    像已有订单业务,例如优惠折扣积分之类的表结构,这个好接入么


    180G 内存缓存 6 千万用户数据够用,E5-2670 多核低频用在数据库上也合适,ssd 什么型号
    Braisdom
        2
    Braisdom  
    OP
       349 天前
    @liuxu 当然可以接入了,目前分析的指标没有任何缓存,缓存是基于整个查询的,可以按分钟的形式的缓存。
    SSD 型号:Crucial/Micron BX/MX1/2/3/500, M5/600, 1100 SSDs

    本次演示的目的是为了验证 Agile Query 的大数据量的分析场景下的表现。另外,数据没有预先加载到内存中,每次都会从磁盘中拉取的。计算完会及时释放。
    Braisdom
        3
    Braisdom  
    OP
       349 天前
    @liuxu 有兴趣的话,可以深入沟通一下,可以远程演示。
    liuxu
        4
    liuxu  
       349 天前
    @Braisdom 那可以啊,这硬件配置基本算是一堆洋垃圾了,看着数据出来也是秒级,要是用 epyc+ddr5+nvme/pcie4.0 ,不得起飞

    我后面也是想弄弄 BI ,学习学习,你这后面数据库是 mysql/innodb 支撑的么,还是别的,开源不
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2580 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 04:26 · PVG 12:26 · LAX 21:26 · JFK 00:26
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.