V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  Braisdom  ›  全部回复第 17 页 / 共 31 页
回复总数  607
1 ... 13  14  15  16  17  18  19  20  21  22 ... 31  
2023-02-11 21:42:54 +08:00
回复了 Braisdom 创建的主题 程序员 智能 SQL 分析系统(我的新作品)
@xmh51 目前我是按最复杂的分析场景设计的,当然后面还会遇到很多挑战,一点一点迭代解决。就像 typescript 编译成 javascript 一下,我将简单,容易生成的表达式,编译成不同数据库的 SQL 一样的原理。
2023-02-11 21:40:23 +08:00
回复了 Braisdom 创建的主题 程序员 智能 SQL 分析系统(我的新作品)
@xmh51
1 )我之前的公司是个很小公司,做零售数据业务的,正常分析的数据差不多 20 亿左右吧。后面换了一个做招聘数据分析
的公司,数据也过亿了。
2 )我的 Agile Query 是个开箱即用的,不需要二次开发,直接连接上数据库就可以进行各种复杂分析。
3 )数据分析和正常的业务完全可以分开的,通过 CDC 实时同步一份进行分析。不存在安全问题。
4 )技术的发展是降低开发、维护工作量,充分满足灵活的业务发展,以及更便宜的价格。
2023-02-11 21:34:25 +08:00
回复了 Braisdom 创建的主题 程序员 智能 SQL 分析系统(我的新作品)
@beneo 还有用户端输入的不是 SQL ,而是任意关系的几十张表中的列,或者 count, sum 聚合,还有各种多表的计算表达式映射的中文指标。生成的 SQL 中会有大量子查询解决 overcounting 问题,不是简单的 join
2023-02-11 21:31:45 +08:00
回复了 Braisdom 创建的主题 程序员 智能 SQL 分析系统(我的新作品)
@beneo 这些 BI 我都用过,也研究过他们的实现方案,基本上都是通过宽表的方式解决的。网易有数,帆软 这两个我特别仔细的研究过,很难做到开箱即用,前期都需要做很多工作。
2023-02-11 21:18:08 +08:00
回复了 Braisdom 创建的主题 程序员 智能 SQL 分析系统(我的新作品)
@xmh51 如果没有数据的再加工(提前按维度聚合),现有的 BI 都需要写 SQL 的。都是原始表的话,任何一个分析基本上都需要几百行的 SQL ,join 几十几张表。
2023-02-11 21:07:10 +08:00
回复了 Braisdom 创建的主题 程序员 智能 SQL 分析系统(我的新作品)
@xmh51 我要计算的是过亿级别的数据,其它的小数据 excel 和 power bi 足够了。
2023-02-11 21:05:30 +08:00
回复了 Braisdom 创建的主题 程序员 智能 SQL 分析系统(我的新作品)
@xmh51 这些产品我都研究过,之前的公司也在项目里使用 superset ,这一系列数据分析和可视化产品都有一个共同点,就是写大量 SQL ,之前的公司 1000 多张报表,每个报表都有几百行的 SQL 。

而我的 Agile Query 不需要写一行 SQL ,都是动态生成的,其它可视化都是辅助的特性。
2023-02-11 20:59:18 +08:00
回复了 Braisdom 创建的主题 程序员 智能 SQL 分析系统(我的新作品)
@beneo 我解决的就是传统 BI 的问题,1 )数据的二次处理,3 )大量复杂的 SQL ,
这两块我都不需要,我不会加工数据,也不需要写任何 SQL 。
2023-02-11 20:57:42 +08:00
回复了 Braisdom 创建的主题 程序员 智能 SQL 分析系统(我的新作品)
@xmh51 power bi 当然了解过,power bi 用的是自己的计算引擎,需要将数据导入进 power bi ,而我的 agile query 是直接在数据库上进行计算的,这是本质的区别。我只是计算定义的公式编译成不同数据库的 SQL 。
2023-02-11 18:45:20 +08:00
回复了 Braisdom 创建的主题 程序员 智能 SQL 分析系统(我的新作品)
@allAboutDbmss 有公式配置,已经支持窗口函数,也增加了 nested aggregation 主要支持像复购分析,留存率分析等,例如:ncount, nsum, navg...,后面还会增加更多函数
2023-02-11 18:02:49 +08:00
回复了 Braisdom 创建的主题 程序员 智能 SQL 分析系统(我的新作品)
@v2exblog 快了,争取本月,或下月初出第一个版本。
2023-02-11 13:18:45 +08:00
回复了 Braisdom 创建的主题 程序员 智能 SQL 分析系统(我的新作品)
多数据源会支持的,联邦分析现在的需求还是比较旺盛的。
2023-02-11 12:55:45 +08:00
回复了 Braisdom 创建的主题 程序员 智能 SQL 分析系统(我的新作品)
前期会部分开源,最核心的 SQL 编译那块,后期会开源出来 。
2023-02-11 11:43:47 +08:00
回复了 Braisdom 创建的主题 程序员 智能 SQL 分析系统(我的新作品)
@winglight2016 字段,计算公式,表关系需要手动维护的,也就是初始部署时维护一次就可以了。后期可以进行各种组合分析。
2023-02-11 11:36:56 +08:00
回复了 Braisdom 创建的主题 程序员 智能 SQL 分析系统(我的新作品)
@VHacker1989 目前 BI 的产品,我都深入分析过。大部分都是按维度进行数据再加工,分层设计,然后通过拖拉生成简单的 SQL 查询,数据开发成本非常高。

而 Agile Query 直接在原生数据库上进行查询,不需要再加工,几乎不需要二次开发,关键现在 MPP 类数据库发展比较快,查询效率非常高。
2023-02-11 11:33:20 +08:00
回复了 Braisdom 创建的主题 程序员 智能 SQL 分析系统(我的新作品)
@5G 这个产品主要面向企业内部的数据分析,大批量的数据通常是存储在数据库中,Agile Query 可以动态将各种指标定义编译成各种数据库的 SQL , 直接分析,生成可视化图表等操作。

这样企业内部也就不需要专门做 BI 平台了,不需要写 SQL ,可以像 Excel 一样分析大数据。
2023-02-11 11:16:49 +08:00
回复了 Braisdom 创建的主题 程序员 智能 SQL 分析系统(我的新作品)
刚刚完成了全流程跑通,后面完善一下。增加产品解读。
2023-02-11 10:19:20 +08:00
回复了 Braisdom 创建的主题 程序员 智能 SQL 分析系统(我的新作品)
后面有可能会开源出来 。
2023-02-11 09:36:23 +08:00
回复了 Braisdom 创建的主题 程序员 智能 SQL 分析系统(我的新作品)
近期会发布社区 beta 版。
2022-10-29 15:08:45 +08:00
回复了 Braisdom 创建的主题 程序员 机器学习项目(有偿提供)
@Rugel 如果你有兴趣,可以详细沟通,目前是我个人的项目上使用
1 ... 13  14  15  16  17  18  19  20  21  22 ... 31  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2504 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 15ms · UTC 13:01 · PVG 21:01 · LAX 06:01 · JFK 09:01
Developed with CodeLauncher
♥ Do have faith in what you're doing.