当前位置:首页 > 技术分析 > 正文内容

如何用echarts 、luckysheet、dataX、doris 攒个数仓式中台

ruisui882个月前 (03-09)技术分析12

数据中台这个词出现的概率非常高,对于一个企业来讲,那么数据中台是什么呢?数据中台就是把数据从各个系统 用数据库对接、API对接、或者文件上传的形式把数据收集起来,整合加工,最后生成分析的结果,这个结果可能是数据本身、也可能是API,也可能是分析的图表、报表,甚至是展示的大屏等。

那么如何利用现有的开源组件攒一个比较经济实惠的 数据中台呢? 那么接下来可以看看下面这个方案。

1、首先利用标准的对数据操作接入的ORM框架来做链接,我们称为多数据源,我们选择的就是JDBC,当然如果要接入excel等数据来源还需要有些小小的开发工作量

当然数据源一个基础的特点就是要能逐步支持多数据源:


2、要构建从多个不同的数据源抽取数据到中央数仓,我们采用百度的doris+阿里的dataX的方案来构建这个数仓,这里有很多方案有些不同, 有些方案是把抽取独立做的,我们是把 抽取+加工合并构建的,在数据加工的第一个步骤去实现的抽取的过程

可以设置抽取加工执行的周期:

在设计数据加工的过程中,通过算子的拼接实现业务加工过程的构建:

最后加工整理后,输出的结果是支持手动执行和自动执行的

输出的结果可以用于多个场景,从具体的数据血缘视图中可以看出

3、用echarts 构建配置化的图表,图表就要做成配置化的,让用户更简单使用,简单拖拽,关联数据加工后的中间结果

从配置数据,然后拖拽维度、指标、设置排序等操作,然后做了各种样式的配置功能。

用lucksheet 做了一个可视化的统计报表的功能,如下图所示:

配置的方式和图表方式一样,只是渲染数据通过lucksheet实现的:

当然我们还做了一个可视化的大屏配置器,和图表不一样,大屏支持多画布,多页面,可以配置更加复杂,更加精细化

在线demo:https://bi.bctools.cn

gitee地址:
https://gitee.com/software-minister/jvs-bi

扫描二维码推送至手机访问。

版权声明:本文由ruisui88发布,如需转载请注明出处。

本文链接:http://www.ruisui88.com/post/2648.html

分享给朋友:

“如何用echarts 、luckysheet、dataX、doris 攒个数仓式中台” 的相关文章

编码 10000 个小时后,开发者悟了:“不要急于发布!”

【CSDN 编者按】在软件开发的道路上,时间是最好的老师。根据“一万小时定律”,要成为某个领域的专家,通常需要大约一万小时的刻意练习。本文作者身为一名程序员,也经历了一万小时的编程,最终悟出了一个道理:慢即是快,重视架构设计和代码质量,确保每一行代码都经得起时间的考验。作者 | Sotiris Ko...

VIM配置整理

一、基本配色set number set showcmd set incsearch set expandtab set showcmd set history=400 set autoread set ffs=unix,mac,dos set hlsearch set shiftwidth=2 s...

2024年,不断突破的一年

迈凯伦F1车队不久前拿下了2024年度总冠军,距离上一次还是二十几年前。在此期间,另一领域内,一个充满革新活力的腕表品牌——RICHARD MILLE理查米尔,正不断发展,与F1运动、帆船、古董车展等领域,共享着对速度与极限的无尽向往。RICHARD MILLE的发展与F1车手们在赛道上的卓越表现交...

22《Vue 入门教程》VueRouter 路由嵌套

1. 前言本小节我们介绍如何嵌套使用 VueRouter。嵌套路由在日常的开发中非常常见,如何定义和使用嵌套路由是本节的重点。同学们在学完本节课程之后需要自己多尝试配置路由。2. 配置嵌套路由实际项目中的应用界面,通常由多层嵌套的组件组合而成。同样地,URL 中各段动态路径也按某种结构对应嵌套的各层...

关于Vue页面跳转传参,参数不同, 但页面只获取参数一次的问题

#头条创作挑战赛#1.问题描述问题描述: element 展示表格(页面A),点击表格的每一行的查看详情按钮,可以携带此行的信息参数跳转到另一个页面(页面B),但是从A页面到B页面,只有第一次跳转的时候B页面可以获取到A页面的参数,返回再次A->B ,B页面无法获取到参数。2.解决办法:方法一...

Vue Router 4 路由操作 - 路由导航

路由导航分为 声明式导航 和 编程式导航。通过 <router-link to="..."> 标签跳转的方式为声明式导航。通过 路由实例对象(router.push(...))跳转的为编程式导航。导航到不同的位置想要导航到不同的URL,使用 router.push 方法。...