当前位置:首页 > 技术分析 > 正文内容

如何用echarts 、luckysheet、dataX、doris 攒个数仓式中台

ruisui884个月前 (03-09)技术分析18

数据中台这个词出现的概率非常高,对于一个企业来讲,那么数据中台是什么呢?数据中台就是把数据从各个系统 用数据库对接、API对接、或者文件上传的形式把数据收集起来,整合加工,最后生成分析的结果,这个结果可能是数据本身、也可能是API,也可能是分析的图表、报表,甚至是展示的大屏等。

那么如何利用现有的开源组件攒一个比较经济实惠的 数据中台呢? 那么接下来可以看看下面这个方案。

1、首先利用标准的对数据操作接入的ORM框架来做链接,我们称为多数据源,我们选择的就是JDBC,当然如果要接入excel等数据来源还需要有些小小的开发工作量

当然数据源一个基础的特点就是要能逐步支持多数据源:


2、要构建从多个不同的数据源抽取数据到中央数仓,我们采用百度的doris+阿里的dataX的方案来构建这个数仓,这里有很多方案有些不同, 有些方案是把抽取独立做的,我们是把 抽取+加工合并构建的,在数据加工的第一个步骤去实现的抽取的过程

可以设置抽取加工执行的周期:

在设计数据加工的过程中,通过算子的拼接实现业务加工过程的构建:

最后加工整理后,输出的结果是支持手动执行和自动执行的

输出的结果可以用于多个场景,从具体的数据血缘视图中可以看出

3、用echarts 构建配置化的图表,图表就要做成配置化的,让用户更简单使用,简单拖拽,关联数据加工后的中间结果

从配置数据,然后拖拽维度、指标、设置排序等操作,然后做了各种样式的配置功能。

用lucksheet 做了一个可视化的统计报表的功能,如下图所示:

配置的方式和图表方式一样,只是渲染数据通过lucksheet实现的:

当然我们还做了一个可视化的大屏配置器,和图表不一样,大屏支持多画布,多页面,可以配置更加复杂,更加精细化

在线demo:https://bi.bctools.cn

gitee地址:
https://gitee.com/software-minister/jvs-bi

扫描二维码推送至手机访问。

版权声明:本文由ruisui88发布,如需转载请注明出处。

本文链接:http://www.ruisui88.com/post/2648.html

分享给朋友:

“如何用echarts 、luckysheet、dataX、doris 攒个数仓式中台” 的相关文章

机动车检测站收费管理系统

机动车检测站收费管理系统headerfooter《机动车检测站收费管理系统》是一款适用于中小型机动车检测站收费管理、打印票据。主要包括收费打印、统计查询、辅助字典等功能。本管理系统多处具有快速辅助录入功能,操作简单,易学、易用;处理功能高效强大,是协助您的好帮手!主要功能:1.收费管理:收费打印、今...

10分钟搞定gitlab-ci自动化部署

gitlab-ci 是持续集成工具/自动化部署工具,类似 jenkins。持续集成 是将代码集成到共享存储库并尽可能早地自动构建/测试每个更改的实践 - 通常一天几次。概述在编码完成时都会进行打包发布过程,如果每次都手动操作这一步骤就会浪费时间,效率低下。所以就有了持续集成。准备事项请提前安装以下软...

继Yuzu后,任天堂要求移除多个Switch模拟器项目

IT之家 7 月 11 日消息,任天堂美国分公司 (Nintendo of America) 已要求移除多个用于模拟 Nintendo Switch 游戏的开源模拟器项目,其中包括 Suyu、Nzu、Uzuy、Torzu、Sudachi 和 Yuzu-vanced 等。这些模拟器均被指控包含绕过任天...

JavaScript数组操作:掌握常用方法,提升开发效率

JavaScript数组操作:从增删改查到高级应用本文深入解析JavaScript中常用的数组方法,包括push、unshift、pop、shift、map、filter、reverse、at 和 slice。通过详细的例子和应用场景,帮助开发者快速掌握这些方法,提升代码效率和可读性。开篇点题作为J...

thinkphp8+vue3微信小程序商城,发布公众号App+SAAS+多商户

项目介绍三勾小程序商城基于thinkphp8+vue3+element-ui+uniapp打造的面向开发的小程序商城,方便二次开发或直接使用,可发布到多端,包括微信小程序、微信公众号、QQ小程序、支付宝小程序、字节跳动小程序、百度小程序、android端、ios端。支持主题色+自定义头部导航+自定义...

Firefox正针对Vue.js进行优化,下版本响应速度将“显著提升”

IT之家 9 月 7 日消息,据 Mozilla 官方博客发文显示,Firefox 浏览器正针对 Vue.js 进行优化,此前 FireFox 浏览器在面向 Vue 3 时遇到了一些性能问题。▲ 图源 Mozilla 官方博客目前开发人员已经对此进行了解决,在 Firefox 118 内部版本中进行...