数睿通2.0版本升级:探索数据血缘的奥秘

引言

数睿通 2.0 迎来了 4 月份的更新,该版本更新了许多用户期望的数据血缘模块,把原来外链跳转 neo4j 页面改为自研页面,方便后期的二次开发完善,此外,新版本摒弃了 neo4j 的血缘数据存储方案,一来是因为免费版只能单节点部署,数据量大了会受限,二来是因为很多用户对 neo4j 并不熟悉,上手需要学习其独特的 sql 语法,有一定的学习成本,所以新版采用了 mysql 的存储方案,通过合理的表结构把血缘数据存储到 mysql 中,简单且容易理解,更加利于维护拓展。下面我们一起来看一下本次更新的内容(想要获取源码,部署文档等资料的朋友见文末)。

数据血缘

数据血缘用来描述数据的来源和去向,可以帮我们更好地把控数据的流转和转换情况,新版数睿通 2.0 可以支持字段级别的血缘,帮助用户更好的掌控数据。

目前数据血缘只做了外部数据源到中台库 ODS 层的血缘流转,后续会添加数据开发的血缘流转,通过 SQL 解析 + 人为干预的方式更好地构建血缘关系,新版的数据血缘有两种展示模式,一种是血缘关系图的模式,看起来更加直观,一种是列表模式,可以更加灵活得查询。

问题修复优化

新版对以下问题进行了处理修复:

  • 未启动 flink 相关服务,数据生产调用 sql 任务报错问题
  • 数据生产 flinkSql 任务调用类型转换异常问题
  • 数据接入任务非 mysql 数据库增量同步报错问题
  • 数据接入任务 sql 接入任务失败后的日志显示问题
  • 部分细节优化

结语

本次更新内容就是这些了,主要就是数据血缘,整个重新设计重写了一遍,逻辑比之前更清晰了,背后的代码量还不少,不过应该不难看懂,大家二开的话应该不会有太大问题。下个版本会对数据标签进行完善,数据质量应该会重构一版,除了优化原有逻辑,还会添加错误数据修复,预警通知等功能,此外,API,EXCEL 等非结构化数据的接入,BI 数据可视化也会陆续提上日程,大家耐心等待即可,好事多磨。

目前源码,部署指南,讲解视频等相关资料是付费加入知识星球获取的,价格相比其他同系列的产品连个零头都不到,还是很良心的,星球内可以获取到数睿通 2.0 的最新源码资料等,功能发布之后也会第一时间分享。

感兴趣的朋友请关注公众号 螺旋编程极客 加入星球,我们一起成长,一起进步。

订阅评论
提醒
0 评论
内联反馈
查看所有评论
0
希望看到您的想法,请您发表评论x
()
x