数睿通2.0数据接入升级——支持增量字段同步,表单独映射

引言

上次数睿通 2.0 更新是在 23 年12 月 底,已经过去了接近三个月的时间,中间由于过年加上年前年后实在是工作繁忙,所以一直没有腾出空来更新代码,希望大家可以理解,平台的发展离不开你们的支持,在此表示由衷的感谢!

本次主要是更新了数据接入模块,还有一些细节优化,bug修复等,主要添加了以下支持:

  • 支持自定义增量字段同步,支持源端为数据表或 sql
  • 支持表统一映射和单独映射,选择单独映射每张表可以配置自己的映射规则
  • 修复数据服务查询别名问题
  • 修复数据资产数据表 sql 鉴权问题
  • 部分细节优化

下个版本会推出不少朋友想要的数据血缘自研页面,数据标签完善等内容,大家耐心等待,下面来简单看一下本次更新的内容。

支持增量字段同步

新版的数睿通 2.0 可以通过设置表或 sql 的增量字段来进行数据的同步,一般我们都会把时间戳当作增量字段,比如数据的更新时间等,每次同步都会记录上次更新的位置,下次更新就会从上次的位置继续同步,根据增量字段同步无法同步物理删除的数据,只能同步插入和更新操作,大家在使用的时候要注意这点,原理说起来很简单,但是实现起来的细节十分繁杂,实现过程大家可以自行去查阅源码。

支持统一映射和单独映射

之前的版本在配置数据接入任务的映射规则时候,只能对映射规则进行统一设置,也就是多张表运用的是同一种规则,不够灵活,映射规则之间也容易冲突,所以本次在之前的基础上新增了单独映射的功能,可以单独设置每个表的映射规则,主键以及增量字段,规则之间相互隔离。

问题处理修复

之前有朋友反应数据服务生成 api,sql 中如果有别名,查询出来还是本来的列名而不是展示别名,目前已经修复。数据资产 sql 语句查询的时候如果带上 schema 查询,会误报无权限访问,目前已修复,剩下的还有一些细节上的优化,在此就不一一赘述了,大家可以自行体验。

结语

本次更新内容就是这些了,看上去不多,但背后也是付出了很多的劳动,希望平台以后能越做越好,给大家的工作带来便利。下个版本会优先更新自研数据血缘页面,完善数据标签,有时间的话会支持 excel,api 等非结构化的数据集成,这几个功能呼声较高,优先考虑,平台后期打算跟 AI 结合,争取让现有功能变得更加智能,强大,任重而道远!

目前源码,部署指南,讲解视频等相关资料是付费加入知识星球获取的,价格相比其他同系列的产品连个零头都不到,还是很良心的,星球内可以获取到数睿通 2.0 的最新源码资料等,功能发布之后也会第一时间分享。

感兴趣的朋友请关注公众号 螺旋编程极客 加入星球,我们一起成长,一起进步。

订阅评论
提醒
0 评论
内联反馈
查看所有评论
0
希望看到您的想法,请您发表评论x
()
x