引言
大家好,经过接近两月时间,数睿通 2.0 迎来了新一轮更新,本次更新内容较多,对数据质量,数据标签,数据标准,数据服务做了全方位的优化升级,系统的数据治理功能也因此获得较大提升。感谢一直以来大家的鼓励和支持,你们的不断支持就是我们不断更新的最大动力!本次更新内容主要包括:
- 数据质量整体重构(质量规则,检测日志,错误主题库)— 用户可自定义质量规则,选择指定的表,对需要检测的字段进行配置,支持检测日志查看,对于检测到的错误数据结果,可以手动干预修复
- 数据标签优化完善(标签类目,即席查询)— 用户可自定义标签类目体系,灵活定义标签数据,同时可对标签数据进行即席查询操作
- 数据标准优化完善(标准清洗,清洗日志)— 用户可利用元数据目录进行字段级别的标准关联,检测,以及配置清洗规则,同时可灵活查询清洗产生的日志
- 数据服务优化 — 配置动态 API 的时候,添加自动分页选项,支持对查询语句进行自动分页处理,解决以往查询 API 只能全量查询的弊端
- 元数据采集优化 — 元数据采集支持表级别的采集配置
数据质量整体重构
数据质量模块本次更新变化较大,进行了整体重构,现在配置质量规则需要先指定表,再去配置该表的一个或多个字段的检测规则,相比之前,逻辑更加清晰,同时加入了表主键(唯一键)的选择,目的是为了方便之后的数据修正操作,摒弃了原有的冗杂检测逻辑,适配了目前市场的主流需求。
数据标签优化完善
本次更新补齐了数据标签的标签类目和即席查询模块,用户可自定义标签类目体系,选择标签类型和标签实体,灵活配置标签数据,配置完标签数据后,可在即席查询模块对指定标签进行即席查询操作,方便用户更加精准的定位标签数据。
数据标准优化完善
该版本对数据标准进行了升级优化,之前版本的数据标准进行标准检测之后就没有了后续操作,本次更新补充了后续的标准清洗操作,用户在元数据采集完毕后,可自行选择字段关联自定义的数据标准字段,与标准数据进行比对,检测,清洗操作,清洗后会产生日志,供用户查询清洗结果。
数据服务优化
本次更新对数据服务 API 进行了优化,新增了配置自动分页的功能,后台可以识别不同的数据库类型,拦截 sql,转化为适配的分页语句,解决了以往只能全量查询,若数据量大会导致查询时间过长,阻塞服务的痛点。
元数据采集优化
新版可以指定一个或多个表进行元数据采集操作,相比于老版的整库采集,更加灵活,用户可根据自身需求对元数据采集进行配置。
bug 修复,细节优化
本次更新也对用户反馈的 bug 和细节进行了修复和优化,在此就不再一一赘述了,也希望随着不断的迭代更新平台功能可以越来越好,越做越强大!
结语
本次更新就到此为止了,更新内容较多,应该需要大家慢慢消化一阵。下个版本计划接入 seatunnel 数据集成组件,相比现款的 dbswtich 支持的数据源更多,同步效率更高,同时也不会抛弃现有逻辑,准备在数据接入的时候添加一个组件选项,根据不同选项做不同配置,希望大家多多支持。
目前源码,部署指南,讲解视频等相关资料是付费加入知识星球获取的,价格相比其他同系列的产品连个零头都不到,还是很良心的,星球内可以获取到数睿通 2.0 的最新源码资料等,功能发布之后也会第一时间分享。
感兴趣的朋友请关注公众号 螺旋编程极客 加入星球,我们一起成长,一起进步。
Revolutionize your weighing needs with BWER, Iraq's top provider of weighbridge systems, featuring unparalleled accuracy, durability, and expert installation services.
شركة Bwer هي أحد الموردين الرئيسيين لموازين الشاحنات ذات الجسور في العراق، حيث تقدم مجموعة كاملة من … 阅读更多 »