数睿通2.0更新:数据接入支持TDengine,新增数据任务链,即席查询优化

引言

这次更新,我们围绕“好用、可控、稳定”做了一轮集中增强:一方面让数据接入能力更丰富(新增 TDengine 集成)、让任务编排更清晰(任务链),另一方面把即席查询的使用体验做得更贴近真实工作流(左侧树分类 + 一键导出)。与此同时,我们也对调度相关能力做了“看得见的优化”,包括 cron 表达式配置体验提升、定时任务长期运行稳定性增强,以及多数据库语法兼容问题的系统修复。

下面按“新增/变化功能 → 配置体验优化 → 已解决问题”来介绍本次更新内容。

一、功能新增与变化

1)数据接入集成 TDengine:时序数据也能轻松纳管

在大量物联网、工业监测、设备采集等场景里,TDengine 这类时序数据库非常常见。过去在平台里接入这类数据源往往需要额外的脚本或中间流程,而这次更新把 TDengine 接入能力纳入了统一的“数据接入集成”体系中:

  • 统一入口:TDengine 作为数据源类型之一,接入流程与其他数据源保持一致。
  • 统一治理:接入后的数据可继续参与后续的任务编排与数据服务链路,减少“接入后还要再搬一次”的割裂感。
  • 面向实际场景:更适合时序数据高频写入、按时间窗口分析、趋势对比等常见需求。

对业务侧来说,这是“把时序数据纳入平台能力圈”的一步:接入门槛更低,后续使用路径更顺畅。

2)任务链:把离散任务串成可理解、可复用的流程

真实的数据工作通常不是单点任务:一个任务的输出,往往是下一个任务的输入;需要按依赖顺序执行、失败时可定位、需要复跑时可控。为了解决“任务越来越多但关系越来越难管理”的问题,本次上线了 任务链 功能:

  • 可视化/结构化编排:把多个任务按依赖关系组织起来,形成清晰链路。
  • 更可控的执行:按链路触发执行,避免人工“一个个点运行”带来的遗漏与顺序错误。
  • 更可追溯的结果:链路层面更容易定位是哪一环失败、失败后如何补救。

更贴近实际业务的是,任务链支持把常见的数据生产环节“串”起来,形成一条从接入到产出的顺序执行路径,例如:

  • 数据集成 – DBSwitch:用于结构化数据的迁移/同步场景,适合快速把源端数据纳入平台。
  • 数据集成 – Seatunnel:适合更复杂的数据管道与多源汇聚场景,配置灵活、扩展性强。
  • 数据集成 – API:将外部系统的数据通过接口方式接入,适合对接业务系统或第三方平台。
  • ETL:对接入后的数据进行清洗、转换、标准化,让数据更可用。
  • 数据开发调度:把加工后的数据按时间与策略稳定产出,形成可持续的数据供给。

把这些环节放在同一条链路里,最大的好处是:流程更清晰、执行更一致、交接更顺畅——从“我知道要点哪些按钮”变成“我知道这条链路在做什么、为什么这么做”。

如果说过去更像“管理任务清单”,那任务链更接近“管理流程”,让数据生产从“点”走向“线”。

3)即席查询:左侧树归类 + 导出 Excel,让查询更像“工作台”

即席查询的本质是“快”:快速验证、快速查看、快速对外输出。但在实际使用中,常见痛点也很明确:

  • 查询越来越多,找不到
  • 想把结果交付给业务或同事,导出不便
  • 同一类查询缺少统一归档方式,难复用

因此本次对即席查询做了两项改造:

(1)左侧树归类:查询像文件夹一样可整理
新增左侧标签类目树,将查询按类目组织起来。你可以像浏览目录一样快速定位某一类查询,减少在列表里“翻来翻去”的时间成本。

(2)导出功能:查询结果一键导出为 Excel
在即席查询界面新增导出按钮,支持把当前查询条件下的数据导出为 Excel,用于会议沟通、离线分析或交付留档。

二、配置体验优化:Cron 表达式更直观,支持手动选择构建

调度配置中,cron 表达式一直是“功能强但门槛高”的代表:写得对不对、运行会不会按预期、是否存在边界情况,往往要靠经验。

本次更新对 cron 表达式配置做了优化,并新增 支持手动选择构建 的能力,让“配置调度”更贴近用户思维:

  • 更友好的配置方式:把常用配置的理解成本降下来,减少反复试错。
  • 支持手动选择构建:当你希望临时按某个策略构建/生成调度配置时,可以通过手动选择来完成,适合调试、验证或临时执行场景。

目标很明确:让调度配置从“靠记忆写表达式”,变成“可理解、可操作的配置过程”。

三、问题修复与稳定性增强

1)定时任务失效问题:优化参数 + 自愈机制,长期运行更稳

定时任务在长期运行(例如连续运行数天)时偶发失效,是生产环境里很“隐蔽但致命”的问题:短时间测试通常看不出来,一旦发生会直接影响数据产出与业务时效。

本次更新针对该问题做了两类处理:

  • 参数层面优化:对关键运行参数与执行策略进行调整,减少在高负载或长时间运行场景下的异常概率。
  • 自愈机制补齐:当调度器出现异常状态时,系统可进行检测与恢复,使调度能力具备“自我修复”的弹性,而不是完全依赖人工介入。

整体思路不是“出现一次修一次”,而是把调度当作长期服务来建设:可运行、可恢复、可持续。

2)多数据库语法兼容:PostgreSQL 与 DM 的关键差异已处理

在多数据库环境下,同一套业务逻辑在不同数据库上运行时,经常会遇到“语法差异导致的运行问题”。这次我们集中处理了两类典型兼容问题:

(1)PostgreSQL 语法兼容

  • date_format 属于某些数据库的函数习惯,在 PostgreSQL 上需要对应的实现方式。
  • 带反引号的别名写法在不同数据库解析规则不同,已做兼容处理。

(2)DM(达梦)语法兼容:关键字冲突报错
部分字段名/别名在 DM 上可能触发关键字冲突,本次已针对该问题完成修复。

这些修复的价值在于:同一套功能在不同数据库落地时,减少环境差异带来的额外成本,让“可迁移、可复用”更接近现实。

结语:把“能用”打磨成“好用、稳用”

这次更新既有新能力(TDengine 接入、任务链、即席查询归类与导出),也有体验优化(cron 配置与手动构建),更有面向生产环境的稳定性增强(定时任务自愈、跨库语法兼容)。

如果你正在使用平台进行数据接入、数据生产与即席分析,这些改动会体现在日常工作的细节里:更容易找到要用的查询、更顺畅地导出交付、更清晰地编排任务、更稳定地跑调度,以及更少因数据库差异踩坑。

下一步,我们也会把更多实际业务能力与 AI 结合,让平台从“能完成任务”逐步走向“更懂业务、更会辅助”:例如在接入配置、链路编排、查询与报表生成、异常定位与建议处理等环节,提供更智能、更贴近工作习惯的交互与助手能力。

欢迎在实际使用过程中继续反馈建议,我们会持续把功能打磨得更贴近真实场景,也会把智能能力做得更实用、更可靠。

感兴趣的朋友请关注公众号螺旋编程极客,我们一起成长,一起进步。

发表评论