2023年11月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
新增 | 新增 SQL Server > TCHouse-P、Oracle > TCHouse-P 实时同步链路。 新增 Oracle、SQL Server、Mongo 单表读取节点支持仅增量读取方式。 支持正则表达式批量匹配分库分表。 集成资源组支持指标监控与告警。 | 2023-11-30 | ? |
优化 | 优化离线资源指标计算及资源动态扩缩容逻辑，提升离线任务运行稳定性和可靠性。 提升集成离线任务补数据运维能力，包括多时间选择、补录资源切换、并行度设置等。 文件类数据读取与写入能力增强。全面优化 FTP/SFTP 数据源离线读写，COS 文件离线写入能力提升，支持 ORC 格式写入，目标路径支持时间变量。 离线读写性能优化，Hive ORC 格式写入性能提升。 新增新用户引导流程，优化前端细节交互体验 | 2023-11-30 | ? |
2023年08月
支持Mysql-Doris整库同步，支持DDL感知与变更、优化支持批量及手动建表；实时同步至DLC新增支持全量append+增量Upsert模式。
2023年06月
实时链路支持丰富数据源，支持全维度状态监控、智能告警、脏数据处理，支持同步过程脏数据阈值等高级配置。
2023年05月
类型 | 动态名称 | 动态描述 | 发布时间 | 相关文档 |
新增 | 实时同步： MySQL 整库同步支持多实例 | 整库任务中扩展支持多 MySQL 实例，单整库任务支持实例、库、表级别数据变更监控。 | 2023/5/20 | |
? | 实时同步： Kafka 目标端支持指定分区映射策略 | 实时同步至 kafka 支持多种 partition 分区映射策略，包括轮询、根据表/字段/自定义参数的内容Hash 映射、固定分区等。 | 2023/5/20 | |
优化 | 实时同步： 新增优化任务指标监控及展示 | 优化支持源端全量、增量同步阶段里程碑展示，优化库、表、资源级监控指标。 | 2023/5/20 | |
? | 离线同步： Hbase 支持动态列写入 | Hbase 端支持根据来源字段内容进行动态列匹配及写入。 | 2023/5/20 | |
? | 离线同步： Kafka 读取端支持默认内置参数 | 展示并支持__key__ 、__value__ 等字段可直接获取并同步消息键、内容、分区等信息。 | 2023/5/20 | |
? | 离线同步： ES 写入端支持_id等内置参数 | 展示并支持 _id 等字段，可支持获取并同步document id 信息。 | 2023/5/20 | |
? | 整体： 同步任务支持提交检测 | 离线及实时任务提交时，增加读写配置、网络、资源等重点配置项检测。 | 2023/5/20 | |
? | 整体： 支持高级搜索及筛选条件 | 离线及实时任务配置及运维列表优化增加多种搜索及筛选条件。 | 2023/5/20 | |
?
2023年04月
类型 | 动态名称 | 动态描述 | 发布时间 | 相关文档 |
优化 | 实时同步： MySQL 至Doris 实时整库迁移支持 DDL 变更感知及响应 | 实时整库同步任务中，针对 MySQL、TDSQL-C MySQL 数据源表及字段级别 DDL 变更，Doris 端支持对源端进行跟随新建表/字段、异常告警等响应策略。 | 2023/4/20 | |
? | 实时同步： MySQL 整库迁移支持 gh-ost DDL 变更工具 | 实时整库同步任务中，针对 MySQL 数据源完成gh-ost 在线 DDL 变更工具适配，可感知 gh-ost 进行的在线 DDL 变更。 | 2023/4/20 | |
? | 实时同步： 实时任务读端、写端及任务级别高级参数 | 实时任务可设置 checkpoint、最大重启次数等进行自定义调优。 | 2023/4/20 | |
? | 实时同步： 日志采集 Agent 支持自动回收 | 针对自建服务器日志采集 Agent 支持设置最大生命周期，针对到期心跳超时的 Agent 提供自动回收能力。 | 2023/4/20 | |
新增 | 实时同步： 支持 Mongo 整库实时同步至 DLC | 新增支持 Mongo 整库、指定表、指定库实时同步至 DLC Iceberg 表。 | 2023/4/20 | |
? | 实时同步： 支持 Oracle 整库实时同步至 Hive | 新增支持 Oracle 整库、指定表、指定库实时同步至 Hive 表及分区。 | 2023/4/20 | |
? | 离线同步： 离线集成任务支持脚本模式（部分数据源） | 针对 MySQL、CK 等数据支持脚本模式创建离线任务。 | 2023/4/20 | |
?