dtle 4.23.04.3

Release Notes

• 支持导出诊断job信息功能
• 支持指定job开启debug功能

dtle 4.23.04.2

Release Notes

• 对于双向复制(TwoWaySync), 反向job交换使用ColumnMapFrom|To配置项 #1053
• 全量复制: 增加死锁重试机制 #1055
• 修正一个潜在的job停滞问题 #1056

dtle 4.23.04.0

Release Notes

• kafka
  • 修正timestamp时区偏差 #957
  • 处理timestamp默认值 #537
  • 增加配置项DateTimeZone处理DateTime类型的时区偏差
• 处理MySQL server UUID含0的情况 #1034
• 修正@@lower_case_table_names相关问题 #1036 #1048
• 修正大事务停滞 #1040
• 当发生死锁时, 尝试重试事务(默认重试5次, 见配置项RetryTxLimit)
• 支持utf8mb3字符集 #1035
• 修正连接可能因wait_timeout关闭的问题 #1052
• dtle API:
  • 修正节点信息 #1037
  • 调整全量进度
  • 修正ListColumn顺序 #1051

dtle 4.22.11.0

Release Notes

调整

• 重要: 更改了job配置方式, 不兼容之前的配置, 需手动微调
  • 所有配置项移到 src task
    • ConnectionConfig 重命名为 SrcConnectionConfig 或 DestConnectionConfig
  • dest task 仅有一项配置 DestType = "mysql" # 或 kafka
  • 请参考 /usr/share/dtle/example.job.hcl
  • 请参考 4.3.作业(job)配置 · dtle manual
  • 从之前的版本升级时, 需重新建立job
• 使用独立的log文件, 不再与nomad共享 #723
  • 新增dtle配置项 log_file
  • 简化了调整log_level的流程
  • 参考 4.1.节点配置 · dtle manual

新增

• 新增job参数TwoWaySync进行单job双向复制
  • 避免双job方案潜在的循环复制问题 #592
• (beta)新增kafka参数 User、Password #968

修复

• 修正了 Decimal 列类型有默认值时, 报错问题 #1032

dtle 4.22.07.2

Release Notes

• 增量: 大事务: 增加了一层流水线, 提升性能 #1018
• 增量: 合并源端的连续insert #829-3
  • 单个事务中连续insert同一张表的场景, 性能提升
• 修复了潜在的任务出错后无法关闭问题 #1021
• 全量/增量: 对过大的数据量进行分割传送 #923
  • 避免因无法分配大块连续内存导致job停滞
  • 新配置项DumpEntryLimit

dtle 4.22.07.0

Release Notes

Oracle-MySQL :

• 支持全量同步 (#953)

MySQL-MySQL

• 增量：支持批量插入，显著提升特定场景性能 (#829)
• 增量：减少无用的query构造
• 增量：减少重复发送的ColumnMapTo (#994)
• 增量: 增加了执行SQL数量的监控 (#998)

修正

• 修复大事务重发时的复制停顿 (#1000)
• 修复gob register types.MyDecimal报错
• 修复unknown character set binary报错
• 对于跳过的Query，不再报错unknown character set (#995)

dtle 4.22.06.0

Release Notes

新功能

• 新job配置项：ColumnMapTo, 增强列映射的能力 #965

修复

• 增强MySQL 8.0支持
  • 8.0 -> 5.6/5.7复制过程中，转换8.0特有的字符集 #883
• MySQL-Kafka复制中，一个关于bit类型的数据不一致问题 #962
• MySQL-Kafka 同步过程 datetime类型异常问题 #966
• Oracle-MySQL update SQL panic问题 #947

dtle 4.22.04.0

新功能

• 支持UTF-32字符集 #895
• 支持中文库表名和非UTF-8 DDL #733
• ColumnMapFrom功能可转换create table语句 #913
• 支持更多SqlFilter #927
• 增加任务详情中任务停止/启动的日志信息 #925

修复

• create|alter procedure未能正确忽略的问题 #899
• 处理DDL时潜在的panic #926
• 重写DDL时不添加 _utf8mb4"string literal" #884
• 修复全量过程目标端DTLE重启导致同步停止问题 #904
• 任务列表未展示allocations状态问题 #915
• 修复oracle同步特殊字符错误问题 #890

dtle 4.22.01.0

Release Notes

Features:

• Oracle-MySQL增量同步DDL支持 #811
• Oracle-MySQL增量同步DML支持 #812
• Kafka 初步支持 Schema Change Topic (DDL) #859
• 行过滤 Where 条件增强
  • 支持 is [not] null #347
  • 支持一些函数 #301

Bug-fixes:

• 修复MySQL BinlogRelay (binlog文件本地中继) 不能使用的问题 #567
• 修复MySQL建库create schema字符集问题 #786
• 修复大写列名时无法识别主键的问题 #863
• 修复 create table ... like ... 语句, like 部分没有重命名问题 #875

dtle 3.21.11.0

Release Note

新功能

• 支持 create table ... partition #802 #803
• 支持 geometry type #808
• 多线程回放(Writeset MTS)支持 unique 列 #688-3
• 支持超过宿主机内存的大事务(beta) #779

修复

• alter table rename 后复制范围不正确 #790