小 T 導讀:DataX 是由阿里云開源的離線數據同步工具/平臺,目前已經支持多種主流異構數據源在內的高效的數據互相同步功能。我們的研發團隊完成了 TDengine 的適配,相關代碼已被 DataX 官方接受并合并到主干中。
是由阿里云開源的離線數據同步工具/平臺,目前已經實現了包括 MySQL、Oracle、OceanBase、SQL Server、PostgreSQL、HDFS、Hive、HBase 等多種異構數據源在內的高效的數據互相同步功能。
DataX 的設計思路是:
DataX 本身作為數據同步框架,將不同數據源的同步抽象為從數據源讀取數據的
Reader插件,以及向目標端寫入數據的Writer插件,理論上 DataX 框架可以支持任意數據源類型的數據同步工作。同時 DataX 插件體系作為一套生態系統,每接入一套新數據源,就可以實現該數據源和現有數據源的互通。
基于該設計思路,我們的研發團隊完成了 TDengine 的適配,實現了 TDengineReader 和 TDengineWriter 兩個插件,并被 DataX 官方接受,合并到了其主干中。
TDengineReader 提供的功能包括:
- 支持通過 SQL 進行數據篩選;
- 根據時間間隔進行任務切分;
- 支持 TDengine 的全部數據類型;
- 支持批量讀取,可以通過
batchSize參數控制批量拉取結果集的大小,從而提高讀取性能。
TDengineWriter 支持的功能包括:
- 支持 OpenTSDB 的 json 格式的行協議,可以使用 TDengine 的 Schemaless 方式寫入 TDengine。
- 支持批量寫入,可以通過
batchSize參數控制批量寫入的數量,從而提高寫入性能。
目前 TDengine 已經加入 DataX 正式支持的數據庫列表中。

現在,如果用戶要將歷史 Database(比如 MySQL、OpenTSDB 等)中的數據遷移到 TDengine,或者將 TDengine 中的數據導出,就可以利用 DataX 來實現了。
更多使用細節,可以參考“基于 DataX 的 TDengine 數據遷移工具”一文。
基于 DataX 的 TDengineWriter 和 TDengineReader 的實現和最新動態,請關注:



























