无码人妻精品一区二区三18禁,影音先锋男人AV橹橹色,污污污污污污www网站免费,日韩成人av无码一区二区三区,欧美性受xxxx狂喷水

數據同步工具 DataX 已經正式支持讀寫 TDengine

TAOS Data

2022-06-22 /

小 T 導讀:DataX 是由阿里云開源的離線數據同步工具/平臺,目前已經支持多種主流異構數據源在內的高效的數據互相同步功能。我們的研發團隊完成了 TDengine 的適配,相關代碼已被 DataX 官方接受并合并到主干中。

 是由阿里云開源的離線數據同步工具/平臺,目前已經實現了包括 MySQL、Oracle、OceanBase、SQL Server、PostgreSQL、HDFS、Hive、HBase 等多種異構數據源在內的高效的數據互相同步功能。

DataX 的設計思路是:

DataX 本身作為數據同步框架,將不同數據源的同步抽象為從數據源讀取數據的 Reader 插件,以及向目標端寫入數據的 Writer 插件,理論上 DataX 框架可以支持任意數據源類型的數據同步工作。同時 DataX 插件體系作為一套生態系統,每接入一套新數據源,就可以實現該數據源和現有數據源的互通。

基于該設計思路,我們的研發團隊完成了 TDengine 的適配,實現了 TDengineReaderTDengineWriter 兩個插件,并被 DataX 官方接受,合并到了其主干中。

TDengineReader 提供的功能包括:

  1. 支持通過 SQL 進行數據篩選;
  2. 根據時間間隔進行任務切分;
  3. 支持 TDengine 的全部數據類型;
  4. 支持批量讀取,可以通過 batchSize 參數控制批量拉取結果集的大小,從而提高讀取性能。

TDengineWriter 支持的功能包括:

  1. 支持 OpenTSDB 的 json 格式的行協議,可以使用 TDengine 的 Schemaless 方式寫入 TDengine。
  2. 支持批量寫入,可以通過 batchSize 參數控制批量寫入的數量,從而提高寫入性能。

目前 TDengine 已經加入 DataX 正式支持的數據庫列表中。

TDengine Database 已經加入 DataX 正式支持的數據庫列表

現在,如果用戶要將歷史 Database(比如 MySQL、OpenTSDB 等)中的數據遷移到 TDengine,或者將 TDengine 中的數據導出,就可以利用 DataX 來實現了。

更多使用細節,可以參考“基于 DataX 的 TDengine 數據遷移工具”一文。

基于 DataX 的 TDengineWriter 和 TDengineReader 的實現和最新動態,請關注: