對于數據分析師來說,花費大量時間處理數據并不罕見。因為關系型數據庫可以提供復雜的分析能力,一種方法便是將時間序列數據存入關系型數據庫進行分析。直接將實時數據寫入關系數據庫存在重大的寫入性能瓶頸,因此往往先將時序數據寫入時序數據庫(Time Series Database, TSDB),然后(hou)從時序數(shu)(shu)(shu)據庫(ku)批(pi)量導(dao)出數(shu)(shu)(shu)據,格式化并轉換數(shu)(shu)(shu)據后(hou),將其加(jia)載到關系數(shu)(shu)(shu)據庫(ku)或(huo)數(shu)(shu)(shu)據倉庫(ku)中進(jin)行分析。這(zhe)種(zhong)解決方案(an)完全可以工作,但復(fu)雜(za)且(qie)成(cheng)本高昂。
另外(wai)一種(zhong)方法就是使(shi)用支持(chi) SQL 查(cha)詢語(yu)言的(de)(de)時序數據(ju)庫。SQL 是一種(zhong)用于選擇、過濾和將(jiang)數據(ju)連接(jie)在(zai)一起(qi)進行(xing)數據(ju)分(fen)析的(de)(de)強(qiang)大工具。TDengine 是支持(chi) SQL 的(de)(de)時序數據(ju)庫,對于數據(ju)分(fen)析師而言,使(shi)用 TDengine 就像在(zai)使(shi)用一個(ge)關(guan)系型數據(ju)庫。而且通過超級表(biao)、存儲(chu)和計算(suan)分(fen)離、數據(ju)按(an)時間分(fen)區、預計算(suan)等多種(zhong)手段,TDengine 提供了強(qiang)大而又簡(jian)單易用的(de)(de)分(fen)析能(neng)力(li)。具體而言,TDengine 的(de)(de)分(fen)析能(neng)力(li)具有以(yi)下顯著特點:
- 多個數據采集點之間的高效聚合:TDengine 針對時序數據的特點,提出創新的概念,將時序數據與數據分離存儲。無需 JOIN,只需要指定超級表的標簽過濾條件,就可將同類型的數據采集點進行高效的聚合操作,這使得組織和查找數據更加簡單。此外,TDengine 允許向每個數據采集點添加多達 128 個標簽,也支持在以后刪除和更新這些標簽。TDengine 提供了一種將數據切割成多維立方體以進行多維分析的強大方法。
- 計算存儲分離:從 3.0 起,TDengine 支持存算分離,系統可以根據需要,啟動一個或多個計算節點,增加計算資源,加快復雜查詢的速度,減小 Latency。對于云平臺,計算節點可以是一個容器,可以快速地啟動或停止,計算存儲分離將充分利用云平臺的彈性計算資源。
- 歷史與實時數據的分析完全統一:TDengine 按時間段對數據自動進行分區,即使是 10 年的數據,也無需分庫分表,不存在檔案數據一說。為降低存儲成本,按照數據的新老程度,實行多級存儲,但對用戶而言是完全透明的。無論是查詢最新數據還是 10 年前的數據,只是查詢的起止時間不同。
- 時序數據分析的特有功能:TDengine 在標準 SQL 的基礎上,針對時序數據的處理進行擴展,提供累計求和、時間加權平均、移動平均、變化率、時間窗口,session 窗口、state 窗口、插值等眾多時序數據分析功能。通過時間窗口和插值,可以將不同數據采集點的數據按固定時間間隔將數據的時間戳對齊,便于后續的進一步分析。可以參考 了解更多信息。
- 實時數據分析:TDengine 既提供了時間驅動的流式計算(連續查詢),也提供了事件驅動的流式計算。不僅可以對單個數據采集點生成的數據流進行流式計算,也可以對多個采集點的數據流聚合后進行流式計算。對的支持更是讓流計算能方便地提供對數據的前置處理、轉換或任何其他復雜計算。關于流式計算,請看用戶文檔。
- 支持Python:不僅提供 ,還支持 Pandas 及 data frame,讓喜愛 Python 的數據分析師可以很方便地利用各種 Python 庫做時序數據分析。
- 其他便捷的數據訪問、分析手段:利用 TDengine 提供的,可以在終端執行各種即席查詢、或者導入導出數據。提供 R 與 Matlab 以及多種編程語言的連接器,支持與 、Google Data Studio 的無縫集成。
在(zai)一般的場景下,TDengine 可以作為時序數(shu)(shu)據倉(cang)庫(Time-Series Data Warehouse) 使用,不再需(xu)要將(jiang)時序數(shu)(shu)據導入(ru)到(dao)專門的數(shu)(shu)據倉(cang)庫或數(shu)(shu)據湖進行(xing)處(chu)理分析,數(shu)(shu)據平臺的成(cheng)本將(jiang)大幅降(jiang)低(di)。
更多亮點 >>


























