无码人妻精品一区二区三18禁,影音先锋男人AV橹橹色,污污污污污污www网站免费,日韩成人av无码一区二区三区,欧美性受xxxx狂喷水

“一個數據采集點一張表”大幅提升時間序列數據的插入和查詢性能

小T

2022-07-07 / ,

物聯網、車聯網、工業互聯網等場景的數據是時間序列數據,具有有其獨特性,如果可以充分利用這些獨特之處,推出一款時序數據庫,就可以(yi)大幅(fu)提升(sheng)時間序列數據的插(cha)入和(he)查詢性(xing)能。

TDengine 是一款高性能、分布式、支持 SQL 的時序數據庫(Time Series Database,TSDB),其 TSDB 核心(xin)代(dai)碼包(bao)括集群功(gong)能(neng)全(quan)部開(kai)源,同時 TDengine 還帶有內建的緩(huan)存、流式計算、數據(ju)訂閱(yue)等系統功(gong)能(neng),能(neng)大幅減少研(yan)發和運維的復(fu)雜度,可廣泛應用(yong)于物(wu)聯(lian)網、車聯(lian)網、工(gong)業互聯(lian)網、IT 運維、金融等領域。

為充分利用時間序列數據的特點,TDengine 采用一個數據采集點一張表的策略,要求對每個數據采集點單獨建表。
數據采集點是指按照預設時間周期或受事件觸發采集物理量的硬件或軟件。一個數據采集點可以采集一個或多個采集量,但這些采集量都是同一時刻采集的,具有相同的時間戳。對于復雜的設備,往往有(you)(you)多個(ge)數(shu)據(ju)(ju)(ju)采(cai)(cai)集(ji)(ji)(ji)點(dian),每個(ge)數(shu)據(ju)(ju)(ju)采(cai)(cai)集(ji)(ji)(ji)點(dian)采(cai)(cai)集(ji)(ji)(ji)的周期都可能(neng)不一樣(yang),而(er)且(qie)完全(quan)獨(du)立(li),不同(tong)步(bu)。比如對于一臺汽車,有(you)(you)數(shu)據(ju)(ju)(ju)采(cai)(cai)集(ji)(ji)(ji)點(dian)專門采(cai)(cai)集(ji)(ji)(ji) GPS 位置,有(you)(you)數(shu)據(ju)(ju)(ju)采(cai)(cai)集(ji)(ji)(ji)點(dian)專門采(cai)(cai)集(ji)(ji)(ji)發動(dong)機狀態,有(you)(you)數(shu)據(ju)(ju)(ju)采(cai)(cai)集(ji)(ji)(ji)點(dian)專門采(cai)(cai)集(ji)(ji)(ji)車內的環境,這樣(yang)一臺汽車就有(you)(you)三個(ge)數(shu)據(ju)(ju)(ju)采(cai)(cai)集(ji)(ji)(ji)點(dian)。

時間(jian)(jian)序列數據(ju)是(shi)結(jie)構化的(de)(de)(de),因此,TDengine 采(cai)取的(de)(de)(de)是(shi)結(jie)構化存儲,而不是(shi)流行的(de)(de)(de) KV 存儲。由于時間(jian)(jian)序列數據(ju),每個數據(ju)采(cai)集點的(de)(de)(de)數據(ju)源是(shi)唯一的(de)(de)(de),而且用戶關心的(de)(de)(de)往(wang)往(wang)是(shi)一個時間(jian)(jian)段的(de)(de)(de)數據(ju),而不是(shi)某(mou)個特殊時間(jian)(jian)點。一個數據(ju)采(cai)集點一張(zhang)表的(de)(de)(de)策略,有(you)幾(ji)大(da)優(you)點:

  1. 由于不同數據采集點產生數據的過程完全獨立,每個數據采集點的數據源是唯一的,一張表也就只有一個寫入者,這樣就可采用無鎖方式來寫,寫入速度就能大幅提升。
  2. 對于一個數據采集點而言,其產生的是時間序列數據,因此寫的操作可用追加的方式實現,進一步大幅提高數據寫入速度。
  3. 一個數據采集點的數據是以塊為單位連續存儲的。如果讀取一個時間段的數據,它能大幅減少隨機讀取操作,成數量級的提升讀取和查詢速度。
  4. 一個數據塊內部,采用列式存儲,對于不同數據類型,采用不同壓縮算法,而且由于一個數據采集點的采集量的變化是緩慢的,壓縮率更高。

如果采用傳統的方式,將多個數據采集點的數據寫入一張表,由于網絡延時不可控,不同數據采集點的數據到達服務器的時序是無法保證的,寫入操作是要有鎖保護的,而且一個數據采集點的數據是難以保證連續存儲在一起的。
因此,采用一個數據采集點一張表的方式,能最大程度的保證單個采集點,時間序列數據的插入和查詢的性能是最優的。