无码人妻精品一区二区三18禁,影音先锋男人AV橹橹色,污污污污污污www网站免费,日韩成人av无码一区二区三区,欧美性受xxxx狂喷水

從 OpenTSDB 到 TDengine,至數物聯網IoT平臺技術改造之路

至數搖光 李友龍

2022-03-15 / ,

小 T 導讀:至數(shu)(shu)(shu)物聯(lian)網平臺(tai)場景(jing)多、數(shu)(shu)(shu)據模型復雜,伴隨著(zhu)業務需求的(de)不斷迭代(dai)及(ji)數(shu)(shu)(shu)據量的(de)不斷上漲(zhang),原有的(de) OpenTSDB+MySQL 的(de)組(zu)合逐漸力(li)不從心,局(ju)限性日益凸顯。在對 TDengine Database 進(jin)行充(chong)分(fen)了(le)解與調研后,基(ji)于 TDengine 對至數(shu)(shu)(shu)搖光進(jin)行了(le)徹底(di)性的(de)改(gai)造。本(ben)文分(fen)享(xiang)了(le)至數(shu)(shu)(shu)結合自身平臺(tai)特點進(jin)行系統架構升級(ji)改(gai)造的(de)經驗,以供(gong)參考(kao)。

公司簡介&項目背景

至數(Medatc)是一(yi)家致(zhi)力(li)于打造行業最佳設備(bei)資產數據(ju)(ju)化運營、管理(li)、服務的平(ping)臺,為(wei)客戶提供全(quan)方位的設備(bei)資產管理(li)支(zhi)撐(cheng),其擁有豐富(fu)的行業經驗,以及(ji)在(zai)大(da)數據(ju)(ju)、人(ren)工智能、物聯網、互聯網+領域(yu)的創新實踐能力(li)。公司(si)成立至今已經獲(huo)得紅杉資本等(deng)知名投資機構的戰(zhan)略投資。

至數搖光(即:至數物聯(lian)網(wang)平臺)通過動態能量主動標識,動態環境主動標識,智(zhi)能網(wang)關,應用工業互聯(lian)網(wang)時序數據(ju)高(gao)(gao)效采集,邊緣計算(suan)以及智(zhi)能算(suan)法自動分發等一(yi)系列技術(shu),基于醫療設(she)備(bei)行業主數據(ju)規范,助力醫療機構短周(zhou)期(qi)、低成本、高(gao)(gao)質量、廣覆蓋地實(shi)現有源(yuan)設(she)備(bei)智(zhi)慧管(guan)理。

一、至數搖光具有場景多、數據模型復雜的特點

至(zhi)數(shu)搖光是以(yi)提(ti)效(xiao)降(jiang)耗為(wei)目(mu)標(biao),幫助(zhu)醫療機構實(shi)現有(you)源(yuan)設(she)備的高效(xiao)管理,為(wei)設(she)備使(shi)用(yong)效(xiao)率智能(neng)分析(xi),設(she)備科學配置(zhi),設(she)備動態調配,設(she)備安全保障提(ti)供全方位支撐。目(mu)前共(gong)推出(chu)了 15 項智能(neng)場景應(ying)用(yong),30 項事件及異常(chang)告警提(ti)醒。

至(zhi)數搖(yao)光的(de)(de)(de)上述場(chang)(chang)景(jing)改(gai)造前數據(ju)庫(ku)(ku)采用(yong) OpenTSDB+MySQL 結合的(de)(de)(de)方式實(shi)(shi)現,由于 OpenTSDB 無法滿足(zu)復雜查詢場(chang)(chang)景(jing),因此 80% 的(de)(de)(de)場(chang)(chang)景(jing)指標只能基于 MySQL 數據(ju)庫(ku)(ku)來實(shi)(shi)現,這(zhe)樣帶(dai)來的(de)(de)(de)問題(ti)就是 MySQL 數據(ju)庫(ku)(ku)的(de)(de)(de)數據(ju)增長(chang)迅速,需要定(ding)時做(zuo)冷熱數據(ju)分離及(ji)數據(ju)庫(ku)(ku)表維(wei)護動作。

二、TDengine 助力至數物聯網平臺實現技術改造

作為(wei)一(yi)個大而全的(de)數據(ju)庫(ku),OpenTSDB 稍顯笨重,伴隨著業務需求的(de)不(bu)(bu)斷(duan)迭代(dai)及數據(ju)量的(de)不(bu)(bu)斷(duan)上漲,其局限性日(ri)益凸顯,系統的(de)架構升級和改造工作日(ri)漸迫切。

2021 年我們在對 TDengine Database 有了充分的了解后,決定將至數搖光從時序數據 OpenTSDB 遷移到 TDengine,并基(ji)于 TDengine 的特性對搖光進(jin)行徹(che)底性的改造。目前改造工作已經(jing)全部完成,改造后有(you)大約 80% 左右(you)的指標模型(xing)放到了 TDengine 中(zhong),20% 左右(you)的主數據或維表數據存(cun)放在 MySQL 數據庫(ku)中(zhong)。

相較(jiao)于(yu)改造前的 80% 指(zhi)標模(mo)型存放(fang)(fang)在 MySQL 中(zhong),20% 指(zhi)標數(shu)據(ju)(ju)存放(fang)(fang)在 OpenTSDB 數(shu)據(ju)(ju)庫中(zhong),結(jie)果(guo)剛好進行(xing)了(le)顛倒,服務器資源(yuan)使用情況也(ye)有所下降(jiang)。應用整體(ti)的頁(ye)面影(ying)響速度(du)顯著提高,數(shu)據(ju)(ju)模(mo)型及數(shu)據(ju)(ju)指(zhi)標上也(ye)可以(yi)更加地(di)靈活(huo)多(duo)變。

以下為至數搖(yao)光(guang)網絡(luo)拓撲路圖(tu):

至數搖光網絡拓撲路圖

以下為改造前(qian)后的數據庫(ku)對比:

改造前后的數據庫對比

以下(xia)以 11 萬條數據表來(lai)做(zuo)查詢,結果如下(xia):

11萬數據用時0.091578s

聚合查詢,1,155,876 條數據在耗時不到 0.17 秒的時間完成 GROUP BY 聚合查詢

聚合查詢截圖

寫入(ru)情(qing)況,這(zhe)(zhe)里截了(le)一張(zhang) Flink 寫入(ru)TDengine 數據庫圖片,3 個小時左右的(de)時間里寫入(ru)了(le) 250 萬(wan)條采集數據,這(zhe)(zhe)樣的(de)寫入(ru)量遠遠沒有(you)達到 TDengine 的(de)寫入(ru)瓶頸,對業務(wu)的(de)增長留有(you)充裕(yu)的(de)空間。 

Flink 寫入TDengine 數據庫圖片

下(xia)面是我們的(de)部分(fen)應用展示:

應用展示1
應用展示2

三、TDengine 使用上的一些意見反饋

我(wo)們有(you)些按小時(shi)(shi)、按天、按月(yue)的(de)(de)指標計(ji)算(suan)的(de)(de)時(shi)(shi)候如果(guo)當時(shi)(shi)的(de)(de)維表(biao)數(shu)(shu)據(ju)(ju)有(you)誤需要重(zhong)(zhong)算(suan),重(zhong)(zhong)算(suan)的(de)(de)數(shu)(shu)據(ju)(ju)需要覆蓋之前的(de)(de)數(shu)(shu)據(ju)(ju)或者把(ba)之前的(de)(de)數(shu)(shu)據(ju)(ju)刪除(chu)(chu)掉重(zhong)(zhong)新寫(xie)入。不(bu)過 TDengine Database 目前不(bu)支(zhi)持數(shu)(shu)據(ju)(ju)刪除(chu)(chu),希望(wang)未(wei)來能夠支(zhi)持刪除(chu)(chu)功能。

目前更(geng)新只(zhi)支持(chi)更(geng)新相同時間戳數據,希望 tag 和普(pu)通字段(duan)能夠聯合篩選做 update;也有業務場景(jing)需(xu)要此類(lei)功能。

另外,目(mu)前排(pai)序還存(cun)在一定(ding)的限制,希望 tag 和普通字段(duan)能夠進行自由升降序排(pai)列。

最后感謝濤(tao)思團隊開源出(chu)來 TDengine 這款(kuan)優秀的(de)時序(xu)數(shu)據庫系統,也要(yao)感謝一下(xia)濤(tao)思團隊對至數(shu)研發團隊的(de)支持(chi)與幫助,祝福濤(tao)思數(shu)據越辦越好!

大數據平臺,TDengine 如何處理百億行級大數據?