智能環保系(xi)統(tong)通(tong)常涉及大(da)量的(de)傳感器和(he)監測(ce)設備，以收(shou)集環境(jing)數(shu)據(ju)(ju)并對其進行分析和(he)處(chu)理，這些數(shu)據(ju)(ju)通(tong)常是時序(xu)數(shu)據(ju)(ju)，即在一(yi)段時間內(nei)按(an)時間順序(xu)生成的(de)數(shu)據(ju)(ju)，規模(mo)龐大(da)且要求快速準確地(di)進行分析和(he)處(chu)理。也因此時序(xu)數(shu)據(ju)(ju)處(chu)理是智能環保系(xi)統(tong)面臨的(de)一(yi)個重要難題，很多項(xiang)目在創建之初采用了傳統(tong)的(de)大(da)數(shu)據(ju)(ju)解決(jue)方案，隨著數(shu)據(ju)(ju)體量的(de)日(ri)益(yi)增(zeng)長，性能差(cha)、效率低、成本高等問題逐漸顯(xian)露。在本篇文章(zhang)中，我(wo)們匯總(zong)了三個典型的(de)智能環保項(xiang)目的(de)數(shu)據(ju)(ju)架(jia)構升級實(shi)踐，給到有需(xu)要的(de)企業參考。
中科惠軟 x TDengine
“以往智慧環保項(xiang)目我們采用(yong)(yong)(yong)(yong)傳統(tong)(tong)數(shu)據(ju)庫(ku)架構設計(ji)，對在(zai)(zai)海(hai)量秒級(ji)監測數(shu)據(ju)實(shi)時統(tong)(tong)計(ji)和(he)(he)分(fen)析耗(hao)時長、CPU 和(he)(he)內(nei)存利用(yong)(yong)(yong)(yong)率低(di)(di)、磁盤 IO 超負荷。在(zai)(zai) A 市(shi)智慧環保物聯(lian)網應用(yong)(yong)(yong)(yong)項(xiang)目我們創新(xin)使用(yong)(yong)(yong)(yong)了 TDengine，利用(yong)(yong)(yong)(yong)了實(shi)時流式計(ji)算(suan)相關函數(shu)，解決了大數(shu)據(ju)存儲和(he)(he)計(ji)算(suan)，降低(di)(di)了代碼開發(fa)復雜度，讓運(yun)維工作變得極(ji)為簡單，極(ji)大降低(di)(di)了運(yun)營(ying)成本。”
業務背景
中科惠軟承建的 A 市“智慧環保”物聯網應用項目需要采集各類感知設備產生的監測數據和監控設備各種運行狀態，項目每天采集各類監測數據 2 億余條，如果使用公司原架構，可以勉強將每天的數據存儲下來，但如果需要實現“某天下午兩點 A 路段有多少輛渣土車通過”類似條件的多緯度分組聚合查詢，那么采用傳統的數據庫就無法達成這類查詢需求了。考慮到各類感知監測設備會時刻產生大量秒級和分鐘級監測數據存儲和實時計算，在經過多個時序數據庫（Time Series Database）之間的性能(neng)和穩(wen)定性方面對(dui)比，最終，中科(ke)惠軟采用(yong)了 TDengine 對(dui)生態環境監測(ce)數據進行(xing)實(shi)時存儲、計算(suan)。
中科惠軟選型測試結果
昆岳互聯 x TDengine
“應用 TDengine 后(hou)，在(zai)(zai)進行(xing)每(mei)分鐘的(de)平(ping)(ping)均量(liang)進行(xing)實時(shi)計(ji)算(suan)時(shi)，我(wo)們只需要簡單的(de)定義時(shi)間窗(chuang)口和滑動(dong)增量(liang)，數(shu)(shu)據庫就能返回(hui)每(mei)分鐘的(de)平(ping)(ping)均量(liang)；在(zai)(zai)處理(li)實時(shi)監測(ce)、預(yu)警的(de)指標上，可(ke)(ke)以專門為這類(lei)數(shu)(shu)據建立流計(ji)算(suan)，并將計(ji)算(suan)結(jie)果(guo)(guo)寫入(ru)新的(de)表（如(ru)下(xia)strm_pt_0304）中存儲，這樣(yang)整個實時(shi)計(ji)算(suan)的(de)結(jie)果(guo)(guo)也可(ke)(ke)以做歷史(shi)(shi)回(hui)顧。原(yuan)本很多需要在(zai)(zai)程序中處理(li)的(de)數(shu)(shu)值計(ji)算(suan)，現在(zai)(zai)完全(quan)都由 TDengine 承(cheng)擔(dan)，不僅分擔(dan)了程序的(de)計(ji)算(suan)壓力，更重要的(de)是聚合結(jie)果(guo)(guo)可(ke)(ke)以自動(dong)持久化存儲，支持歷史(shi)(shi)數(shu)(shu)據即時(shi)回(hui)看。”
業務背景
昆岳互聯的“a 環保”APP 基于自主打造的環保產業互聯網平臺（INECO 平臺），對環境基礎設施海量數據實時處理與分析，可以秒級實時采集工業大氣環保各項監控指標的數據，分別通過年、月、日三個維度，結合不同的采集頻率周期，對采集到的海量數據進行分析、展示。在進行數據庫選型中，分別對比了阿里的時序數據庫 TSDB、傳統的 MySQL 以及(ji) TDengine 后，最終 TDengine 憑(ping)借著高效的性(xing)能(neng)和獨特的設計思路脫穎而出(chu)。
架構圖
廣東環境科學研究院 x TDengine
“我(wo)們(men)的一張(zhang)超級(ji)表中(zhong)存儲了(le)(le) 76.5 億(yi)(yi)條(tiao)數據（四張(zhang)超級(ji)表總共 160 億(yi)(yi)條(tiao)數據），分散在 19,419 張(zhang)子表中(zhong)，平(ping)均每張(zhang)表 39 萬行(xing)。由于(yu)(yu) TDengine 超級(ji)表特性，再加上列式存儲和超高的壓縮能力，這些數據僅(jin)占用了(le)(le) 240GB 內存，不僅(jin)幫(bang)助我(wo)們(men)節省了(le)(le)大量的存儲空間，也為(wei)數據查(cha)詢性能打下了(le)(le)良好的基礎：對于(yu)(yu) 76 億(yi)(yi)行(xing)的超級(ji)表，分組 TOP 查(cha)詢僅(jin)用了(le)(le) 0.2 秒；基于(yu)(yu) TDengine 返回 2,968 行(xing)，僅(jin)用了(le)(le) 0.06 秒。”
業務背景
為(wei)解決國內環境(jing)質量(liang)管理、污(wu)染源監管和(he)數(shu)(shu)(shu)(shu)字政府等(deng)生(sheng)態環境(jing)數(shu)(shu)(shu)(shu)據(ju)(ju)(ju)(ju)的(de)管理工作，廣東(dong)科學研究院(yuan)創建了(le)生(sheng)態環境(jing)數(shu)(shu)(shu)(shu)據(ju)(ju)(ju)(ju)治(zhi)理服務(wu)(wu)項目，幫(bang)助企業(ye)打通所有相(xiang)關(guan)的(de)業(ye)務(wu)(wu)信息系(xi)(xi)統、建立數(shu)(shu)(shu)(shu)據(ju)(ju)(ju)(ju)倉(cang)庫。與一般(ban)的(de)數(shu)(shu)(shu)(shu)據(ju)(ju)(ju)(ju)存(cun)(cun)儲要(yao)求(qiu)(qiu)不(bu)同，該項目感知層的(de)存(cun)(cun)儲方案對(dui)數(shu)(shu)(shu)(shu)據(ju)(ju)(ju)(ju)讀(du)寫頻度和(he)低延時要(yao)求(qiu)(qiu)更高，同時由(you)于數(shu)(shu)(shu)(shu)據(ju)(ju)(ju)(ju)量(liang)極大，還(huan)需要(yao)更高的(de)存(cun)(cun)儲效率，此前(qian)采用關(guan)系(xi)(xi)型數(shu)(shu)(shu)(shu)據(ju)(ju)(ju)(ju)庫進行數(shu)(shu)(shu)(shu)據(ju)(ju)(ju)(ju)存(cun)(cun)儲，最多只能保留 3-5 天(tian)的(de)數(shu)(shu)(shu)(shu)據(ju)(ju)(ju)(ju)，不(bu)得(de)不(bu)按天(tian)刪除舊數(shu)(shu)(shu)(shu)據(ju)(ju)(ju)(ju)。之后考慮過采用 PostgreSQL 的(de) TimescaleDB 擴展，但卻不(bu)滿足政務(wu)(wu)信息化(hua)自主可(ke)控的(de)要(yao)求(qiu)(qiu)。在經過很長一段時間的(de)研究和(he)測試后，TDengine 被成功應用。
架構圖
結語
從上述企業實踐來看，TDengine 在智能環保(bao)項目上的(de)(de)應用(yong)(yong)具(ju)有很大的(de)(de)優勢(shi)，可以實現高(gao)效的(de)(de)數據采集、存儲、分析和(he)展示等功能，為(wei)環保(bao)系統提(ti)供有力的(de)(de)技術支(zhi)持。目前，全托管的(de)(de)時序數據云(yun)服務平臺(tai) TDengine Cloud 也已經上線，極(ji)致的(de)(de)彈性伸(shen)縮(suo)能進一步提(ti)升業(ye)務的(de)(de)降本增效，非常歡迎大家來試(shi)用(yong)(yong)~如果你正(zheng)面臨(lin)數據處理難題(ti)，也可添加小T微信（tdengine），申請(qing)加入 TDengine 技術交流(liu)群，和(he)志同(tong)道合的(de)(de)開發者共同(tong)探討解決路徑。
