小 T 導讀：TDengine 承擔著夢芯(xin)形(xing)變安全監測解(jie)算系統(tong)核心數據庫的(de)角色，幫助(zhu)夢芯(xin)刻印機解(jie)決了(le)高效(xiao)率記錄站點的(de)原始數據、解(jie)算后的(de)形(xing)變數據等海量數據的(de)存取及使(shi)用(yong)上的(de)巨大難題。本(ben)文分享了(le)基于本(ben)項目進行(xing)數據庫選型、搭建和實(shi)際效(xiao)果的(de)具體經驗。

公司簡介

武漢(han)夢(meng)(meng)芯科技(ji)是一(yi)(yi)家專(zhuan)業從事高集成度芯片設計(ji)和高性能室(shi)內外定(ding)位(wei)研究(jiu)的(de)高新技(ji)術企業，致力(li)于為各類智能終端產(chan)品(pin)提供北(bei)斗(dou)定(ding)位(wei)核心技(ji)術和元器件，為北(bei)斗(dou)在高精度應(ying)用(yong)領域的(de)推廣提供差異化(hua)的(de)完整解決方案。夢(meng)(meng)芯科技(ji)自主研發(fa)的(de)啟夢(meng)(meng)芯片系列(lie)(lie)產(chan)品(pin)入選(xuan)中(zhong)國衛(wei)(wei)星導(dao)航專(zhuan)項北(bei)斗(dou)基礎產(chan)品(pin)推薦名錄，在國家北(bei)斗(dou)辦組織的(de)權威比測(ce)中(zhong)名列(lie)(lie)前茅(mao)，以第一(yi)(yi)梯隊(dui)的(de)成績獲得國家北(bei)斗(dou)辦資(zi)金(jin)支持，并多次獲得衛(wei)(wei)星導(dao)航定(ding)位(wei)科技(ji)進步獎(jiang)(jiang)(jiang)(jiang)一(yi)(yi)等(deng)獎(jiang)(jiang)(jiang)(jiang)、衛(wei)(wei)星導(dao)航定(ding)位(wei)創(chuang)新應(ying)用(yong)獎(jiang)(jiang)(jiang)(jiang)“金(jin)獎(jiang)(jiang)(jiang)(jiang)”等(deng)榮譽。

項目介紹

地質災害(hai)隱患(huan)點多分布在交通、通訊(xun)、電力保障等都極(ji)為不方便的地區，一旦發(fa)(fa)生(sheng)大都會(hui)造成(cheng)嚴重損害(hai)，其原因往(wang)往(wang)是因為難以事先準確(que)預報災害(hai)發(fa)(fa)生(sheng)的地點、時間和強(qiang)度。對地質災害(hai)隱患(huan)，特別是滑坡、泥石流等危害(hai)極(ji)大的地質災害(hai)進行低成(cheng)本、便捷、長期、自(zi)動化的監測，并及時將(jiang)災害(hai)發(fa)(fa)生(sheng)的實時狀(zhuang)況反映到相關管(guan)理部門，是保障人民(min)生(sheng)命安(an)全(quan)、減少人民(min)財(cai)產損失的必(bi)要手段。

基于(yu)上述背景，夢芯(xin)形(xing)變(bian)安全監測(ce)(ce)解算(suan)系統應運而生。其采用(yong)夢芯(xin)高(gao)精度(du)(du)(du)定位(wei)方案，能夠為應用(yong)目標提(ti)供(gong) 24h 不間斷監測(ce)(ce)，實時掌握隱患點的(de)位(wei)移(yi)變(bian)化(hua)情況，具(ju)有較(jiao)高(gao)的(de)監測(ce)(ce)精度(du)(du)(du)。系統支持 BDS、GPS、GLONASS、Galileo 等衛星定位(wei)系統數據觀測(ce)(ce)，支持無線(xian)網絡(luo)，可實現數據的(de)遠(yuan)程傳輸，提(ti)供(gong)日、周、月、年的(de)數據統計結果。基準站和(he)監測(ce)(ce)站均可采用(yong)夢芯(xin)高(gao)精度(du)(du)(du) GNSS 監測(ce)(ce)專(zhuan)用(yong)接(jie)收機，最大(da)程度(du)(du)(du)上降(jiang)低成本(ben)。

在此項目中，TDengine 承(cheng)擔(dan)著核心數(shu)據庫的(de)角色，它幫助我們解決了高效率(lv)記錄站點的(de)原始數(shu)據、解算后(hou)的(de)形變數(shu)據等(deng)海(hai)量數(shu)據的(de)存取及使(shi)用上的(de)巨大(da)難題。

一、基于業務場景進行數據庫選型

形變(bian)安全監(jian)(jian)測解算系(xi)(xi)(xi)(xi)統(tong)由數據分(fen)析(xi)管理和(he)數據顯示(shi)(shi)預警兩部分(fen)組(zu)成。數據分(fen)析(xi)管理系(xi)(xi)(xi)(xi)統(tong)包括站點(dian)管理、信息管理、統(tong)計分(fen)析(xi)、隱患點(dian)管理、系(xi)(xi)(xi)(xi)統(tong)管理等，數據顯示(shi)(shi)預警系(xi)(xi)(xi)(xi)統(tong)包括實時監(jian)(jian)控、圖像監(jian)(jian)測、預警管理等。

數(shu)據(ju)(ju)分析管理(li)服務負(fu)責對接收到的 GNSS 數(shu)據(ju)(ju)進行解(jie)碼和解(jie)算，獲取(qu)監測(ce)點的實時位置坐(zuo)標，并對數(shu)據(ju)(ju)處(chu)理(li)結果進行管理(li)和數(shu)據(ju)(ju)共享、用戶管理(li)、定期自動備份等，以實現監測(ce)區域全天候在無人值守的情況下也能確(que)保系統(tong)長(chang)期處(chu)于工作狀(zhuang)態，滿足(zu)實時監控需求(qiu)，節約人力(li)資源成本。

數據顯示預(yu)警(jing)系統負(fu)責(ze)對解算出的(de)監(jian)測點位置坐標進(jin)行(xing)集中和圖(tu)形(xing)化顯示，根據解算結果自動(dong)生(sheng)成(cheng)形(xing)變歷史曲線、衛星分布圖(tu)、載噪比柱狀圖(tu)，實時展現各(ge)監(jian)測點的(de)實時狀態，并(bing)根據預(yu)設的(de)警(jing)戒值(zhi)進(jin)行(xing)風險(xian)判別，以聲光、短(duan)消(xiao)息等形(xing)式進(jin)行(xing)多渠道預(yu)警(jing)信息發布，及時將災害發生(sheng)的(de)實時狀況反映到相關管(guan)理(li)部門。

平臺業務部分截圖如下：

對數據進(jin)行分(fen)析后(hou)可知，系(xi)統的工作場景(jing)基于大(da)并發、高頻、大(da)數據量(liang)，主要包含以下幾類：

• 一體化智能監測站上傳監測數據頻率最高 1 赫茲
• 解算后的實時形變數據頻率最高 1 赫茲
• 依據以上數據產生的更大量級衍生數據

形變安全監(jian)測(ce)解算(suan)系統(tong)需要針對監(jian)測(ce)目標進行實時監(jian)測(ce)，如何(he)高效(xiao)(xiao)率(lv)地記(ji)錄站點(dian)的(de)原始數(shu)據(ju)、解算(suan)后(hou)的(de)形變數(shu)據(ju)，是(shi)保障整個平(ping)臺運行效(xiao)(xiao)率(lv)和(he)穩(wen)定監(jian)測(ce)至關重要的(de)一環。由于(yu)該項目設備量(liang)大(da)、數(shu)據(ju)量(liang)大(da)、頻(pin)率(lv)高，單(dan)是(shi)進行存儲已經不(bu)易，如果(guo)還要對數(shu)據(ju)進行查詢下(xia)載等操作，無疑是(shi)難上加難。這些(xie)問(wen)題橫亙(gen)眼前，也讓我(wo)們在數(shu)據(ju)庫選擇上尤為(wei)慎重。

在(zai)此之前，我們的業務架構如下圖所示(shi)，實(shi)際運行過(guo)程(cheng)中遇到了很(hen)多痛(tong)點。比如說，當時數(shu)(shu)據(ju)(ju)保存在(zai) MySQL 中且采用了分庫分表的形(xing)式，當需要查(cha)詢(xun)較大跨度時間內的數(shu)(shu)據(ju)(ju)時，由于數(shu)(shu)據(ju)(ju)量大，系(xi)統的性能會顯(xian)著下降，前端查(cha)詢(xun)展示(shi)一天的形(xing)變數(shu)(shu)據(ju)(ju)就需要數(shu)(shu)分鐘，這顯(xian)然(ran)是不能接受的。

后(hou)來，我們(men)對需要存(cun)儲的(de)業務場景進(jin)行了(le)梳理，如下圖所(suo)示：

基于縝密考慮，我們把目光鎖定在時序數據庫(ku)上，在技術調研階(jie)段，對比了(le) InfluxDB、DolphinDB、TDengine 在內(nei)的(de)三款常用(yong)的(de)主流數據庫(ku)。綜合對比后結果如下：

• 由于目前 InfluxDB 集群版已經閉源商業化，開源版僅支持單機模式。單機版性能遜于集群版，同時沒有集群的冗余，當服務器不可用時寫入和查詢會立即失敗，相比新興的時序數據庫其性能要差一些。
• 目前 DolphinDB 主要應用在金融領域，且是閉源。
• TDengine 性能強悍，且為國產自主研發、集群功能開源，具有典型的分布式數據庫特征，壓縮比例也非常高。

通過(guo)嚴謹的對比(bi)和技術調(diao)研(yan)，TDengine 不僅(jin)滿足我司(si)支持國產數據庫的初衷，而且(qie)其很多優秀特性也(ye)能夠滿足我們的業務場景。

二、落地經驗

目前我們整個系統采用了數臺高性能的云服務器，暫時采用的是單節點部署，后續會增加多節點。從 2021 年 10 月運行至今，共創建了 2 張超級表以及近百張子表，總數據量超過 2.5 億條，壓縮后的數據量大小為 200G 左右。

下(xia)面以地災監測站 1 赫茲上報的(de)(de)原始數據(ju)為(wei)例說明下(xia)存(cun)儲(chu)情況。sraw 是我們的(de)(de)超級表，其中存(cun)儲(chu)了 1.6 億條數據(ju)，分散在 109 張子表中，由于 TDengine 的(de)(de)標簽是內(nei)存(cun)存(cun)儲(chu)，再加(jia)上列式存(cun)儲(chu)便于壓縮的(de)(de)加(jia)持，幫助(zhu)我們節省了大量的(de)(de)存(cun)儲(chu)空(kong)間（僅占用(yong) 100G 左(zuo)右的(de)(de)空(kong)間），也(ye)為(wei)數據(ju)查詢性能打下(xia)了良(liang)好的(de)(de)基(ji)礎(chu)。

由于是初次使用(yong)開源版，中(zhong)間也遇(yu)到了很(hen)多問題，好在 TDengine 官方技術群里(li)有專(zhuan)人(ren)做(zuo)技術支(zhi)持，進行一(yi)對一(yi)的免費(fei)指(zhi)導，讓(rang)我們(men)切(qie)身體(ti)驗到了開源數(shu)據(ju)庫的友好和國(guo)產(chan)數(shu)據(ju)庫的價值。

三、性能表現

在查詢(xun)方面(mian)，我們(men)主(zhu)要(yao)的(de)查詢(xun)邏輯是按時間查詢(xun)所有的(de)原(yuan)始數據和解算數據。TDengine 以其(qi)優異的(de)性能(neng)完成了上述查詢(xun)分析過(guo)程(cheng)。

具體操作如下：

1. 超級表統計功能測試：

select avg(sat_num), max(e), min(n) from deform.scalc;

對這張近億行的超級表進行統計操作，僅用了 1.9 秒左右就返回了結果，充分證明(ming)了(le)在(zai)實際應(ying)用中 TDengine 也確實表現卓(zhuo)越。

2. 子表按時段查詢功能：

select * from deform.dm860936050878150 where ts > '2021-10-02 16:11:20.933' and ts < '2021-12-02 16:11:20.933' >> test.txt;

返回 187,681 行數據并寫入 test.txt 文件，共 300MB 數據用時 8.1 秒，性(xing)能超出我們的預期。

四、寫在最后

由于目前僅(jin)僅(jin)是初期的(de)(de)(de)項目需(xu)求，我(wo)(wo)們沒有采用多(duo)(duo)節點部署，但隨著業(ye)務的(de)(de)(de)增長，多(duo)(duo)節點部署也迫在(zai)眉睫。而(er)且后(hou)續會(hui)需(xu)要(yao)更(geng)大量的(de)(de)(de)數(shu)據來做更(geng)復雜的(de)(de)(de)分析，屆時我(wo)(wo)們將會(hui)更(geng)為(wei)深入地應(ying)用到 TDengine Database 的(de)(de)(de)其他核(he)心特性，如數(shu)據訂閱(yue)、多(duo)(duo)表聚合(he)查(cha)詢(xun)、眾多(duo)(duo)計算函數(shu)等(deng)等(deng)。但僅(jin)就(jiu)當下而(er)言，TDengine 強大的(de)(de)(de)存(cun)儲和(he)快速查(cha)詢(xun)能力也已經非常令我(wo)(wo)們驚喜，讓我(wo)(wo)們對未來更(geng)加深入的(de)(de)(de)合(he)作(zuo)充滿(man)期待。最(zui)后(hou)，感謝濤思數(shu)據，希望貴公司能夠(gou)繼續完(wan)善(shan)(shan)產品、完(wan)善(shan)(shan)生態、擁(yong)抱(bao)開源，向下一(yi)個頂峰攀登。

作者簡介

馬威，武(wu)漢科(ke)技大學計算機專業(ye)，從事(shi)軟件開發 9 年的工作經驗，供職于武(wu)漢夢芯科(ke)技有(you)限(xian)公(gong)司軟件部高級工程師。在車載物(wu)聯網平(ping)臺、形變安全(quan)監測解算系(xi)統(tong)、AGNSS 加(jia)速定位(wei)服(fu)務、DGNSS 精確(que)定位(wei)服(fu)務等多方面(mian)有(you)著(zhu)長期技術積累和大量成功經驗。