小 T 導讀：隨著智慧(hui)城(cheng)市(shi)(shi)的加(jia)速建設，物聯(lian)(lian)設備的管理(li)問(wen)題凸顯，數(shu)字政通研發(fa)“城(cheng)市(shi)(shi)管理(li)物聯(lian)(lian)網平臺”對(dui)物聯(lian)(lian)網設備實行監督，通過鳥(niao)瞰整(zheng)體數(shu)據來發(fa)現設備問(wen)題，便(bian)于(yu)及時(shi)派單處理(li)。面對(dui)海量物聯(lian)(lian)網數(shu)據的處理(li)，TDengine Database 的高效存儲給了數(shu)字政通相當大(da)的助(zhu)力。
企業簡介
北京數字政通科技股(gu)份有限公(gong)司是北京市(shi)認證(zheng)的(de)高新技術企(qi)業(ye)和擁有多項(xiang)自主知識產權(quan)的(de)軟(ruan)件企(qi)業(ye)，專(zhuan)業(ye)從事(shi)電子政務和 GIS 應用(yong)平(ping)臺的(de)開發和推廣工作，專(zhuan)注于網格化新型智(zhi)(zhi)慧(hui)城市(shi)管(guan)(guan)理(li)，城市(shi)大腦(nao)，智(zhi)(zhi)慧(hui)執法，城市(shi)運營(ying)服(fu)務等助力城市(shi)智(zhi)(zhi)慧(hui)管(guan)(guan)理(li)。
隨著 5G 基站等(deng)(deng)通信工(gong)程(cheng)的(de)加快(kuai)建設，城市(shi)治(zhi)理、城市(shi)安全管(guan)理成為(wei)熱門話題，物聯(lian)設備在(zai)我(wo)們(men)的(de)社會中扮(ban)演的(de)角色也變得越(yue)來越(yue)重要，智慧燃氣、智能(neng)電表(biao)、智能(neng)井蓋(gai)等(deng)(deng)項目在(zai)眾多城市(shi)開始(shi)布局。項目的(de)快(kuai)速爆發也讓“如何管(guan)理物聯(lian)設備”成為(wei)一(yi)個待解(jie)的(de)難題。
作(zuo)為一個(ge)設備(bei)數(shu)(shu)(shu)(shu)據(ju)(ju)中臺(tai)，由數(shu)(shu)(shu)(shu)字(zi)政(zheng)通研(yan)發的(de)“城市(shi)管(guan)理(li)物聯網(wang)平(ping)臺(tai)”致力于為智慧園林(lin)、智慧井蓋、智慧排(pai)水、智慧市(shi)政(zheng)等城市(shi)管(guan)理(li)項目的(de)各(ge)子系統，提供數(shu)(shu)(shu)(shu)據(ju)(ju)清洗、數(shu)(shu)(shu)(shu)據(ju)(ju)接入(ru)、數(shu)(shu)(shu)(shu)據(ju)(ju)計(ji)算、數(shu)(shu)(shu)(shu)據(ju)(ju)存儲的(de)能(neng)力。通過接入(ru)各(ge)個(ge)市(shi)區(qu)的(de)智能(neng)設備(bei)，該(gai)平(ping)臺(tai)能(neng)夠提供各(ge)類設備(bei)的(de)實(shi)時監(jian)測數(shu)(shu)(shu)(shu)據(ju)(ju)及(ji)報警數(shu)(shu)(shu)(shu)據(ju)(ju)，進一步滿(man)足各(ge)類設備(bei)的(de)數(shu)(shu)(shu)(shu)據(ju)(ju)分(fen)析(xi)、關聯分(fen)析(xi)、歷(li)史(shi)分(fen)析(xi)、對比分(fen)析(xi)等需求。簡(jian)單(dan)(dan)來(lai)講，平(ping)臺(tai)功能(neng)的(de)實(shi)現就是通過鳥瞰整(zheng)體(ti)數(shu)(shu)(shu)(shu)據(ju)(ju)來(lai)發現設備(bei)問題(ti)，便于及(ji)時派單(dan)(dan)處理(li)，助力智慧城市(shi)管(guan)理(li)。
目前，我(wo)們(men)已經在全(quan)國累計(ji)接入 60 余個(ge)市(shi)區項目，累計(ji)合作 100 余家設備廠(chang)商，累計(ji)接入 69 種設備類型、9 萬余設備量，全(quan)國范圍下(xia)日累計(ji) 5000 萬數據(ju)量，全(quan)國范圍下(xia)有效報警(jing)累計(ji) 20 萬 +，解(jie)決 10 萬 + 報警(jing)案件。
面對海量物聯網數據的處理，時序數據庫 TDengine 的(de)高(gao)效存(cun)儲給了我們(men)相當(dang)大的(de)助力(li)。
技術架構分析
設(she)備數據(ju)的(de)處理(li)路徑如下：通(tong)過各個協議（MQ、MQTT、AMQP、HTTP、TCP、HJT212、ModBus、NB等）接入物聯設(she)備到(dao) Kafka 中(zhong)進行消費，隨后(hou)進行設(she)備數據(ju)的(de)噪點(dian)清洗，將有用的(de)數據(ju)及(ji)時更新到(dao) MySQL 以及(ji) TDengine 中(zhong)，同時根據(ju)配置(zhi)的(de)報警策略生成報警數據(ju)。
平(ping)臺(tai)的報警是(shi)通過應用層來控制(zhi)的，按(an)照優先級排位(wei)如下：1-強制(zhi)報警、2-具體監測項報警、3-全(quan)局報警、4-基(ji)礎(chu)報警。
落地經驗分享
因為我們的(de)數據庫服(fu)務(wu)(wu)(wu)眾多(duo)，而且(qie)物(wu)聯網(wang)平臺主要工作是對接物(wu)聯網(wang)設備，所以不同的(de)數據庫服(fu)務(wu)(wu)(wu)對硬件的(de)需求(qiu)配(pei)(pei)置要以項目實際(ji)接入的(de)設備數量為衡量標準。本(ben)文(wen)案例中的(de)場(chang)景有 57,634 個設備，對應的(de)服(fu)務(wu)(wu)(wu)器配(pei)(pei)置為：CPU 16 核、內存 32G、硬盤 1T、帶寬 120MB/s。
我們以 TDengine 2.0.22.3 版本單副本模式(shi)落地了一(yi)個三節點的集群，備份目前(qian)依靠其他方(fang)式(shi)完成(cheng)。
上文中(zhong)提到的(de) 57,634 個(ge)設備屬于同(tong)一(yi)類型(xing)，所以歸屬于同(tong)一(yi)個(ge)超級表(biao)，表(biao)結構(gou)和相關信息如下：
通過 select count(*) from iot_equip_data 可以(yi)看到，我(wo)們當(dang)前已(yi)經保留了(le) 9 億(yi)條數據。
壓縮與查詢效果
通(tong)過查看(kan) 3 個節(jie)點的 Vnode 目錄總(zong)大(da)小(xiao)，可以(yi)得知目前數(shu)(shu)據(ju)占用總(zong)量為 8.7G。而從上述(shu)表結構我(wo)們也能看(kan)出實際入(ru)庫數(shu)(shu)據(ju)總(zong)量大(da)概為 203GB，經過壓縮(suo)后為 8.7G，壓縮(suo)率達到了(le) 4% 左右，大(da)幅節(jie)約了(le)存儲成(cheng)本。
我(wo)們(men)常用的業務 SQL 大概(gai)有如下類型：
- 對 9 億數據量的超級表使用降采樣查詢，展示設備指標日月年線，耗時僅僅 0.22 秒。
Select first(value) as value from egovaiot.iot_equip_data where field_id='346fb64a-3e0f-4632-bd83-f4830ad91611' and time>=1645963
586260 and time<=1648555586260 interval(1000a) order by time;
- 對 9 億數據量的超級表使用降采樣查詢，并計算每個時間窗口的平均值、最大值、最小值，結果如下所示。
select avg(value) as 'avgValue',max(value) as 'maxValue',min(value) as 'minValue' from egovaiot.iot_equip_data where field_id='346fb64a-3e0f-4
bd83-f4830ad91611' and time>=1646137565000 and time<=1648556765000 interval(1000a) order by time;
- 對 9 億數據量的超級表使用降采樣查詢，并計算每個時間窗口的最大值最小值后，求出差值。
select spread(value) as value from egovaiot.iot_equip_data where equip_type_id='1' and time>=1633004978592 and time<=1648556978592 and field_c
ode like 'WATER_LEVEL' interval(1d) group by field_id order by time;
寫在最后
物聯設(she)備在我們的(de)(de)(de)生活中(zhong)扮(ban)演的(de)(de)(de)角(jiao)色越來(lai)越重要(yao)，是實現(xian)智(zhi)慧(hui)(hui)生活、智(zhi)慧(hui)(hui)城(cheng)市(shi)的(de)(de)(de)重要(yao)媒介。攜手 TDengine Database，數字(zi)政通一直在致(zhi)力于做好(hao)物聯設(she)備的(de)(de)(de)智(zhi)能化管理，以此助(zhu)(zhu)力智(zhi)慧(hui)(hui)生活、智(zhi)慧(hui)(hui)城(cheng)市(shi)的(de)(de)(de)發展。未來(lai)，我們還將(jiang)會與(yu) TDengine 一起探索更多(duo)維度的(de)(de)(de)生態合作，為建(jian)設(she)智(zhi)慧(hui)(hui)城(cheng)市(shi)、保障社(she)會民(min)生提供自身力所能及的(de)(de)(de)幫助(zhu)(zhu)。
作者簡介
胡自和、張東旭，數字政通(tong) Java 研發，負責(ze)城市管理(li)物聯(lian)網產品，專注于(yu)解決(jue)物聯(lian)設備(bei)數據挖掘。
