小 T 導讀：在(zai)中科云創的(de)(de)“天工云中控”項目中，TDengine 作為基(ji)礎(chu)(chu)數據庫的(de)(de)角色，承擔著實時數據存儲、高效壓縮(suo)、快(kuai)速聚合查詢(xun)等(deng)任務。不僅在(zai)分析業(ye)務模塊(kuai)上(shang)帶來了性能上(shang)的(de)(de)巨大(da)提升，更是在(zai)成本(ben)上(shang)達到了幾乎對半的(de)(de)下調，極大(da)地節省了中科云創在(zai)基(ji)礎(chu)(chu)數據庫建設上(shang)的(de)(de)投入。

公司簡介

中(zhong)科云創(chuang)致力于通過工業(ye)互(hu)聯(lian)(lian)網助力裝(zhuang)備制造(zao)企(qi)(qi)業(ye)轉型(xing)為裝(zhuang)備服務(wu)企(qi)(qi)業(ye)，是中(zhong)國云體系產業(ye)創(chuang)新戰略(lve)聯(lian)(lian)盟(meng)、中(zhong)國智(zhi)能(neng)制造(zao)系統(tong)解決(jue)方案供應商聯(lian)(lian)盟(meng)的(de)理事單位(wei)。公司(si)(si)創(chuang)始人、核心團隊成(cheng)員均(jun)來自于微軟、巴(ba)魯夫、思科、索尼等知(zhi)名軟硬件公司(si)(si)，并擁有一批技術過硬的(de)產品開發人員，具有大(da)量工業(ye)互(hu)聯(lian)(lian)網經驗與資源，對于工業(ye)領域的(de)痛(tong)點把握極(ji)其精準(zhun)敏銳。

“天工(gong)(gong)(gong)云中(zhong)控”項目是(shi)中(zhong)科云創綜合(he)運(yun)用物(wu)聯網、語音識別、圖像識別、機器學習、AR、設(she)(she)備(bei)遠(yuan)程維修(xiu)等多項最新科技(ji)搭建的工(gong)(gong)(gong)業(ye)(ye)物(wu)聯網設(she)(she)備(bei)健(jian)康(kang)管理(li)(li) SaaS 服務(wu)平臺。定位(wei)是(shi)為工(gong)(gong)(gong)業(ye)(ye)設(she)(she)備(bei)全生命周(zhou)期(qi)管理(li)(li)提供(gong)技(ji)術支持(chi)，提高企業(ye)(ye)生產效率，降低運(yun)維、融資和備(bei)件的采購成(cheng)本。

在這個項目(mu)中(zhong)，TDengine 作(zuo)為(wei)基礎數(shu)據庫(ku)的(de)角色，承(cheng)擔(dan)著實時(shi)數(shu)據存儲、高效壓(ya)縮(suo)、快速(su)聚合查(cha)詢等(deng)任務，在“天工(gong)(gong)云(yun)中(zhong)控”的(de)工(gong)(gong)業物聯網、智慧城市(shi)、傳統工(gong)(gong)業、能源行業、化工(gong)(gong)行業和消防(fang)安全等(deng)領域(yu)發(fa)揮了十(shi)分(fen)重(zhong)要的(de)作(zuo)用。

當前，“天工云(yun)中控(kong)(kong)”已經幫助(zhu)多地政(zheng)府(fu)，建立(li)針(zhen)對當地生(sheng)產企業集群的通(tong)用化(hua)工業設(she)備上云(yun)公共服務平臺，助(zhu)力(li)政(zheng)府(fu)和企業快速實(shi)現行業數據分析(xi)、訂單透明化(hua)生(sheng)產、設(she)備和環境安全監控(kong)(kong)和預警(jing)等功(gong)能。在智(zhi)慧城市領域，“天工云(yun)中控(kong)(kong)”提供的物聯網數據中臺、智(zhi)慧消安防、智(zhi)慧配電等多個垂直應用，也已經應用在北京、重慶、成都、貴陽(yang)、武漢等多個城市甚(shen)至包(bao)括新加(jia)坡等海外國家(jia)。

一、與 TDengine 初相識

2020 年中旬，我們開始對時序數據庫（Time-Series Database）做技術選型。由于(yu)之(zhi)前(qian)公(gong)司采(cai)用的(de)(de)是某公(gong)有云的(de)(de)數(shu)據庫，所以(yi)一開始依(yi)然是基于(yu)公(gong)有云開始評估的(de)(de)。但出于(yu)對公(gong)司數(shu)據安(an)全性的(de)(de)考量，我們(men)發現數(shu)據庫服務包(bao)括數(shu)據存(cun)儲、備份等需求在公(gong)有云上(shang)都存(cun)在很多不可控的(de)(de)因(yin)素(su)。所以(yi)我們(men)開始轉變思路(lu)，對可以(yi)私有化部(bu)署的(de)(de)時序數(shu)據庫進行選型。

我們決(jue)(jue)定在(zai) TDengine 和 InfluxDB 之(zhi)間(jian)進行(xing)抉擇，各(ge)種評估工(gong)作(zuo)也隨之(zhi)展開。由于(yu)(yu) InfluxDB 只是單(dan)機開源(yuan)，且在(zai)單(dan)機規模(mo)下的(de)性(xing)能(neng)、存儲、數(shu)據壓(ya)縮比等各(ge)方(fang)(fang)面(mian)的(de)指標也不(bu)如 TDengine；此外，從多方(fang)(fang)資料以及官方(fang)(fang)人員的(de)科(ke)普得知(zhi)，TDengine 更大的(de)亮(liang)點在(zai)于(yu)(yu)處理海量數(shu)據且功能(neng)開源(yuan)，再加上(shang)有(you)國產時序數(shu)據庫的(de)加成，因此我們最終確定采(cai)用 TDengine 作(zuo)為(wei)本項(xiang)目的(de)數(shu)據庫解決(jue)(jue)方(fang)(fang)案。

二、搭建與效果

在(zai)測試(shi)階段，我們使用(yong)了三臺 4 核 8 GB、數據磁(ci)盤 1 TB（支持無限擴(kuo)容(rong)），搭建起了一套三節點三副(fu)本的 TDengine 集(ji)群服務(wu)。在(zai)測試(shi)完成之(zhi)后，TDengine 于(yu) 2021 年 7 月正式投入(ru)使用(yong)。2021 年 12 月，天工云中(zhong)控項目正式全面地切入(ru) TDengine 服務(wu)。

目前根據業務類型，我們已經創建了 8 張超級表以(yi)及數十萬張子表，基礎數據如下(xia)：

TDengine 在應用集成方面做得(de)非常完(wan)善，支持 C/C++，Java，Python 等多種語言，在應用的(de)過(guo)程中，我們采用 Spring Boot 非常快速地就完(wan)成了(le)服務(wu)(wu)的(de)集(ji)成，同(tong)時使用“采集(ji)數據以數據類型為基準存(cun)儲(chu)”，完(wan)全適(shi)配(pei)了(le)原有的(de)業務(wu)(wu)模式，迅速完(wan)成了(le)對(dui)原有服務(wu)(wu)的(de)“鳥槍換炮”。

我們的原始數據為單副本存儲，經某云上的時序數據庫壓縮后為 50 GB 左右的數據量，三副本就是 150 GB；但是遷移到 TDengine 上采用三副本后，目前存儲占有僅為 114 GB：

按照我們原有的數據存儲空間的核算，最少預估需要150 GB（50×3）的磁盤空間來做存儲，但有賴于 TDengine 對數據超高的壓縮率，比某云時序數據庫多節省了將近 40 GB 的容量。

在數據寫入方面，以我們接入的能源行業其中某一個客戶為例，他們目前采集的設備為 300 臺，數據采集點 45,000 個，每秒的數據寫入量 50,000 個點。TDengine單核就可以處理每秒 20,000 次的請求，對于TDengine的集群版來說，50,000 的寫入量可謂是輕輕松松，隨寫隨查完全做到了零延遲。而整體上，目前的總接入量每秒基本是 200,000 個點左右。

在數據查詢方面，針對超級表的數(shu)(shu)據查詢(xun)，st_int 數(shu)(shu)據量 554 億條數(shu)(shu)據：

對該表進行降采(cai)樣查詢(xun)——查詢(xun)一個月內每(mei)周的 value 總量：

select sum(value) from st_int where value = 2 AND ts >= ‘1601481600000’ AND ts <=‘1604073599000’ interval(1w);

在原始數據達到 550 億行這個數量級的情況下，篩選+分組聚合查詢數據僅 8 s 就完成了。但其實在我們的(de)日常使用過程(cheng)中，更多的(de)是對某(mou)個(ge)點位（子表）的(de)聚合查詢(xun)，而這種查詢(xun)都很快就能完成(cheng)。

比如下面這個將近一年時間跨度數據的降采樣查詢，僅用時 0.538 s：

select sum(value) from c_Alx1b7hr where ts >= ‘1577808000000’ AND ts <=‘1603987200000’ interval(1w);

在日常工作中，單(dan)臺服務器 CPU 使用(yong)維(wei)持在 30% 左右，內存的(de)占(zhan)用(yong)量大概為 5 GB 左右。

綜合多方面的具體分(fen)析，TDengine 對我們分(fen)析業務模塊不僅帶來(lai)了(le)性(xing)能上(shang)的巨大(da)提升，更(geng)是在(zai)成本上(shang)達(da)到了(le)幾(ji)乎對半的下調，這(zhe)極大(da)地節省了(le)我們在(zai)基礎數據(ju)庫建設上(shang)的投入。

三、結語

在此(ci)，我們(men)想(xiang)感謝一(yi)(yi)下 TDengine Database 的(de)(de)官(guan)方(fang)社(she)(she)區(qu)(qu)。雖然我們(men)使用(yong)的(de)(de)是開源版產品，但從項目初步(bu)上(shang)線，到數據遷移，再到正式(shi)完成切換，官(guan)方(fang)社(she)(she)區(qu)(qu)依然給(gei)到了我們(men)非常(chang)全面的(de)(de)一(yi)(yi)對(dui)一(yi)(yi)支持。在他們(men)的(de)(de)幫助(zhu)下，我們(men)順利完成了第一(yi)(yi)階段(duan)的(de)(de)數據庫建設，并(bing)且平穩(wen)實現了新舊產品的(de)(de)過渡。目前(qian)，我們(men)的(de)(de)本地化(hua)部署還未(wei)走向跨(kua)區(qu)(qu)域(yu)（機(ji)房(fang)）階段(duan)，未(wei)來我們(men)計(ji)劃將(jiang) TDengine 更全面地推廣到各類業務應(ying)用(yong)中(zhong)(zhong)，促進(jin)“天(tian)工(gong)云中(zhong)(zhong)控(kong)” SaaS 平臺的(de)(de)更平穩(wen)發展。

希望在 TDengine 應用(yong)到各(ge)類項目的過程(cheng)中，也能促(cu)進其各(ge)項特性的進一步完善。此外，隨著我們業務規(gui)模的擴大(da)，雙(shuang)方也有望達成更深層次的合作(zuo)，實現(xian)雙(shuang)贏(ying)。

作者簡介

李波(bo)，中(zhong)科云創軟件研發(fa)工(gong)程師。地道的(de)(de)南方(fang)人，喜歡北(bei)方(fang)的(de)(de)冰雪世界；標準的(de)(de)程序猿，沉浸各種(zhong)語言的(de)(de)大(da)海(hai)，技術狂熱愛好者(zhe)。