易永耀(yao) 夏杭(hang)泰 鄧煒興｜數益工聯

公司介紹

數(shu)(shu)益工(gong)(gong)(gong)聯致力于打(da)造(zao)基于數(shu)(shu)據(ju)流+價值流的(de)離(li)散(san)制(zhi)(zhi)造(zao)業數(shu)(shu)字(zi)化(hua)軟(ruan)件；應用新(xin)一代的(de)物聯網技術(shu)與(yu)豐富的(de)現場交互(hu)手段(duan)，融(rong)合工(gong)(gong)(gong)業工(gong)(gong)(gong)程精益思想，為離(li)散(san)制(zhi)(zhi)造(zao)業客戶的(de)數(shu)(shu)字(zi)化(hua)升級提供從規劃到(dao)實施落地的(de)端(duan)到(dao)端(duan)工(gong)(gong)(gong)廠級解決方(fang)案；打(da)造(zao)行(xing)業與(yu)客戶的(de)工(gong)(gong)(gong)業數(shu)(shu)據(ju)平臺，持(chi)續提供數(shu)(shu)據(ju)智能服(fu)務。核(he)心團(tuan)隊來自清華大學等(deng)知名院校，同時擁有深厚的(de)制(zhi)(zhi)造(zao)業精益運營(ying)管理(li)(li)能力和(he)豐富的(de)數(shu)(shu)字(zi)化(hua)工(gong)(gong)(gong)廠成(cheng)功(gong)經驗。團(tuan)隊以IE+IT為核(he)心能力，實現產(chan)品和(he)技術(shu)的(de)雙輪驅動，旨(zhi)在服(fu)務離(li)散(san)制(zhi)(zhi)造(zao)業客戶通(tong)過(guo)數(shu)(shu)字(zi)化(hua)顯著改善質量管理(li)(li)水平、提升企業生產(chan)效率、降低制(zhi)(zhi)造(zao)成(cheng)本。

業務場景

工(gong)業(ye)設備物聯(lian)采集是(shi)數(shu)(shu)字化(hua)工(gong)廠(chang)建設的(de)基(ji)礎(chu)，設備在(zai)運行過程中會產生(sheng)大量有價值(zhi)的(de)數(shu)(shu)據，例如：設備狀態、實時工(gong)藝參數(shu)(shu)、合格報廢數(shu)(shu)量、生(sheng)產節拍、異常(chang)報警信(xin)息等，設備物聯(lian)采集可以為后續的(de)數(shu)(shu)據分(fen)析(xi)挖掘提供最基(ji)礎(chu)、透明、可靠的(de)數(shu)(shu)據來源。

目前我們的客戶(hu)，其(qi)設備的主要(yao)特點是：

• 設備類型繁多，不同類設備的通訊接口、采集協議、采集參數各不相同
• 單個工廠的設備數量：幾十至幾千
• 單臺設備的采集參數數量：幾十至幾百
• 采集頻次的基本要求：每秒采集一次，支持變化上報
• 參數類型包含：數值、文本

我們對自(zi)研工業(ye)物聯(lian)采(cai)(cai)集平臺的(de)定位(wei)是(shi)：可(ke)對物聯(lian)數據進行采(cai)(cai)集、存儲和查詢，可(ke)用于單個工廠(chang)或(huo)多(duo)個工廠(chang)的(de)設備物聯(lian)采(cai)(cai)集。

需要支持的特性：

• 功能穩定
• 高效的數據寫入
• 高效的數據查詢，包括最新數據和歷史數據
• 可云化部署
• 可私有化部署
• 線性擴展
• 高可用
• 便于連接大數據平臺

不需要支持的特性：

• 修改/刪除數據
• 數據分析

技術選型

基于業務場景的需求，我們選擇時序數據庫（Time-Series Database）作為物聯采(cai)集(ji)平臺的核(he)心(xin)組件，并(bing)調研了幾款(kuan)產(chan)品(pin)：InfluxDB、OpenTSDB和(he)TDengine。

• InfluxDB：應用最廣泛，穩定性高。劣勢是集群版不開源，需要付費，性能不突出。
• OpenTSDB：基于HBase，擴容方便。劣勢是壓縮比較低，存儲空間大。
• TDengine：性能強大，部署簡單，集群版已開源，社區活躍，國內產品。超級表的設計，與設備類型的概念完美契合，聚合查詢非常方便。劣勢是推出時間較短，產品比較年輕。

對(dui)比之后(hou)，我們最終選擇了(le)TDengine Database這款性能出眾、潛力巨大的產(chan)品。通過(guo)充分的測試和驗證，可以彌補(bu)劣(lie)勢。

技術架構

我們(men)使用TDengine Database存儲兩類數據：

• 原始的設備物聯數據。同類設備使用同一個超級表。
• 與業務有關聯的設備物聯數據，經處理后再存入。同類業務使用同一個超級表。

物聯采集相關的架構如下：

工控機是設(she)備(bei)與物聯采(cai)(cai)集平(ping)臺之間(jian)的重要樞(shu)紐，根據設(she)備(bei)管理模塊下(xia)發的配(pei)置，將各類設(she)備(bei)的物聯數據轉化為(wei)統(tong)一的格式，加密后上報給物聯采(cai)(cai)集平(ping)臺。

物聯采集平(ping)臺接收(shou)到(dao)數(shu)據后，根據數(shu)據類型進行分發。原(yuan)始數(shu)據直接存入(ru)TDengine；部分類型的數(shu)據推送到(dao)Kafka或者是(shi)RabbitMQ中，經業(ye)務處理后再存入(ru)TDengine。

使用體驗

TDengine的(de)寫入(ru)和查詢的(de)效率(lv)非常高，平均在10ms以內，性能完全滿足我(wo)們(men)的(de)要求。給人(ren)印象最深刻的(de)是超強(qiang)的(de)數據壓縮能力，以某個客戶的(de)數據情況為例：運(yun)行(xing)一個月時(shi)間(jian)，產(chan)生約3.2億條(tiao)記(ji)錄(lu)的(de)數據，每(mei)條(tiao)記(ji)錄(lu)包含約800列，實際占用的(de)磁(ci)盤空間(jian)竟然(ran)不到30G。

問題解決

在使用(yong)過(guo)(guo)程中(zhong)，也遇到(dao)過(guo)(guo)些許問(wen)題，例如(ru)部(bu)分數據(ju)在超級表中(zhong)可(ke)以(yi)正常查(cha)詢(xun)到(dao)，但是無法通過(guo)(guo)子表查(cha)詢(xun)到(dao)。

我(wo)們聯系了濤(tao)思數據的(de)技術(shu)支(zhi)持，濤(tao)思很快(kuai)就協調了開(kai)發資源(yuan)進(jin)行(xing)問題排查，甚至是(shi)通(tong)宵處理，最終(zhong)定(ding)位(wei)到了原(yuan)因：我(wo)們通(tong)過(guo)連(lian)接(jie)池的(de)方(fang)式連(lian)接(jie)TDengine，并進(jin)行(xing)較為頻繁(fan)的(de)show tables操作(zuo)，以測試連(lian)接(jie)是(shi)否正常(chang)，該頻繁(fan)操作(zuo)最終(zhong)觸發TDengine內部的(de)異常(chang)。發布新版本后該問題得到解(jie)決(jue)，我(wo)們也減少了不必(bi)要的(de)show tables操作(zuo)。

非常感謝濤思數(shu)據的工程師，非常熱誠，及(ji)時高效地幫助我們(men)解決了問題(ti)！

未來期望

TDengine是個年輕又充(chong)滿活力(li)的產品，在工業物聯領域具有非(fei)常大(da)的價值。

希望濤(tao)思數(shu)據在未來可以推出更友好(hao)的(de)開發和(he)運維工具，也非(fei)常希望能在開源社區推出一個相(xiang)對穩定、兼容性較好(hao)的(de)版本(ben)。