小 T 導讀：對于卷煙廠來(lai)說，數據監(jian)控(kong)對于制(zhi)煙各環節的(de)品質把控(kong)起到(dao)關鍵作用，此前業(ye)(ye)內較為流行的(de)數據監(jian)控(kong)方(fang)案就是 Wonderware 實時庫。隨(sui)著企業(ye)(ye)業(ye)(ye)務的(de)飛速發展，該系統也遇到(dao)了很(hen)多瓶頸，本篇文章將就此展開分析。

從國外流行工業軟件到國產軟件過渡，卷煙廠數據架構轉型

作為制(zhi)煙(yan)(yan)(yan)(yan)(yan)單位(wei)，卷(juan)(juan)煙(yan)(yan)(yan)(yan)(yan)廠是(shi)標(biao)準的(de)流程制(zhi)造型企(qi)業，制(zhi)絲(si)和卷(juan)(juan)包是(shi)主要(yao)的(de)兩大工(gong)(gong)藝流程，前者是(shi)把煙(yan)(yan)(yan)(yan)(yan)葉加工(gong)(gong)成(cheng)(cheng)煙(yan)(yan)(yan)(yan)(yan)絲(si)，后(hou)者則是(shi)把煙(yan)(yan)(yan)(yan)(yan)絲(si)卷(juan)(juan)成(cheng)(cheng)煙(yan)(yan)(yan)(yan)(yan)并加上濾嘴，分(fen)別(bie)在獨(du)立的(de)車(che)間中實(shi)(shi)現。這(zhe)之(zhi)中每個環節的(de)工(gong)(gong)藝操作質量必(bi)須保證達(da)標(biao)，具體實(shi)(shi)現手段就是(shi)對產線(xian)進行監控。而想要(yao)保證車(che)間的(de)監控質量重(zhong)點還是(shi)在于要(yao)保證設備的(de)正常運行，否則任(ren)意環節出現嚴重(zhong)問題都會(hui)導(dao)致停產、換線(xian)、廢(fei)料等后(hou)果，造成(cheng)(cheng)巨大經濟損(sun)失(shi)，因此，卷(juan)(juan)煙(yan)(yan)(yan)(yan)(yan)廠不惜在產線(xian)上搭建多重(zhong)監控系統，以實(shi)(shi)現實(shi)(shi)時報警，同時支持對歷史數據做定(ding)期分(fen)析。

例如整個制(zhi)絲(si)過程(cheng)可以(yi)簡單概(gai)括為不斷通過加(jia)水(shui)(shui)、脫(tuo)水(shui)(shui)、增溫(wen)、降溫(wen)等工藝手段使梗絲(si)、葉絲(si)在加(jia)工過程(cheng)中(zhong)達(da)到卷煙填充物所需(xu)各(ge)項理化指(zhi)標要(yao)求，在實(shi)際生產過程(cheng)中(zhong)，怎樣(yang)控制(zhi)溫(wen)度(du)和濕度(du)，整個流程(cheng)中(zhong)如何保(bao)證流量的(de)穩定、精確(que)，這就(jiu)需(xu)要(yao)配備裝有很(hen)多傳感器的(de)煙草行業專用設(she)備。一般來講(jiang)整個車間會(hui)有大(da)約數十萬個監測點(dian)，由此產生的(de)實(shi)時數據量之大(da)也(ye)可想而知(zhi)，對于(yu)磁盤存儲空間的(de)消耗也(ye)非常嚴重(zhong)。

對于(yu)大(da)部分(fen)卷煙廠(chang)來說，車間內的(de)設(she)備都已(yi)經實現了高度(du)自(zi)(zi)動(dong)化，開始生(sheng)產后完全不需(xu)要人工(gong)操作，整個產線在 MES（Manufacturing Execution System，制(zhi)造執行(xing)(xing)系(xi)統(tong)）系(xi)統(tong)控制(zhi)和調(diao)度(du)下自(zi)(zi)動(dong)運(yun)行(xing)(xing)。MES 系(xi)統(tong)本身(shen)會(hui)通(tong)過 PLC/DCS 設(she)備采集(ji)生(sheng)產過程(cheng)中的(de)時(shi)序數據（比如溫度(du)、濕度(du)、進料量等），再經過提前預(yu)設(she)好的(de)邏輯(ji)進行(xing)(xing)實時(shi)調(diao)控。

從以上背(bei)景出發(fa)，時(shi)(shi)序數(shu)據的高效處理成為了卷煙廠業(ye)務發(fa)展的關鍵點之一(yi)。在過(guo)去很長一(yi)段時(shi)(shi)間(jian)里，工業(ye)實時(shi)(shi)數(shu)據庫成為卷煙廠等工業(ye)企業(ye)采集數(shu)據、實時(shi)(shi)/歷史存儲的第(di)一(yi)選擇。

而(er)對于中國的(de)(de)卷煙(yan)廠來說(shuo)，因(yin)為企業數字化早(zao)期階段海外軟件所具(ju)備的(de)(de)先(xian)發(fa)優勢，業內大多使(shi)用的(de)(de)都(dou)是 Wonderware 實時庫(ku)（現被 Aveva 收購）的(de)(de)解決(jue)方案。隨著業務的(de)(de)飛速發(fa)展，Wonderware 實時庫(ku)作為傳(chuan)統工業實時庫(ku)的(de)(de)代(dai)表(biao)，遇到了(le)一些瓶頸：

• 非國產化：在復雜的國際形勢下，存在一些不確定性
• 封閉性：軟件是閉源的，而且處于自己的封閉體系之下，擴展性差
• 高度復雜度：需要采購一系列產品組合
• 高成本：采購價格昂貴、功能擴展需要額外付費，依賴 Windows、SQL Server 等其他軟件，會產生額外的采購成本
• 服務響應慢：國外產品普遍服務響應不及時，經常以天為單位反饋，服務保障性差
• 不具備擴展性：單機性能有限，無法支持業務規模、數據采集點持續增長的情況
• 對外連接集成便捷性差：雖然在對接大數據平臺上支持 ODBC 等接口，但這些接口功能需要付費使用，一方面是額外成本，另外一方面可能涉及盜版

一直以來(lai)，中國(guo)工業軟(ruan)件(jian)領域(yu)都是被(bei)國(guo)外軟(ruan)件(jian)壟斷的(de)局勢，從 Wonderware 實時庫(ku)在一眾卷(juan)煙廠企業流行的(de)行業現狀(zhuang)中就能窺探一二(er)，但企業業務和(he)技術(shu)發(fa)(fa)展(zhan)(zhan)都并非一成不(bu)變，近年(nian)來(lai)很多優秀的(de)國(guo)產(chan)軟(ruan)件(jian)已(yi)經發(fa)(fa)展(zhan)(zhan)起來(lai)，而且(qie)隨著國(guo)內軟(ruan)件(jian)替(ti)代(dai)浪潮的(de)興(xing)起，這些優秀的(de)軟(ruan)件(jian)也進入了大眾視野，它們在性能和(he)成本(ben)管控等方(fang)面都能媲美甚至高于國(guo)外軟(ruan)件(jian)。

在智能制造、國產化替代快速演進的當下，很多卷煙廠也開始嘗試國產軟件轉型，為了實現業務規模和管理的進一步升級，除了車間，廠級和集團級也都需要搭建大數據平臺。在實踐方面，已有多家卷煙廠將原來的 Wonderware InSQL/Historian 替換為新一代開源時序數據庫（Time Series Database） TDengine，下文將就兩家(jia)卷煙廠的(de)具體替換(huan)實(shi)例展(zhan)開分析(xi)。

（注：應相關企業(ye)要求，本文(wen)不會(hui)展示具體企業(ye)信息，僅就實(shi)際業(ye)務痛點、改造效果(guo)做分析）

數據量存儲輕松超過萬億行，數據架構這樣改造

在案例(li)一(yi)中，某(mou)卷(juan)煙廠(chang)在制絲產業(ye)線上就是使用 Wonderware 進行時序數(shu)據存儲。Wonderware 是一(yi)款(kuan)非(fei)開源軟件(jian)，雖然它支持(chi) OPC 數(shu)據直接采集，但穩定性(xing)并(bing)不(bu)好、安(an)全性(xing)也(ye)不(bu)足，而且還存在查詢(xun)速(su)度(du)太(tai)慢(man)、運維(wei)成本高等問題。考慮到設備(bei)數(shu)據的種(zhong)種(zhong)特(te)點，該卷(juan)煙廠(chang)決(jue)定將其替換(huan)為國產時序數(shu)據庫，最終(zhong)他們選擇了 TDengine。

憑借著(zhu)超級(ji)(ji)表(biao)機(ji)制(zhi)（從時序數(shu)據(ju)(ju)特點出發(fa)進行設計(ji)）以及按照時間分片的(de)(de)(de)存(cun)(cun)儲(chu)(chu)引擎(qing)，即便是單(dan)表(biao)千億級(ji)(ji)別的(de)(de)(de)總數(shu)據(ju)(ju)量，TDengine 也可以在物理(li)(li)邏輯上(shang)(shang)完成劃分，直(zhi)接操作對應時間段的(de)(de)(de)數(shu)據(ju)(ju)文件，摒棄無效的(de)(de)(de)搜索消(xiao)耗(hao)，這一點解決了(le)該卷煙(yan)廠制(zhi)絲(si)產業線上(shang)(shang)最大的(de)(de)(de)數(shu)據(ju)(ju)處理(li)(li)難題。此外(wai)基于(yu) TDengine 高效的(de)(de)(de)列(lie)式(shi)壓縮設計(ji)，數(shu)據(ju)(ju)的(de)(de)(de)存(cun)(cun)儲(chu)(chu)成本(ben)也顯著(zhu)降(jiang)低(di)。

改(gai)造后數據處理鏈路如下：

在(zai)隨后的(de)(de)實(shi)際運作中，該場景下(xia)主要的(de)(de)超(chao)級表存(cun)儲了數(shu)(shu)千(qian)億(yi)行(xing)數(shu)(shu)據，總數(shu)(shu)據量輕松超(chao)過(guo)(guo)了萬(wan)億(yi)行(xing)。即便是(shi)在(zai)三副本（數(shu)(shu)據存(cun)儲三份確保高(gao)可(ke)用(yong)）的(de)(de)配置下(xia)，占用(yong)的(de)(de)總空(kong)間也僅有 1TB 左右。在(zai)查詢方(fang)面，對單設備的(de)(de)查詢，既可(ke)以(yi)通過(guo)(guo)超(chao)級表篩選找到(dao)子(zi)表，也可(ke)以(yi)直接通過(guo)(guo)子(zi)表找到(dao)。

在案例二中(zhong)的卷煙廠同樣(yang)使用(yong) Wonderware 作為數據處(chu)理(li)解決方案，隨著業務的發展(zhan)(zhan)，其生產(chan)中(zhong)需要監(jian)測的指標從幾萬(wan)個增加到幾十萬(wan)甚至百萬(wan)個以上(shang)，Wonderware 在性能和擴展(zhan)(zhan)能力上(shang)越(yue)來越(yue)難以為繼，存在以下(xia)幾點問題：

• 在軟件使用上，寫入速度滿足需求，但查詢速度卻太慢；
• 缺乏統計工具，數據統計效率較低；
• 在軟件運維層面，軟件體量大，運維成本高；
• 過于受限，永久授權也不能自由修改數據點；
• 支持 OPC DA 數據采集，但穩定性較差、安全性不足。

該(gai)卷(juan)煙(yan)廠希望(wang)改造后(hou)的(de)(de)系統具備功能(neng)穩定、高效的(de)(de)數據(ju)(ju)寫入及數據(ju)(ju)查詢（包括最新數據(ju)(ju)和歷史數據(ju)(ju)）、可(ke)云化部署、可(ke)私有化部署、支持線性擴展、高可(ke)用的(de)(de)特性，而他(ta)們早在 2019 年(nian)便關注了 TDengine，一直(zhi)跟濤思技(ji)(ji)術團隊保持技(ji)(ji)術交流，借此契機，在內部對比(bi)測(ce)試了 OpenTSDB、InfluxDB 等開源時(shi)序數據(ju)(ju)庫后(hou)，綜(zong)合(he)表現最優的(de)(de) TDengine 成為他(ta)們的(de)(de)不(bu)二之選。

改(gai)造后(hou)數據(ju)架構如下：

該卷煙廠所做測試(shi)顯示，相比之前使用 Wonderware 時(shi)，對全量（不足(zu)1億條記錄）的均值計(ji)(ji)算需(xu)(xu)要 2-3 分(fen)鐘，TDengine 在應對 10 億級別的數(shu)據量做聚合計(ji)(ji)算只需(xu)(xu)要 2 秒；其寫(xie)入和查(cha)詢的效率非常高，平(ping)均在 10ms 以內，性能完(wan)全滿(man)足(zu)數(shu)據處理需(xu)(xu)求。此外其 Database 內置時(shi)間窗口自動分(fen)割和統計(ji)(ji)機制，還能讓后期報(bao)表數(shu)據統計(ji)(ji)更(geng)加快捷方(fang)便。

憑借著(zhu) TDengine 可(ke)以和(he) Grafana 實(shi)(shi)現(xian)無(wu)縫(feng)對接的特性，該(gai)卷(juan)煙廠在(zai)實(shi)(shi)際業務中(zhong)使(shi)用 TDengine + Grafana 搭建起(qi)了卷(juan)包車(che)間(jian)的數(shu)(shu)據存儲(chu)和(he)可(ke)視(shi)化平臺。在(zai)接入半年后，TDengine 已存儲(chu)該(gai)卷(juan)煙廠卷(juan)包部所有卷(juan)接包設備，每張(zhang)子表超過 150 列數(shu)(shu)據，總(zong)計累計數(shu)(shu)據量(liang)達到了 5 億 5 千萬條，而落盤后的磁盤空(kong)間(jian)使(shi)用只(zhi)有 1.9GB，極大節省(sheng)了存儲(chu)空(kong)間(jian)。

從以(yi)上兩(liang)個案(an)例的具體實踐出發，我們總結出了一版數據遷移方案(an)，供有(you)需要的企(qi)業參考：

• 步驟一：實時數據并行接入 TDengine
  • 在生產區、管理區部署 TDengine 集群（3 節點、8 核 16GB）
  • 基于現有 DCS/PLC 系統開發一個數采轉換程序，將 DCS 系統數據寫入 TDengine
  • 基于 TDengine 與生產區應用的對接，提供數據查詢能力

• 步驟二：歷史數據離線導入 TDengine
  • 保持實時數據向 TDengine 與 Wonderware 數據庫的實時寫入
  • 開發一個程序，將歷史數據從 Wonderware 導出，并補錄入 TDengine。TDengine 支持歷史數據寫入，此補錄過程完全可以離線、批量、有計劃地進行

• 步驟三：補錄結束、程序穩定運行一段時間后停止 Wonderware 服務
  • 歷史數據全部補錄完成、基于 TDengine 的實時數據讀寫穩定后，可以停止 Wonderware 數據庫的服務，實現無縫切換

卷煙廠“邊云協同” 現三點難題，TDengine 3.0 提供思路

在如(ru)(ru)卷煙廠一(yi)(yi)(yi)般的(de)工業(ye)互聯網場(chang)景(jing)中，企業(ye)通常(chang)(chang)面臨的(de)一(yi)(yi)(yi)個(ge)痛點(dian)問題就(jiu)是數(shu)據(ju)同(tong)步(bu)，業(ye)內(nei)通常(chang)(chang)有三(san)(san)種(zhong)(zhong)解決方案(an)，第(di)一(yi)(yi)(yi)種(zhong)(zhong)就(jiu)是離線傳輸(shu)數(shu)據(ju)，比如(ru)(ru)積攢(zan)一(yi)(yi)(yi)個(ge)星期，一(yi)(yi)(yi)下傳一(yi)(yi)(yi)個(ge) T 的(de)數(shu)據(ju)；第(di)二種(zhong)(zhong)是指派人(ren)員(yuan)拿著移動硬盤去(qu)現場(chang)拷，浪費人(ren)力成(cheng)本；第(di)三(san)(san)種(zhong)(zhong)就(jiu)是開 VPN 專線定(ding)期同(tong)步(bu)，將數(shu)據(ju)導出成(cheng)壓縮文件進行傳輸(shu)，但這種(zhong)(zhong)情況 VPN 都(dou)會出現一(yi)(yi)(yi)些短暫帶寬的(de)阻(zu)塞，對(dui)其他業(ye)務(wu)生產產生一(yi)(yi)(yi)定(ding)沖擊。

如果不做數據同步，那邊緣(yuan)設備只能處理(li)局部(bu)數據，無法形成全局認(ren)知，在實(shi)際應用中仍(reng)然(ran)需要借助(zhu)云(yun)計算平臺來實(shi)現(xian)信息(xi)的融(rong)合。在此(ci)背景(jing)下，邊云(yun)協同正逐漸成為支(zhi)撐工業(ye)互(hu)聯網發展的重(zhong)要支(zhi)柱。

在(zai)邊云協同(tong)的實(shi)現上，一(yi)些卷(juan)煙(yan)廠(chang)(chang)早就利用了 Wonderware 自帶的數(shu)據(ju)鏡像能力(li)，進行從廠(chang)(chang)區(qu)到集團(tuan)的數(shu)據(ju)同(tong)步，但在(zai)具(ju)體實(shi)施上，這種操作卻存在(zai)著一(yi)些缺(que)陷。具(ju)體可以總結(jie)為以下三點：

• 車間生產網到煙廠辦公網數據同步，需穿越堡壘機，大量手動操作，效率低下，需要可配置規則的自動同步
• 煙廠到集團中心數據同步，數據以文件形式定期集中傳輸，實時性差且阻塞網絡帶寬
• 集團中心無法自主靈活決定數據獲取，依賴下級單位變更數據上送的配置信息

為幫助企(qi)業(ye)解決這些(xie)痛點(dian)，TDengine 3.0 發布(bu)了企(qi)業(ye)級(ji)工(gong)具 taosX，該工(gong)具具備百(bai)萬條/秒同(tong)步效率、可配(pei)置(zhi)的同(tong)步規則、實時流計算結果同(tong)步、支持重新(xin)訂閱，斷點(dian)續傳、歷史數據遷移五(wu)大(da)特性，借助 taosX，企(qi)業(ye)可以實現(xian)平(ping)(ping)滑且有選擇地(di)將數據發送到云上的大(da)數據平(ping)(ping)臺中。

taosX 能保(bao)證所有數(shu)(shu)據(ju)(ju)都可以(yi)從一個(ge)集群同步(bu)到第二個(ge)集群，包括離(li)線亂序數(shu)(shu)據(ju)(ju)，它可以(yi)支持實時的(de)數(shu)(shu)據(ju)(ju)同步(bu)，包括離(li)線數(shu)(shu)據(ju)(ju)的(de)增量備份、邊端到云端的(de)數(shu)(shu)據(ju)(ju)協(xie)同。

具體實(shi)現思路如下圖：在(zai)車間側，數(shu)據(ju)采集完成之(zhi)(zhi)后(hou)會進(jin)入 TDengine，首先經過(guo) TMQ 消息隊列(lie)，其中一(yi)部分(fen)(fen)數(shu)據(ju)有選擇(ze)性地并(bing)入到本地的(de) TDengine 集群(qun) 1 中。之(zhi)(zhi)后(hou)我們可以在(zai)集團側部署 taosX ，它會去訂閱車間側 TMQ 消息隊列(lie)中的(de)數(shu)據(ju)，為了達成業務需求，可能這里需要(yao)由數(shu)據(ju)分(fen)(fen)析(xi)工程師設置一(yi)些訂閱規則，比如數(shu)據(ju)需要(yao)經過(guo)降采樣再進(jin)來或者只關心閾值超過(guo)定(ding)值的(de)數(shu)據(ju)。之(zhi)(zhi)后(hou) taosX 會把數(shu)據(ju)同步到 TDengine 集群(qun) 2，集群(qun) 2 可以支持報表分(fen)(fen)析(xi)等更大(da)維度(du)的(de)分(fen)(fen)析(xi)工作。

這一邊云協同的實現思路主要有以下四點優勢：

• 數據跨區同步自動化程度大大提高、錯誤率降為零
• 數據無需緩存，減少批量發送，避免流量高峰阻塞帶寬
• 通過訂閱方式同步數據，集團不再依賴下級單位配置同步規則
• 邊云均采用 TDengine，數據模型完全統一，降低數據治理難度

結語

在今年 7 月，工信部等(deng)六部門(men)發(fa)布加快培育發(fa)展制(zhi)造業(ye)(ye)優質企業(ye)(ye)的(de)指(zhi)導意(yi)見，其中(zhong)表示(shi)推動(dong)產(chan)業(ye)(ye)數(shu)字化(hua)(hua)發(fa)展，大力(li)推動(dong)自主可(ke)控工業(ye)(ye)軟件推廣(guang)應用，提高企業(ye)(ye)軟件化(hua)(hua)水平(ping)。隨著政策東風(feng)吹(chui)拂以及卷(juan)煙廠等(deng)工業(ye)(ye)行(xing)業(ye)(ye)軟件國產(chan)化(hua)(hua)的(de)加速(su)進行(xing)，國產(chan)工業(ye)(ye)軟件勢必(bi)將進一(yi)步崛起(qi)，軟件行(xing)業(ye)(ye)的(de)外化(hua)(hua)壟斷局(ju)勢有望加速(su)打破(po)。