剛剛過去的周五，TDengine團隊正式(shi)發(fa)布(bu)了(le)新版3.1.1.0, 并上線(xian)了(le)新的官(guan)網。雖(sui)沒有發(fa)布(bu)會，但(dan)對(dui)濤思數(shu)(shu)據(ju)(ju)(ju)而(er)言，這(zhe)是一個“蓄謀已(yi)久”的動作。因為(wei)新版TDengine里包含了(le)一個核心模塊taosX，它(ta)具備強(qiang)大的數(shu)(shu)據(ju)(ju)(ju)抓取、清洗、轉換(huan)、加載(ETL)功(gong)能(neng)，除能(neng)無縫對(dui)接(jie)(jie)物聯網的MQTT協議外，更重要(yao)的是能(neng)對(dui)接(jie)(jie)OPC-UA、OPC-DA、PI System等(deng)工(gong)業(ye)(ye)數(shu)(shu)據(ju)(ju)(ju)源。通過這(zhe)個模塊，工(gong)業(ye)(ye)場(chang)景里流行的PLC、SCADA、DCS等(deng)系統不用一行代(dai)碼，都可(ke)以通過簡單配置，就將數(shu)(shu)據(ju)(ju)(ju)實時的源源不斷寫入(ru)TDengine，而(er)且在(zai)BI以及可(ke)視化工(gong)具呈現(xian)出來，實現(xian)遠程監控、實時報警、可(ke)預測(ce)性維護等(deng)功(gong)能(neng)，甚至可(ke)以從(cong)微信小程序里直接(jie)(jie)看(kan)設備運(yun)行狀態、查看(kan)報表了(le)。毫不夸張的說(shuo)，TDengine通過零代(dai)碼將傳統昂貴的工(gong)業(ye)(ye)數(shu)(shu)據(ju)(ju)(ju)處理系統代(dai)替了(le)，成為(wei)新一代(dai)工(gong)業(ye)(ye)數(shu)(shu)據(ju)(ju)(ju)處理系統。

今天周(zhou)末，寫(xie)篇博客，將我開(kai)發(fa)這套系統的設計目標和理念”前期投入(ru)小、上手快、用的起”分享(xiang)給(gei)大(da)家，希望給(gei)大(da)家一點啟發(fa)。

為什么要開發一套零代碼的工業數據處理平臺？

2019年(nian)我(wo)將TDengine核心代碼完全(quan)開源，四年(nian)過去，沒想到TDengine幾乎成(cheng)了(le)全(quan)球(qiu)時(shi)(shi)序(xu)(xu)(xu)數(shu)(shu)據(ju)庫的(de)標桿(gan)，上線的(de)實例數(shu)(shu)已經超(chao)過35萬(wan)，來(lai)自全(quan)球(qiu)50多個(ge)(ge)國家和(he)地(di)區(qu)，每天在以500以上的(de)速度(du)增(zeng)加(jia)。按照這個(ge)(ge)速度(du)，估(gu)計到2024年(nian)底，安裝(zhuang)實例數(shu)(shu)將超(chao)過時(shi)(shi)序(xu)(xu)(xu)數(shu)(shu)據(ju)庫全(quan)球(qiu)排名第一的(de)InfluxDB。對這些數(shu)(shu)字(zi)，我(wo)是(shi)相(xiang)當(dang)的(de)興(xing)奮，因(yin)為我(wo)開源的(de)目的(de)就是(shi)希(xi)望自己寫的(de)程(cheng)序(xu)(xu)(xu)能被眾多的(de)人用上。無論是(shi)GitHub上的(de)一個(ge)(ge)Star，還(huan)是(shi)吐槽，對我(wo)來(lai)說，都是(shi)一種鼓勵，因(yin)為他(ta)證(zheng)明了(le)我(wo)這個(ge)(ge)老程(cheng)序(xu)(xu)(xu)員的(de)價值，證(zheng)明了(le)我(wo)們團隊的(de)價值。

隨著TDengine的用戶天天增加，我注意到最大的問題就是我們宣稱的高性能總是被挑戰，一般的研發同學都沒仔細看文檔而且沒有完全理解我們的“一個設備一張表”的數據模型，因此將數據高效寫入TDengine成了最大的使用障礙。而且TDengine除物聯網場景之外，一個更大的場景就是工業制造。這個領域里，IT人員少，相當依賴系統集成公司，用好TDengine更加困難。但數字化轉型、智能制造、國產(chan)化替代的需求，讓很多制造業的人找到我們，希望(wang)能快速用上TDengine來(lai)存(cun)儲、分(fen)析他(ta)們采(cai)集的數(shu)據(ju)。

我一(yi)(yi)個制造(zao)業門外漢，開始在中國和美國與(yu)他(ta)們交流，參觀拜(bai)訪(fang)過發電廠(chang)(chang)(chang)、冶煉廠(chang)(chang)(chang)、油(you)田、煙廠(chang)(chang)(chang)、藥廠(chang)(chang)(chang)、水泥(ni)廠(chang)(chang)(chang)、化妝品廠(chang)(chang)(chang)、食品廠(chang)(chang)(chang)、汽車廠(chang)(chang)(chang)等(deng)等(deng)，一(yi)(yi)下發現(xian)一(yi)(yi)個完全不同(tong)的(de)天地，每次都被他(ta)們的(de)巨大制造(zao)能力所震(zhen)撼。但同(tong)時發現(xian)，他(ta)們使用的(de)數(shu)據處(chu)理(li)系統(tong)，比(bi)如PI System, Wonderware, 或(huo)是國產(chan)的(de)庚頓(dun)、麥杰等(deng)，往(wang)往(wang)基于(yu)微軟Windows,  界面(mian)一(yi)(yi)看，與(yu)炫酷的(de)網頁(ye)和手(shou)機應用相(xiang)比(bi)，感覺落(luo)后(hou)了(le)至少兩個時代。而(er)且再一(yi)(yi)多了(le)解，發現(xian)真正本質的(de)問題。

1. 這些傳統工業軟件收費巨貴，一般都按照測點(采集量）的數量收費，一個測點就需要好幾個美元，一個幾萬測點的發電廠就需要至少百萬RMB。如果要增加測點，還需重新談License。萬物互聯的今天，測點數暴漲，還采用這種收費方式無疑匪夷所思。
2. 這些系統往往封閉，與第三方軟件對接很難或根本就沒有接口。隨著大數據、人工智能概念的普及，很多制造業的也希望用上新的AI分析工具，但無奈很難與現有的工業數據處理系統對接，或成本很高，只能等PI System這類廠商更新升級；
3. 企業總存在并購、分拆，一個稍具規模的制造商就有多條產線、多座工廠、因此往往一個集團存在多個不同的工業數據管理系統，將這些不同系統的數據匯聚起來進行管理相當困難。數據的清洗、轉換和治理，是必須的，但看似簡單的事情，實施起來門檻卻很高。
4. 過去的十年，很多制造企業主動擁抱工業互聯網、大數據，建設工業互聯網平臺，想解決傳統工業數據處理的問題，但建設一個新的工業互聯網平臺往往周期長，需要投入數百萬甚至數千萬資金，而且還有巨高的團隊人員成本，但回報沒有預期中的大，導致很多企業決策層對 AI和工業互聯網平臺的情緒普遍不高。

“前期投入小、上手快、用的起”

因此我在想，我們已經將TDengine開源，給大家提供了一個很好的時序數據處理工具，那么能否為工業制造行業提供一個前期投入小，上手快，用的起的工業數據處理系統呢？仔細思考后，答案是肯定的。所以2年前，濤思數據正式成立了一個研發小組，啟動了taosX的開發，目的就是能夠對接各種數據源，特別是工業數據源，通過簡單的配置，不寫一行代碼，就能將OPC-UA、OPC-DA、MQTT等抓取的數據實時源源不斷的寫入TDengine, 而且建有自己可定義的規則引擎，完成數據的清洗、轉換工作，以保證入庫數據的質量。這樣不僅將數據寫入的難題解決，而且用戶不用部署Flink或ETL工具，進一步減少了系統的復雜度和運維成本。同時，投入人力開發標準的JDBC、ODBC接口，讓眾多的BI以及可視化工具能無縫對接。TDengine不再只是一個時序數據庫（Time Series Database，TSDB），而是通過(guo)與OPC, MQTT這些(xie)數(shu)據源的(de)(de)對接、與BI和可視化工(gong)具的(de)(de)無(wu)縫(feng)對接，形成一個零(ling)代碼的(de)(de)工(gong)業數(shu)據處理系統。經(jing)過(guo)兩年的(de)(de)研發和反復(fu)測試，現(xian)在終于上(shang)線。

中(zhong)國有(you)大大小小至少三百萬(wan)家制造(zao)企業(ye)(ye)，怎(zen)么讓這些用(yong)戶(hu)能用(yong)上，而且用(yong)的(de)(de)起呢？即(ji)使開源(yuan)，用(yong)戶(hu)還需(xu)要(yao)找服務(wu)器、安裝部署、配(pei)置、調優等，仍然有(you)點(dian)門檻。我馬(ma)上想到(dao)的(de)(de)是云服務(wu)。因此隨(sui)著taosX的(de)(de)發布，TDengine Cloud同步開始提供OPC、MQTT、PI System等數(shu)據源(yuan)接口，免(mian)費注冊后，只(zhi)要(yao)在(zai)(zai)TDengine網(wang)站(zhan)上做好(hao)配(pei)置，不(bu)用(yong)一行(xing)代碼，即(ji)可(ke)(ke)將PLC、DCS、SCADA產生的(de)(de)數(shu)據寫入(ru)TDengine，然后利用(yong)Grafana、帆軟、永洪、Power BI等可(ke)(ke)視化、BI工具進行(xing)展示和(he)分析(xi)。對(dui)于簡單的(de)(de)遠程監測、報警(jing)、實時分析(xi)、報表，完(wan)全(quan)零(ling)代碼即(ji)可(ke)(ke)完(wan)全(quan)搞定(ding)。由(you)于TDengine Cloud第一個(ge)月(yue)完(wan)全(quan)免(mian)費，這樣，企業(ye)(ye)在(zai)(zai)無任何硬(ying)件和(he)軟件采購成(cheng)本的(de)(de)情況下，就可(ke)(ke)以很快(kuai)驗(yan)證測試系統(tong)，這樣大大降低了企業(ye)(ye)的(de)(de)風險，降低了前期投入(ru)，最大程度(du)減少了他(ta)們的(de)(de)顧慮。

對(dui)于(yu)大的(de)企(qi)(qi)業(ye)或有特(te)殊管(guan)控的(de)企(qi)(qi)業(ye)，在云(yun)服(fu)務(wu)上免(mian)費(fei)體驗和驗證后，可以購買TDengine企(qi)(qi)業(ye)版，獲(huo)得專業(ye)的(de)技術(shu)支(zhi)持和服(fu)務(wu)。對(dui)于(yu)中(zhong)小(xiao)企(qi)(qi)業(ye)，每個月(yue)只要支(zhi)付1200RMB的(de)云(yun)服(fu)務(wu)費(fei)用，就(jiu)具備每秒處(chu)理3萬個PLC測(ce)點數(shu)據的(de)能力。相對(dui)于(yu)那些動輒百萬的(de)傳統(tong)軟件、工(gong)(gong)業(ye)互聯網平臺(tai)軟件，每個月(yue)1200RMB的(de)投入可說是沒任何壓力了。我(wo)相信，TDengine云(yun)服(fu)務(wu)能加速推動中(zhong)國(guo)制造(zao)業(ye)數(shu)字化轉型的(de)進程(cheng)，能讓眾多中(zhong)小(xiao)企(qi)(qi)業(ye)享受大數(shu)據時(shi)代、人工(gong)(gong)智能時(shi)代的(de)技術(shu)紅利。

打破傳統工業軟件的壟斷

從(cong)過(guo)去(qu)兩(liang)年我與制造業(ye)(ye)的交(jiao)往來(lai)看，制造行(xing)業(ye)(ye)的體量(liang)大的遠(yuan)遠(yuan)超(chao)過(guo)我的想(xiang)象。舉(ju)一(yi)個簡單例(li)子，整個中國銅冶(ye)煉企(qi)業(ye)(ye)就(jiu)超(chao)過(guo)300家，煉鋼、煉鐵企(qi)業(ye)(ye)就(jiu)超(chao)過(guo)500家。這些(xie)企(qi)業(ye)(ye)都(dou)在(zai)進(jin)行(xing)數(shu)字化轉型，是我們(men)IT人可以挖掘的金礦。但這些(xie)行(xing)業(ye)(ye)歷來(lai)都(dou)被(bei)傳(chuan)統(tong)的工(gong)業(ye)(ye)軟件公司比(bi)如Aveva, Simens等所壟斷和(he)綁(bang)架。中國軟件企(qi)業(ye)(ye)還(huan)有機(ji)會嗎？怎么撬開(kai)(kai)一(yi)條口(kou)子？從(cong)我過(guo)去(qu)的經驗來(lai)看，開(kai)(kai)源、云(yun)服務是兩(liang)大有效的手段。

開源(yuan)(yuan)軟件最(zui)大的(de)好處是開放的(de)生態，不(bu)會被廠(chang)商綁定。而(er)工(gong)(gong)(gong)業(ye)軟件幾乎(hu)都是封閉系(xi)統(tong)，很(hen)多產品連用戶手冊、接(jie)口文檔(dang)都不(bu)公(gong)開，想更換其中一個(ge)(ge)模塊(kuai)幾乎(hu)不(bu)可能，比如想把(ba)一個(ge)(ge)新的(de)報表工(gong)(gong)(gong)具(ju)與實(shi)時數(shu)據庫(ku)對接(jie)起來，沒(mei)(mei)(mei)有兩個(ge)(ge)廠(chang)家(jia)配(pei)合，沒(mei)(mei)(mei)有可能。但(dan)(dan)現(xian)在(zai)各種行業(ye)的(de)分析(xi)工(gong)(gong)(gong)具(ju)、報表工(gong)(gong)(gong)具(ju)、AI工(gong)(gong)(gong)具(ju)不(bu)停(ting)的(de)涌現(xian)，只(zhi)有開放系(xi)統(tong)才能解決這(zhe)個(ge)(ge)問題。在(zai)傳統(tong)的(de)工(gong)(gong)(gong)業(ye)數(shu)據處理系(xi)統(tong)里，實(shi)時數(shu)據庫(ku)扮(ban)演(yan)了(le)一個(ge)(ge)極為(wei)重(zhong)要的(de)角色(se)，但(dan)(dan)沒(mei)(mei)(mei)有一家(jia)是開源(yuan)(yuan)的(de)。這(zhe)給了(le)TDengine巨大的(de)機(ji)會。我(wo)在(zai)2017年創辦濤(tao)思數(shu)據時，根本都沒(mei)(mei)(mei)想到鋼廠(chang)、煙(yan)廠(chang)、藥廠(chang)、冶(ye)煉廠(chang)、水泥(ni)廠(chang)會用上TDengine的(de)，是由于開源(yuan)(yuan)之后，這(zhe)些廠(chang)主動找的(de)我(wo)們，才讓我(wo)發現(xian)了(le)工(gong)(gong)(gong)業(ye)制造里的(de)機(ji)會。

為了(le)保(bao)證(zheng)TDengine的(de)(de)(de)開(kai)(kai)放(fang)性(xing)，除核心代碼開(kai)(kai)源、支持(chi)標準的(de)(de)(de)SQL查詢外，我幾年前(qian)就決定(ding)絕不(bu)推(tui)出自(zi)己的(de)(de)(de)可視化工(gong)具(ju)(ju)，不(bu)推(tui)自(zi)己的(de)(de)(de)物聯網管理平(ping)臺，更不(bu)會(hui)做自(zi)己的(de)(de)(de)分析、報表工(gong)具(ju)(ju)，連(lian)簡單的(de)(de)(de)報警功(gong)能都不(bu)會(hui)提(ti)供(gong)，而是希望與(yu)這些領域的(de)(de)(de)專業廠(chang)商的(de)(de)(de)產品能通過(guo)標準接口無縫集成。同時(shi)，我們還提(ti)供(gong)有高效(xiao)的(de)(de)(de)數據訂閱工(gong)具(ju)(ju)，可以(yi)方便把存儲(chu)在TDengine的(de)(de)(de)數據實時(shi)導(dao)入(ru)到任何一個其他數據管理系統(tong)，這樣任何企業也不(bu)會(hui)被TDengine所綁(bang)架。

云(yun)(yun)(yun)服(fu)務(wu)對于(yu)(yu)傳統工業(ye)(ye)而(er)(er)言，是(shi)(shi)不可(ke)想象的(de)(de)(de)(de)。但排除一(yi)些(xie)實時控(kong)制的(de)(de)(de)(de)場景，云(yun)(yun)(yun)服(fu)務(wu)的(de)(de)(de)(de)好(hao)處是(shi)(shi)顯(xian)而(er)(er)易見(jian)的(de)(de)(de)(de)，不用(yong)(yong)購(gou)置任何硬(ying)件，不用(yong)(yong)安裝部署，完全(quan)是(shi)(shi)與用(yong)(yong)自來水(shui)一(yi)樣，想用(yong)(yong)就(jiu)用(yong)(yong)、想關(guan)就(jiu)關(guan)，按使(shi)用(yong)(yong)量付(fu)費，費用(yong)(yong)可(ke)控(kong)。由于(yu)(yu)云(yun)(yun)(yun)服(fu)務(wu)平臺(tai)以(yi)及云(yun)(yun)(yun)服(fu)務(wu)廠(chang)商提供了很(hen)好(hao)的(de)(de)(de)(de)安全(quan)防范，數據比保(bao)存在(zai)自己(ji)服(fu)務(wu)器上還(huan)安全(quan)，因為一(yi)般的(de)(de)(de)(de)企業(ye)(ye)根本(ben)沒有(you)網絡安全(quan)的(de)(de)(de)(de)人才(cai)，系統都是(shi)(shi)在(zai)裸奔。通過云(yun)(yun)(yun)服(fu)務(wu)，無論企業(ye)(ye)的(de)(de)(de)(de)規模，在(zai)無大(da)的(de)(de)(de)(de)前期投入下，都能很(hen)快驗證自己(ji)的(de)(de)(de)(de)系統，看是(shi)(shi)否達(da)到自己(ji)的(de)(de)(de)(de)預(yu)期，而(er)(er)不是(shi)(shi)商務(wu)談判一(yi)輪(lun)接一(yi)輪(lun)，還(huan)沒上線(xian)(xian)，就(jiu)已(yi)經浪費了很(hen)多(duo)時間，系統還(huan)沒有(you)正式(shi)上線(xian)(xian)，就(jiu)有(you)很(hen)大(da)的(de)(de)(de)(de)采購(gou)成本(ben)。

通過開源、云服務兩個手段，傳統的工業軟件的市場格局一定會發生改變，而且徹底洗牌也完全可能。由于中國制造業體量是全球的30%以上，因此中國軟件企業有得天獨厚的機會去嘗試新的途徑，打破壟斷。濤思數據專注時序數據的采集、存儲、分析、計算和分發，我相信TDengine一定能讓傳統的工業實時數據庫(Data Historian)、工業(ye)數據處理(li)系統淘(tao)汰(tai)出(chu)局，TDengine每天超過500套安裝實例的(de)(de)(de)數字就是最(zui)好(hao)(hao)的(de)(de)(de)證(zheng)明，就是對我們團隊最(zui)好(hao)(hao)的(de)(de)(de)鼓勵。但(dan)工業(ye)軟(ruan)(ruan)件(jian)的(de)(de)(de)其他領域，比如組態(tai)軟(ruan)(ruan)件(jian)、設計軟(ruan)(ruan)件(jian)、仿真軟(ruan)(ruan)件(jian)等，我相(xiang)信也(ye)會有新(xin)勢力通過開源、云服務的(de)(de)(de)手段沖殺進來(lai)，讓工業(ye)軟(ruan)(ruan)件(jian)市(shi)場煥發新(xin)的(de)(de)(de)活力。

努力奔跑

四年前，我(wo)做出了一個正確的(de)決定(ding)，將TDengine核心代(dai)碼開源。現在我(wo)又做出了一個新的(de)決定(ding)，為制(zhi)造業提供新一代(dai)工(gong)(gong)業數(shu)據(ju)處理(li)平臺，而且希(xi)望通過云服務，讓數(shu)百萬(wan)家制(zhi)造企業能快速啟動(dong)，用(yong)的(de)上(shang)、用(yong)的(de)起(qi)、最大的(de)減少(shao)前期成本。歡迎(ying)工(gong)(gong)業制(zhi)造領域的(de)朋(peng)友們(men)向(xiang)我(wo)們(men)提出更多需求，比(bi)如工(gong)(gong)業數(shu)據(ju)接口(kou)、常用(yong)工(gong)(gong)具等，幫助(zhu)TDengine 不斷完善這(zhe)個全新的(de)工(gong)(gong)業數(shu)據(ju)處理(li)系(xi)統，一起(qi)給行業賦能。

希望(wang)我(wo)和(he)團隊努(nu)力奔(ben)跑，不辜負這個時代賦予(yu)給我(wo)們的機(ji)會，讓中國這個制(zhi)造大(da)國有全(quan)球領(ling)先的工業數據處理(li)系統。