无码人妻精品一区二区三18禁,影音先锋男人AV橹橹色,污污污污污污www网站免费,日韩成人av无码一区二区三区,欧美性受xxxx狂喷水

奔跑了五年,就為做一件難而正確的事,繼續奔跑!

Jeff Tao

2024-07-12 /

五(wu)年前的(de)(de)今天,我做了一艱難的(de)(de)決定,將(jiang)開發(fa)了兩年多的(de)(de)時序大(da)數據處理平(ping)臺(tai)TDengine的(de)(de)核心(xin)代碼(ma)全部開源。沒想到的(de)(de)是,TDengine 開源后迅速引起了開發(fa)者的(de)(de)高度關注(zhu),在GitHub全球趨(qu)勢排(pai)行榜上多次排(pai)名第一。截止到今天,TDengine在GitHub上的(de)(de)Star已經超(chao)過23k, Fork數超(chao)過4.8k, 在全球檢(jian)測到的(de)(de)安裝實例(li)數超(chao)過56萬,遍布全球60多個國家和地區。

這(zhe)些數字讓我這(zhe)個年過50但仍然沖在coding第一線的老程序員(yuan)興奮不已,因為有人(ren)Star、有人(ren)用(yong),它說明我們(men)沒(mei)日沒(mei)夜開發(fa)的代碼,給大家帶(dai)來了價值。海量的用(yong)戶(hu)群(qun),是對一個程序員(yuan)工作的最(zui)大回報(bao)。今(jin)天借開源五周年之際,回顧一下(xia)TDengine的整(zheng)個發(fa)展(zhan)旅(lv)程,與眾多的開發(fa)者和創業者分享。

選擇時序大數據這個細分領域

2016年3月(yue),科技界發(fa)生了(le)一(yi)(yi)件(jian)影響深遠的(de)(de)大(da)事,谷歌旗(qi)下的(de)(de)阿爾(er)法圍棋(qi)(AlphaGo)對(dui)戰當(dang)時(shi)(shi)的(de)(de)世界頂尖棋(qi)手李世石,最(zui)后以4:1獲勝。AlphaGo的(de)(de)勝利一(yi)(yi)下引爆了(le)全球追捧人(ren)工智(zhi)能的(de)(de)熱(re)潮。那(nei)(nei)么,如何將(jiang)人(ren)工智(zhi)能運用到(dao)實(shi)際生活中(zhong)?這(zhe)(zhe)其中(zhong)一(yi)(yi)大(da)應(ying)用就(jiu)是(shi)(shi)(shi)(shi)自(zi)動(dong)(dong)駕(jia)駛(shi)。實(shi)現自(zi)動(dong)(dong)駕(jia)駛(shi)的(de)(de)關鍵技術就(jiu)是(shi)(shi)(shi)(shi)需(xu)要對(dui)汽車(che)采(cai)集(ji)(ji)的(de)(de)各(ge)種數(shu)(shu)據(ju)(ju)進(jin)行(xing)(xing)實(shi)時(shi)(shi)計算(suan)和決策。汽車(che)采(cai)集(ji)(ji)的(de)(de)數(shu)(shu)據(ju)(ju)一(yi)(yi)個顯(xian)著特征就(jiu)是(shi)(shi)(shi)(shi)都帶(dai)有(you)時(shi)(shi)間戳,并且采(cai)集(ji)(ji)頻率(lv)非(fei)常高。因此,我認為自(zi)動(dong)(dong)駕(jia)駛(shi)將(jiang)帶(dai)來數(shu)(shu)據(ju)(ju)量(liang)的(de)(de)爆炸式增(zeng)長。在2016年,我們(men)還能看到(dao)的(de)(de)就(jiu)是(shi)(shi)(shi)(shi)各(ge)種交通工具(ju)(如自(zi)行(xing)(xing)車(che)、汽車(che)、卡車(che)等)都已經聯網或(huo)準備(bei)聯網,共享出行(xing)(xing)也(ye)已經流行(xing)(xing)起來。這(zhe)(zhe)些交通工具(ju)也(ye)是(shi)(shi)(shi)(shi)時(shi)(shi)刻都在采(cai)集(ji)(ji)數(shu)(shu)據(ju)(ju),采(cai)集(ji)(ji)的(de)(de)數(shu)(shu)據(ju)(ju)也(ye)是(shi)(shi)(shi)(shi)有(you)明顯(xian)的(de)(de)特征,那(nei)(nei)就(jiu)是(shi)(shi)(shi)(shi)時(shi)(shi)序數(shu)(shu)據(ju)(ju)。可以說,整(zheng)個出行(xing)(xing)行(xing)(xing)業,在進(jin)入移(yi)動(dong)(dong)互聯網、人(ren)工智(zhi)能時(shi)(shi)代之后,數(shu)(shu)據(ju)(ju)量(liang)是(shi)(shi)(shi)(shi)指數(shu)(shu)級的(de)(de)增(zeng)長。

另(ling)外一方(fang)面,由于(yu)技(ji)術(shu)的(de)(de)(de)創(chuang)新(xin)、政府的(de)(de)(de)推(tui)動,光伏(fu)(fu)、風力(li)、儲(chu)能等(deng)(deng)清(qing)潔(jie)能源(yuan)(yuan)逐步(bu)流行起(qi)(qi)來,電(dian)(dian)(dian)(dian)網(wang)(wang)(wang)的(de)(de)(de)供(gong)電(dian)(dian)(dian)(dian)設備的(de)(de)(de)數(shu)量在指數(shu)級的(de)(de)(de)增(zeng)長。但這(zhe)些(xie)(xie)清(qing)潔(jie)新(xin)能源(yuan)(yuan)往往無(wu)法提供(gong)穩定可(ke)預測(ce)的(de)(de)(de)發(fa)電(dian)(dian)(dian)(dian)量,因(yin)此(ci)對電(dian)(dian)(dian)(dian)網(wang)(wang)(wang)的(de)(de)(de)調(diao)度提出了(le)很大的(de)(de)(de)技(ji)術(shu)挑戰。解決(jue)(jue)這(zhe)個(ge)(ge)(ge)挑戰,就是需要在對發(fa)電(dian)(dian)(dian)(dian)、輸(shu)電(dian)(dian)(dian)(dian)、配電(dian)(dian)(dian)(dian)、用電(dian)(dian)(dian)(dian)等(deng)(deng)每個(ge)(ge)(ge)環節進行實時的(de)(de)(de)數(shu)據(ju)(ju)采集(ji),然(ran)后進行實時的(de)(de)(de)計算(suan)并做(zuo)出決(jue)(jue)策,這(zhe)些(xie)(xie)數(shu)據(ju)(ju)毫(hao)無(wu)疑問都(dou)是時序數(shu)據(ju)(ju)。另(ling)外一方(fang)面,傳(chuan)統的(de)(de)(de)一個(ge)(ge)(ge)用電(dian)(dian)(dian)(dian)單(dan)位可(ke)以(yi)(yi)自(zi)己安裝光伏(fu)(fu)等(deng)(deng)新(xin)能源(yuan)(yuan)設備,自(zi)己用不完的(de)(de)(de)電(dian)(dian)(dian)(dian),可(ke)以(yi)(yi)將其銷售給電(dian)(dian)(dian)(dian)網(wang)(wang)(wang),這(zhe)樣一個(ge)(ge)(ge)用電(dian)(dian)(dian)(dian)單(dan)位還可(ke)以(yi)(yi)是發(fa)電(dian)(dian)(dian)(dian)單(dan)位,催(cui)生(sheng)出了(le)電(dian)(dian)(dian)(dian)力(li)實時交(jiao)易(yi)系統。整個(ge)(ge)(ge)電(dian)(dian)(dian)(dian)網(wang)(wang)(wang)成為了(le)個(ge)(ge)(ge)分布式能源(yuan)(yuan)系統,需要實時采集(ji)的(de)(de)(de)數(shu)據(ju)(ju)來做(zuo)起(qi)(qi)運營支撐。

2016年由于我從上一(yi)家創業(ye)(ye)(ye)公(gong)司退出,得以(yi)有(you)空(kong)閑(xian)時(shi)間分(fen)析這些大(da)(da)的(de)行(xing)業(ye)(ye)(ye)變化。我認(ren)(ren)為出行(xing)或(huo)(huo)更廣義的(de)運輸行(xing)業(ye)(ye)(ye)以(yi)及分(fen)布式(shi)能(neng)源系統是(shi)兩大(da)(da)新的(de)場景(jing),將(jiang)產生海(hai)量的(de)時(shi)序數據(ju)。數據(ju)量的(de)規模不是(shi)一(yi)般的(de)數據(ju)庫或(huo)(huo)大(da)(da)數據(ju)平臺能(neng)高效處(chu)(chu)理的(de),一(yi)定需要專(zhuan)用(yong)的(de)時(shi)序數據(ju)處(chu)(chu)理工具。2016年9月起(qi)(qi),我便(bian)開始研(yan)究(jiu)起(qi)(qi)時(shi)序數據(ju)的(de)處(chu)(chu)理。很快,我就發(fa)現(xian)了InfluxDB, OpenTSDB, Prometheus等(deng)專(zhuan)用(yong)的(de)時(shi)序數據(ju)庫軟件。研(yan)究(jiu)后,我發(fa)現(xian)這些工具在處(chu)(chu)理效率、水平擴展能(neng)力或(huo)(huo)易用(yong)性上,還存在問題(ti)。憑著我自己前兩次的(de)創業(ye)(ye)(ye)經驗以(yi)及直覺,認(ren)(ren)為這個細分(fen)市場還大(da)(da)有(you)可為,機(ji)會還在,而且很適合自己來做。因此2016年10月我便(bian)全力以(yi)赴投入到時(shi)序數據(ju)庫的(de)研(yan)究(jiu),12月17日在溪(xi)山(shan)天使投資年會上,我寫(xie)下了 TDengine 第一(yi)行(xing)代碼,正式(shi)開始了我第三次創業(ye)(ye)(ye)的(de)旅程。

技術創新是產品的根本

時(shi)序(xu)數(shu)(shu)(shu)據(ju)庫是(shi)(shi)一基礎軟件,在(zai)(zai)市場已經存在(zai)(zai)不少產品(pin)的(de)(de)情況下,怎么沖殺出(chu)來,唯(wei)一的(de)(de)招(zhao)數(shu)(shu)(shu)就(jiu)是(shi)(shi)技術創(chuang)新(xin)(xin)。我在(zai)(zai)分析電力(li)、汽車這些(xie)場景后,發現時(shi)序(xu)數(shu)(shu)(shu)據(ju)很有特(te)征(zheng)(zheng)。比如每個(ge)傳感器或(huo)設備(bei)產生的(de)(de)數(shu)(shu)(shu)據(ju)都是(shi)(shi)結構化的(de)(de)、而(er)(er)且是(shi)(shi)一個(ge)數(shu)(shu)(shu)據(ju)流,與攝像(xiang)頭一樣,這些(xie)數(shu)(shu)(shu)據(ju)幾乎沒有更(geng)新(xin)(xin)或(huo)刪(shan)除,只是(shi)(shi)到期(qi)刪(shan)除,用(yong)戶關心的(de)(de)更(geng)多(duo)的(de)(de)是(shi)(shi)數(shu)(shu)(shu)據(ju)變化的(de)(de)趨勢,而(er)(er)不是(shi)(shi)某個(ge)時(shi)間點的(de)(de)值等等。如果我們(men)將這些(xie)特(te)征(zheng)(zheng)充(chong)分利用(yong)起來,就(jiu)可以開發出(chu)極為高效的(de)(de)時(shi)序(xu)數(shu)(shu)(shu)據(ju)處理引擎。

基于每個(ge)(ge)(ge)傳(chuan)感(gan)(gan)器(qi)或設(she)備都(dou)在產生一(yi)(yi)(yi)個(ge)(ge)(ge)數(shu)(shu)據(ju)(ju)流的(de)這個(ge)(ge)(ge)特征,我(wo)認為(wei)最佳(jia)的(de)建(jian)模方式便是一(yi)(yi)(yi)個(ge)(ge)(ge)數(shu)(shu)據(ju)(ju)采集(ji)點一(yi)(yi)(yi)張(zhang)(zhang)表。有一(yi)(yi)(yi)千萬智能(neng)電表,你(ni)就需要(yao)建(jian)一(yi)(yi)(yi)千萬張(zhang)(zhang)表。這樣寫入數(shu)(shu)據(ju)(ju)就成為(wei)簡單的(de)數(shu)(shu)據(ju)(ju)追加(jia)操作,同時采用(yong)列式存(cun)儲,因(yin)為(wei)同一(yi)(yi)(yi)個(ge)(ge)(ge)傳(chuan)感(gan)(gan)器(qi)的(de)數(shu)(shu)據(ju)(ju)變化總是緩慢的(de),這樣數(shu)(shu)據(ju)(ju)壓(ya)縮率可以很高。一(yi)(yi)(yi)個(ge)(ge)(ge)數(shu)(shu)據(ju)(ju)采集(ji)點的(de)數(shu)(shu)據(ju)(ju)還一(yi)(yi)(yi)塊(kuai)一(yi)(yi)(yi)塊(kuai)存(cun)儲,這樣能(neng)提(ti)供高效的(de)預計算,而且讀取單個(ge)(ge)(ge)采集(ji)點數(shu)(shu)據(ju)(ju)時將極為(wei)高效。

但這(zhe)個(ge)數據模(mo)型帶(dai)來的(de)一個(ge)挑戰就(jiu)是表(biao)的(de)數量極為(wei)龐大,表(biao)的(de)管理(li)以及(ji)表(biao)之間的(de)聚合成為(wei)挑戰,因此我提出來超級表(biao)的(de)概(gai)念。同(tong)一類設備(bei)建一張超級表(biao),對(dui)每個(ge)具(ju)體的(de)設備(bei),使用超級表(biao)做(zuo)模(mo)版,同(tong)時打上各種標簽。標簽數據與(yu)時序數據分(fen)離(li)存儲(chu),把數據分(fen)析中的(de)維度數據與(yu)事實數據概(gai)念完全(quan)搬(ban)到時序數據的(de)處理(li)來,這(zhe)樣完全(quan)高(gao)效(xiao)的(de)解(jie)決了表(biao)的(de)數量過于龐大的(de)問題。

通過(guo)獨特的(de)(de)”一個數(shu)據采集(ji)(ji)點一張表(biao)”以(yi)及”超(chao)級表(biao)”的(de)(de)數(shu)據模型,TDengine在讀、寫、壓縮性(xing)能上(shang),一下就超(chao)越了市場上(shang)最流(liu)行的(de)(de)InfluxDB與TimeScaleDB。基于全球公(gong)認的(de)(de)TSBS時序(xu)數(shu)據標準數(shu)據集(ji)(ji),無(wu)論是CPU-Only場景還是IoT場景,都顯著優于他(ta)們(詳(xiang)細的(de)(de)測試報告(gao)請(qing)查看TDengine官網)。

光性能(neng)超越對手之外,我(wo)(wo)(wo)認為還不夠(gou),需要在產品功(gong)(gong)能(neng)上有創新。在研究時序(xu)數據(ju)應用場(chang)景(jing)之后,我(wo)(wo)(wo)認為需要把緩(huan)存、數據(ju)訂閱、流(liu)式(shi)計(ji)算等功(gong)(gong)能(neng)納入進(jin)來,與(yu)時序(xu)數據(ju)庫(ku)一起提供一個全棧的時序(xu)數據(ju)處(chu)理平臺,大幅(fu)簡(jian)化(hua)系統架構的復雜度(du)以及運維成(cheng)本(ben)。為什(shen)么(me)我(wo)(wo)(wo)們(men)把產品取名為TDengine, 而(er)不是(shi)什(shen)么(me)DB,這(zhe)是(shi)根(gen)本(ben)原因。TDengine的含義是(shi)Time-Series Data Engine, 時序(xu)數據(ju)引擎之意。而(er)且(qie)由于(yu)我(wo)(wo)(wo)們(men)充(chong)分利用時序(xu)數據(ju)的特(te)點,緩(huan)存、數據(ju)訂閱、流(liu)式(shi)計(ji)算這(zhe)些(xie)功(gong)(gong)能(neng)相比通(tong)用的Redis, Kafka, Spark這(zhe)些(xie)軟件,性能(neng)更高,資源消耗更小,更進(jin)一步降(jiang)低運營(ying)成(cheng)本(ben)。

軟件的(de)易(yi)用(yong)性也(ye)極(ji)為(wei)關鍵。從(cong)我寫(xie)第(di)一(yi)行代碼起(qi),我就(jiu)決定(ding)采用(yong)SQL作為(wei)標準的(de)查(cha)詢語(yu)言(yan),而(er)不是(shi)像(xiang)InfluxDB, Prometheus, OpenTSDB等軟件一(yi)樣,采用(yong)自己(ji)定(ding)義(yi)的(de)查(cha)詢語(yu)言(yan)。安(an)裝(zhuang)部署上也(ye)追求極(ji)致,從(cong)下載、到安(an)裝(zhuang)、啟動,60秒之(zhi)內一(yi)定(ding)搞定(ding)。我們提供(gong)的(de)所(suo)有示(shi)例代碼都是(shi)拷貝粘(zhan)貼就(jiu)可以工作的(de)。這一(yi)切,就(jiu)是(shi)降低學習成本。

奔跑了五年,就為做一件難而正確的事,繼續奔跑! - TDengine Database 時序數據庫
TDengine開源第一次Meetup后團隊合影

開源就要把最核心的代碼開源

這(zhe)么具有創新(xin)的產品怎么推廣?特別(bie)(bie)對于(yu)數據(ju)庫這(zhe)類基(ji)礎(chu)軟件而言,用戶切換(huan)成本(ben)很(hen)高,沒(mei)有很(hen)特別(bie)(bie)的理由,很(hen)難(nan)說(shuo)服開發者切換(huan)到新(xin)的數據(ju)庫上。因(yin)此創業之初(chu),我們(men)就(jiu)在仔細思(si)考,結論就(jiu)是開源。但我自(zi)己以及(ji)團隊都沒(mei)有開源的經驗,因(yin)此直到我們(men)第(di)一個正(zheng)式(shi)版(ban)本(ben)發布(bu),而且簽單了三個大的客戶之后,從2019年3月(yue)起,就(jiu)全(quan)力(li)以赴投(tou)入到開源的準備工作(zuo)中(zhong)。

2019年7月12日(ri),在(zai)深圳舉行(xing)的(de)(de)(de)全球架構師大(da)會上,我正式宣布(bu)將TDengine單機版程序開源。宣布(bu)之后(hou),由(you)于我們產(chan)品定位切(qie)中了物聯網(wang)(wang)、工業互(hu)聯網(wang)(wang)數據平臺的(de)(de)(de)剛性需求,核心代碼開源,加上它驚艷的(de)(de)(de)性能與(yu)出色的(de)(de)(de)用戶體(ti)驗,一(yi)下火爆,GitHub的(de)(de)(de)star, fork數天天高(gao)漲,好幾天都在(zai)全球趨(qu)勢排行(xing)榜上排名(ming)第一(yi),官網(wang)(wang)的(de)(de)(de)流量直線上升。開源三個(ge)月之后(hou),GitHub上的(de)(de)(de)star數已經超過一(yi)萬。這一(yi)切(qie)遠超我們的(de)(de)(de)預期。完全沒想到我們六個(ge)人的(de)(de)(de)小團(tuan)隊(dui),引爆了這個(ge)市場。

在作(zuo)(zuo)出開(kai)(kai)(kai)(kai)源(yuan)的(de)決(jue)定時,我(wo)認(ren)為(wei)開(kai)(kai)(kai)(kai)源(yuan)就(jiu)一(yi)(yi)定要將(jiang)(jiang)最核心(xin)的(de)代碼開(kai)(kai)(kai)(kai)源(yuan),因為(wei)只有(you)給(gei)用戶帶(dai)來真正的(de)價值(zhi),將(jiang)(jiang)自(zi)己的(de)技術創新、絕(jue)招完全(quan)展(zhan)現給(gei)大(da)家,才能(neng)獲得(de)開(kai)(kai)(kai)(kai)發者的(de)喜愛。但(dan)由(you)于擔心(xin)開(kai)(kai)(kai)(kai)源(yuan)不一(yi)(yi)定成功,我(wo)們將(jiang)(jiang)一(yi)(yi)核心(xin)功能(neng),集(ji)群(qun)(qun)功能(neng),沒(mei)有(you)開(kai)(kai)(kai)(kai)源(yuan)。在看到單機版開(kai)(kai)(kai)(kai)源(yuan)火爆之(zhi)后,而(er)且大(da)量的(de)用戶反(fan)饋需要集(ji)群(qun)(qun)功能(neng),我(wo)們便決(jue)定要將(jiang)(jiang)集(ji)群(qun)(qun)版開(kai)(kai)(kai)(kai)源(yuan)。在做夠了準備工作(zuo)(zuo)之(zhi)后,在2020年8月,我(wo)們將(jiang)(jiang)集(ji)群(qun)(qun)版開(kai)(kai)(kai)(kai)源(yuan)。沒(mei)想到,這又是(shi)(shi)一(yi)(yi)正確的(de)決(jue)定。集(ji)群(qun)(qun)版開(kai)(kai)(kai)(kai)源(yuan)后,又是(shi)(shi)獲得(de)開(kai)(kai)(kai)(kai)發者社區(qu)的(de)熱捧,GitHub上(shang)的(de)star數又是(shi)(shi)天天漲(zhang),安裝量一(yi)(yi)下就(jiu)沖(chong)到每(mei)天200以上(shang),每(mei)天clone代碼的(de)人(ren)次超過1000以上(shang)。

看到云原生是未來,我們又積極的開發云原生版,在2021年8月將云原生版開源,又是獲得眾多開發者的喜愛。到目前為止,TDengine項目在GitHub上已經獲得23k+ star,4.6k+ fork, 我們每天統計日均安裝實例數已經超過500,總數已經達到56萬, 而且遍布全球60多個國家和地區。按照現在的增長趨勢,TDengine成為行業的事實標準,成為全球最有影響力的時序數據庫,不會是遙遠(yuan)的事情。

作為一個開源時間才5年的項目,能獲得這么大的安裝量和GitHub Star數,作為一名擁有40年碼齡的我,十分的自豪,因為它說明我們沒日沒夜開發的代碼,給大家帶來了價值。海量的用戶群,是對一個程序員工作的最大回報。TDengine 產品還在演進中,后續我們還會開源一些模塊。開源的原則不會改變,那就是把用戶最喜愛的功能,把最核心的功能開源。

商業化成功是開源持續成功的保障

一家企業需要生(sheng)存,就需要盈利。我們無法依靠研發(fa)人員(yuan)的情懷,毫無經濟(ji)回報的把開(kai)源進行到底。因此(ci)我們在(zai)開(kai)源獲取成功(gong)的同時,在(zai)積極的探(tan)索如何獲取商業成功(gong)。做(zuo)了一些調研之后,我們就準(zhun)備采取開(kai)源軟(ruan)件標準(zhun)的做(zuo)法,提供付費(fei)企業版。

TDengine 核(he)心代碼,包括(kuo)集群(qun)版(ban)、云原生的功(gong)能(neng)都已經開源,企業(ye)版(ban)到底有什么不(bu)同呢?我們決定將(jiang)企業(ye)關心的數(shu)(shu)據(ju)備(bei)份、容災、權限控(kong)制、安全、多級(ji)存儲、各種數(shu)(shu)據(ju)源的無(wu)縫接入等輔助性的功(gong)能(neng)全部納(na)入到企業(ye)版(ban)。沒有這些(xie)輔助性功(gong)能(neng),TDengine作(zuo)為(wei)一(yi)款時序數(shu)(shu)據(ju)庫,功(gong)能(neng)是完備(bei)的,與(yu)其(qi)他開源的時序數(shu)(shu)據(ju)庫相比,在功(gong)能(neng)和性能(neng)上,優勢依然是明顯的。但(dan)這些(xie)輔助性功(gong)能(neng)對于企業(ye)的運營又是至(zhi)關重要的。

TDengine 廣泛用于物聯網、工業互聯網等場景,這些場景中,有各式各樣的數據源,比如MQTT,OPC-UA,OPC-DA, 工業場景中,還存在各種傳統的實時數據庫,比如PI System, Wonderware等。TDengine 企(qi)業(ye)(ye)版中包含了一(yi)(yi)個組(zu)件,能通過簡(jian)單的(de)(de)(de)配置,無需一(yi)(yi)行(xing)代(dai)碼,將這些(xie)數(shu)(shu)(shu)據(ju)源的(de)(de)(de)數(shu)(shu)(shu)據(ju)實時的(de)(de)(de)讀取并(bing)保存到(dao)TDengine中。因為每個數(shu)(shu)(shu)據(ju)源的(de)(de)(de)命名規則、測量(liang)(liang)單位、時區都不一(yi)(yi)致,因此TDengine企(qi)業(ye)(ye)版還具有數(shu)(shu)(shu)據(ju)的(de)(de)(de)轉換、過濾、清洗的(de)(de)(de)能力,以保證入庫數(shu)(shu)(shu)據(ju)的(de)(de)(de)質量(liang)(liang)。這樣大幅簡(jian)化了系統部署的(de)(de)(de)復雜(za)度(du)。

在企(qi)業級的(de)應用中,數(shu)據(ju)(ju)庫的(de)備份恢(hui)復(fu),異(yi)地容災,實(shi)時同步至關重要,沒有這些功(gong)能(neng),數(shu)據(ju)(ju)安全無法得到(dao)保證(zheng),企(qi)業是不敢投入運營的(de)。因此TDengine企(qi)業版(ban)(ban)提供這些功(gong)能(neng)。另外一方面(mian),邊(bian)(bian)緣計算已(yi)經流行(xing)起(qi)來,各大企(qi)業也希望將(jiang)邊(bian)(bian)緣側的(de)數(shu)據(ju)(ju)匯聚到(dao)云端(duan)。因此TDengne 企(qi)業版(ban)(ban)還提供邊(bian)(bian)云協(xie)同的(de)功(gong)能(neng),通過(guo)簡單的(de)配(pei)置,就(jiu)能(neng)將(jiang)邊(bian)(bian)緣側的(de)數(shu)據(ju)(ju)實(shi)時的(de)同步到(dao)私有云或公有云。

在(zai)企業級的(de)應(ying)用中,數(shu)據(ju)(ju)(ju)訪(fang)問安全也至關(guan)重要(yao)。因此TDengine企業版提供(gong)數(shu)據(ju)(ju)(ju)傳輸(shu)過程的(de)加密、數(shu)據(ju)(ju)(ju)庫存儲(chu)的(de)加密、也提供(gong)數(shu)據(ju)(ju)(ju)庫訪(fang)問權(quan)限(xian)的(de)設置、IP白名單、操作審計等(deng)功能。而且(qie)TDengine還(huan)提供(gong)視圖,并對視圖進行權(quan)限(xian)控(kong)制(zhi),這樣(yang)數(shu)據(ju)(ju)(ju)訪(fang)問的(de)控(kong)制(zhi)可(ke)以(yi)精細到表(biao)、列、時間段等(deng)。數(shu)據(ju)(ju)(ju)訂閱(yue)通(tong)過SQL定(ding)義(yi)可(ke)以(yi)訪(fang)問的(de)表(biao)、列、時間段,甚至可(ke)以(yi)對原(yuan)始數(shu)據(ju)(ju)(ju)進行加工或聚合,并配(pei)以(yi)權(quan)限(xian)控(kong)制(zhi)。這一切(qie),都是最大程度保(bao)證數(shu)據(ju)(ju)(ju)訪(fang)問的(de)安全。

在(zai)數據(ju)量(liang)指數級(ji)增(zeng)長的時代(dai),存(cun)(cun)儲成(cheng)本一直是企業運營(ying)所需(xu)要考慮的。因此(ci)TDengine企業版提供多級(ji)存(cun)(cun)儲,將數據(ju)按冷(leng)熱程度(du)劃分,最熱的數據(ju)在(zai)內存(cun)(cun),稍熱的數據(ju)存(cun)(cun)放在(zai)SSD上(shang),冷(leng)數據(ju)存(cun)(cun)在(zai)普通(tong)機械硬盤上(shang),最冷(leng)的數據(ju)可以保(bao)存(cun)(cun)在(zai)S3上(shang),最大(da)程度(du)的降低存(cun)(cun)儲成(cheng)本。

在(zai)提(ti)供(gong)企(qi)業版之外,2023年(nian)3月起,TDengine還(huan)提(ti)供(gong)全(quan)托管的(de)(de)(de)(de)(de)云(yun)服(fu)務,我們已(yi)經在(zai)阿(a)里(li)云(yun)、AWS、Azure, ?GCP四大云(yun)上提(ti)供(gong)。云(yun)服(fu)務對(dui)于中小企(qi)業而(er)言,是能快(kuai)速(su)上線、享受高(gao)質量(liang)的(de)(de)(de)(de)(de)專業服(fu)務,同時又能控制并降低運營成本的(de)(de)(de)(de)(de)最佳途(tu)徑。而(er)且我們堅信(xin),開源(yuan)軟件的(de)(de)(de)(de)(de)未來在(zai)于云(yun)服(fu)務。通過開源(yuan),我們能迅速(su)打造出市場品牌并建設出開發者社區,這樣相當多的(de)(de)(de)(de)(de)用(yong)戶將直接轉發為云(yun)服(fu)務的(de)(de)(de)(de)(de)用(yong)戶。

奔跑了五年,就為做一件難而正確的事,繼續奔跑! - TDengine Database 時序數據庫
仍在奔跑的TDengine七位聯合創始人

將數據價值最大化

TDengine 的核心是(shi)一個時序(xu)數(shu)據(ju)庫,幫助大家把(ba)各(ge)種數(shu)據(ju)源采集的時序(xu)數(shu)據(ju),清洗加工后,高(gao)效的存儲(chu)(chu),并通過SQL提供各(ge)種數(shu)據(ju)的查(cha)詢分析以及(ji)實時數(shu)據(ju)分發服務。無論是(shi)哪種場景,用(yong)戶(hu)(hu)采集數(shu)據(ju)并存儲(chu)(chu)起來的目(mu)的是(shi)要從數(shu)據(ju)中(zhong)挖掘(jue)出價(jia)值,比如對(dui)運營進(jin)行(xing)實時監(jian)測(ce),發現異常立即報警,對(dui)未來進(jin)行(xing)預測(ce),包括(kuo)對(dui)設備進(jin)行(xing)預測(ce)性維護等等。因此TDengine的唯(wei)一目(mu)標就是(shi)幫助用(yong)戶(hu)(hu)將數(shu)據(ju)價(jia)值最(zui)大化 (Maximize data utilization)。

TDengine自身的(de)查(cha)詢計算引擎已經提(ti)供(gong)了相當的(de)數(shu)據(ju)分(fen)析(xi)能力,支持標準SQL、嵌套查(cha)詢、用(yong)(yong)戶(hu)自定義(yi)函(han)數(shu)、并支持眾多(duo)的(de)時序(xu)數(shu)據(ju)擴展函(han)數(shu)等(deng)(deng)。但為幫(bang)助用(yong)(yong)戶(hu)最(zui)大程度挖掘(jue)出數(shu)據(ju)的(de)價值,TDengine通過標準的(de)JDBC、ODBC接(jie)口,能夠與眾多(duo)的(de)BI, AI以(yi)及可視化工具,比(bi)如Power BI, Tableau, Grafana等(deng)(deng),無縫集成。用(yong)(yong)戶(hu)可以(yi)選擇(ze)自己最(zui)喜歡的(de)工具來分(fen)析(xi)處理(li)存儲在(zai)TDengine的(de)數(shu)據(ju)。

實(shi)時數據(ju)(ju)(ju)分析(xi)已經越來越重要,因(yin)此TDengine自身(shen)了提(ti)(ti)供(gong)實(shi)時流式計(ji)算(suan)的(de)能(neng)力(li),支持各種(zhong)窗(chuang)口(kou)觸發機制,包括滑動窗(chuang)口(kou)、狀態窗(chuang)口(kou)、事(shi)件(jian)窗(chuang)口(kou)、會話窗(chuang)口(kou)、計(ji)數窗(chuang)口(kou)等等。但為幫(bang)助用(yong)戶能(neng)最大(da)(da)程(cheng)度(du)的(de)進行各種(zhong)實(shi)時計(ji)算(suan),TDengine提(ti)(ti)供(gong)了靈活而又(you)安全的(de)實(shi)時數據(ju)(ju)(ju)訂閱(yue)的(de)能(neng)力(li),一旦訂閱(yue)的(de)數據(ju)(ju)(ju)有(you)更新,第三方工具將立(li)即獲得通知(zhi),對數據(ju)(ju)(ju)進行實(shi)時處理,最大(da)(da)程(cheng)度(du)挖掘數據(ju)(ju)(ju)的(de)價值。

為(wei)便于(yu)各類應用程序的開發,TDengine提(ti)供了C/C++, Java, Python, Rust, Go, NodeJS等各種(zhong)主流編程語(yu)言(yan)的連接器,而且對各種(zhong)功能(neng)提(ti)供了可以(yi)拷貝黏貼的示(shi)范代碼(ma)。

人類已經步入AI時代,新(xin)的(de)算(suan)法、模型不停的(de)涌現,新(xin)的(de)數據分析(xi)和(he)數據處理的(de)工(gong)具(ju)(ju)也不停的(de)涌現,這些(xie)(xie)新(xin)的(de)工(gong)具(ju)(ju)不是任何一家廠商(shang)能夠全面提供(gong)的(de)。TDengine能做到(dao)的(de)就是通過開(kai)放的(de)接(jie)口,保證能夠與(yu)這些(xie)(xie)新(xin)的(de)工(gong)具(ju)(ju)、平臺無縫集成,幫助用戶將(jiang)數據的(de)價值(zhi)最大化(hua)。

奔跑了五年,就為做一件難而正確的事,繼續奔跑! - TDengine Database 時序數據庫
2023年9月TDengine 團隊在朝陽公園團建

寫在最后

從我寫下TDengine第一行(xing)代碼(ma),七年(nian)已(yi)(yi)(yi)經(jing)(jing)過去,當年(nian)49歲(sui)的程序員已(yi)(yi)(yi)是(shi)56歲(sui)。在(zai)(zai)我可以游山玩水的年(nian)齡,選(xuan)擇了(le)第三次創業(ye)(ye),并(bing)沖到(dao)了(le)coding第一線,一路奔跑,讓(rang)我用(yong)另外一種方式延(yan)續了(le)年(nian)輕時(shi)的活力(li),能繼續追(zhui)逐年(nian)少(shao)時(shi)的夢想。令我欣慰(wei)的是(shi)TDengine的日(ri)均(jun)安裝(zhuang)量仍然在(zai)(zai)增長,產品已(yi)(yi)(yi)經(jing)(jing)被越來越多的用(yong)戶(hu)所接受(shou)所喜愛,而且(qie)商業(ye)(ye)化進程基本順(shun)利,已(yi)(yi)(yi)經(jing)(jing)擁(yong)有200多家付(fu)費客戶(hu),遍布在(zai)(zai)電(dian)力(li)、新能源、汽車、石油、石化、礦山、智能制造等眾多領域。我們的客戶(hu)不僅(jin)在(zai)(zai)中國,而且(qie)已(yi)(yi)(yi)經(jing)(jing)遍布全球。

繼(ji)(ji)2016年(nian)AlphaGo之后,2023年(nian)的ChatGTP將人工(gong)智能又推向(xiang)了嶄新的高度。AI的發(fa)展讓每(mei)個(ge)人更加看(kan)到了數(shu)(shu)據(ju)的價值,數(shu)(shu)據(ju)基礎設施變的更為重要,而且數(shu)(shu)據(ju)量還(huan)會繼(ji)(ji)續指數(shu)(shu)級的增長。這些增長的數(shu)(shu)據(ju)絕大(da)部分都會是來自(zi)機(ji)器、設備、傳感器采集的時(shi)序數(shu)(shu)據(ju),因此我(wo)們(men)相信時(shi)序數(shu)(shu)據(ju)處(chu)理這個(ge)細分市場一定會越(yue)來越(yue)大(da)。當大(da)家(jia)發(fa)現傳統(tong)的數(shu)(shu)據(ju)庫以及(ji)大(da)數(shu)(shu)據(ju)處(chu)理工(gong)具無論是性(xing)能、水平(ping)擴展性(xing)、以及(ji)運維(wei)成(cheng)本越(yue)來越(yue)無法滿(man)足需求的時(shi)候,TDengine就能迎來其(qi)巔峰之日。

慶幸(xing)我在(zai)2016年(nian)做出的(de)(de)選擇(ze),選擇(ze)了(le)做一(yi)件難而正確的(de)(de)事情,TDengine 是(shi)一(yi)款具有剛性(xing)需求、有技術門檻、需要長期投(tou)入而又有巨大(da)(da)發展空間的(de)(de)產品。慶幸(xing)我選擇(ze)了(le)將核心代(dai)碼(ma)開(kai)源的(de)(de)方(fang)式(shi),讓(rang)我們(men)僅5年(nian)的(de)(de)時間就在(zai)全球60多個國家和地區擁有超過56萬的(de)(de)安裝實(shi)例。這是(shi)一(yi)場馬拉松,雖(sui)然已經跑(pao)了(le)五年(nian),但我現在(zai)能做的(de)(de)就是(shi)帶領團隊(dui)繼(ji)續奔跑(pao),讓(rang)TDengine盡(jin)早成為時序大(da)(da)數(shu)據平臺(tai)的(de)(de)事實(shi)標(biao)準。

做難(nan)而正確的(de)事,一(yi)生不悔的(de)選擇(ze)。

陶建輝

濤思數據TDengine 創始人(ren)

2024年7月(yue)12日寫(xie)于北(bei)京望(wang)京