早幾天(tian)，應邀在(zai)亞(ya)信做了(le)一場“技術(shu)創(chuang)(chuang)新(xin)之路”的(de)(de)(de)分享，面對(dui) 200 多(duo)位亞(ya)信的(de)(de)(de)產品和(he)研發(fa)同(tong)(tong)(tong)學，我介紹了(le)自己(ji)從和(he)信、快(kuai)樂媽咪到(dao)現在(zai)的(de)(de)(de)濤(tao)思數據的(de)(de)(de)創(chuang)(chuang)業(ye)歷(li)程，對(dui)三個貌似完全(quan)不(bu)同(tong)(tong)(tong)的(de)(de)(de)公司的(de)(de)(de)技術(shu)創(chuang)(chuang)新(xin)做了(le)剖析。從來都沒有無(wu)源(yuan)之水，跨界是創(chuang)(chuang)新(xin)的(de)(de)(de)主要源(yuan)泉，這是我的(de)(de)(de)核(he)心觀點。今天(tian)周(zhou)末，我將(jiang)自己(ji)的(de)(de)(de)創(chuang)(chuang)新(xin)經歷(li)寫出(chu)來，與眾多(duo)的(de)(de)(de)研發(fa)同(tong)(tong)(tong)學和(he)創(chuang)(chuang)業(ye)者分享，希望(wang)能給(gei)大家一點啟發(fa)。
從宇宙大尺度結構到胎心監測
熟悉我(wo)的(de)(de)人都知道，我(wo)在中國(guo)(guo)科(ke)大(da)學(xue)(xue)的(de)(de)是(shi)天(tian)體物理，后(hou)(hou)去美國(guo)(guo)印第(di)安納(na)大(da)學(xue)(xue)，前(qian)后(hou)(hou)念(nian)了近 5 年的(de)(de)天(tian)體物理，方向是(shi)宇宙(zhou)(zhou)大(da)尺度結構，試圖(tu)用類星體的(de)(de)觀測數據來回答(da)宇宙(zhou)(zhou)學(xue)(xue)的(de)(de)一個基本問題，宇宙(zhou)(zhou)是(shi)否(fou)具有(you)各向同性，是(shi)否(fou)是(shi)有(you)中心的(de)(de)。但當年為(wei)了早日過上美國(guo)(guo)夢(meng)的(de)(de)生(sheng)活，我(wo)沒(mei)有(you)念(nian)完 PhD，而是(shi)在 1997 年初就加入了芝加哥的(de)(de) Motorola ，放(fang)棄做科(ke)學(xue)(xue)家(jia)的(de)(de)夢(meng)想(xiang)，做軟(ruan)件工程師了。從(cong)此以后(hou)(hou)，與(yu)相對(dui)論(lun)、量子場(chang)論(lun)、黑洞、宇宙(zhou)(zhou)大(da)爆炸這些話題告別(bie)，自己(ji)再也沒(mei)有(you)想(xiang)到所學(xue)(xue)的(de)(de)天(tian)體物理方面的(de)(de)知識能(neng)在工作中直接派上用場(chang)。
然(ran)而人生處(chu)處(chu)都是(shi)意(yi)想不到 。
2013 年我創辦(ban)快樂媽咪，專注母嬰智能(neng)硬件。我們的第一款產(chan)品是胎心(xin)監測，通過超聲波(bo)的多普勒(le)效應，用智能(neng)手機來測算胎兒的心(xin)跳。
從記錄的(de)胎兒(er)心(xin)跳數據來(lai)看，可以很清(qing)晰地看到心(xin)跳是一(yi)個(ge)周(zhou)期(qi)性的(de)信號。最初，我認為這(zhe)是一(yi)簡單的(de)事情，寫個(ge)程序就很容易計(ji)算心(xin)跳周(zhou)期(qi)。但沒想到，我們研發同學花了一(yi)個(ge)多月時間，計(ji)算出的(de)心(xin)率就是不準。而且(qie)深(shen)圳(zhen)的(de)廠商告訴我，全中國只有 5 個(ge)人知道如何計(ji)算胎心(xin)的(de)算法，很有技術挑(tiao)戰。于(yu)是小伙伴(ban)們建議我，趕快(kuai)找清(qing)華的(de)老師(shi)來(lai)解決。
我聽了之后哈哈大笑說：“如果這個問題要(yao)(yao)靠清華老師(shi)解決(jue)，這公(gong)司就(jiu)不要(yao)(yao)開了。”
網上搜(sou)了幾篇胎(tai)心(xin)監測的(de)(de)技術文(wen)章，看完后，我(wo)心(xin)里很清楚，認為可以(yi)用我(wo)學天體物理(li)時所學的(de)(de)相關函(han)數(shu)方法來(lai)解決這(zhe)個問(wen)題。相關函(han)數(shu)是一(yi)(yi)種通用的(de)(de)數(shu)字信號的(de)(de)處理(li)方法，被天體物理(li)學界(jie)用來(lai)分(fen)析宇宙(zhou)大尺(chi)度結構(gou)，包括類星(xing)體空(kong)間分(fen)布，只是分(fen)析的(de)(de)是空(kong)間域的(de)(de)周期(qi)，是三(san)維的(de)(de)。胎(tai)心(xin)是一(yi)(yi)個時間域的(de)(de)分(fen)析，而且是一(yi)(yi)維的(de)(de)，簡單(dan)很多。
意(yi)識到可(ke)(ke)以(yi)(yi)用(yong)相關函數處理后(hou)，我馬上(shang)動手寫程序，先用(yong)快速傅里葉變換對(dui)胎(tai)心信號做濾波(bo)，然后(hou)通過滑(hua)動窗口計算(suan)(suan)相關函數，從相關函數計算(suan)(suan)出(chu)的(de)(de)(de)最大(da)值對(dui)應的(de)(de)(de)滑(hua)動窗口大(da)小(xiao)定出(chu)周期， 600 多行程序，就這樣簡單。一周后(hou)，我給小(xiao)伙伴們展示(shi)可(ke)(ke)以(yi)(yi)準(zhun)確而(er)且(qie)快速地在 iPhone 上(shang)計算(suan)(suan)出(chu)胎(tai)心的(de)(de)(de)時候，大(da)家都很興(xing)奮。而(er)且(qie)與(yu)市(shi)場上(shang)其他產(chan)品做對(dui)比測試(shi)顯示(shi)，我的(de)(de)(de)程序計算(suan)(suan)的(de)(de)(de)數字更(geng)快、更(geng)準(zhun)，并與(yu)賣 20 多萬 RMB 的(de)(de)(de)惠普專業胎(tai)心儀計算(suan)(suan)出(chu)的(de)(de)(de)結果完(wan)全一致(zhi)。
后來(lai)，我回到科(ke)大天(tian)體(ti)物理(li)(li)中心，給我的導師褚耀泉(quan)老師及其他(ta)同學談起這個(ge)算(suan)法(fa)，大家既震(zhen)驚又(you)開心，多普勒效應、相關函數的方法(fa)居(ju)然(ran)用來(lai)測胎兒(er)胎心。我自(zi)己也感慨(kai)，五年(nian)的天(tian)體(ti)物理(li)(li)的專業學習，居(ju)然(ran)沒有白費。
可見，天體物理的研究方法貌似不近人間煙火，但其實與我們日常生活又是密切相關的。世界上很多問題，看似復雜，但在抽象之后，本質上都是一樣的。不僅宇宙大尺度結(jie)構空(kong)間周期(qi)的(de)計算(suan)、胎心的(de)計算(suan)，而且手環記錄的(de)步數(shu)、跑步機上心率的(de)計算(suan)，都是可以用相關函數(shu)算(suan)法來解決的(de)。
從手機消息推送到物聯網大數據處理
2016 年(nian)初(chu)，快(kuai)樂媽咪(mi)被(bei)收購(gou)。之后，我(wo)先是休息了幾(ji)個月，但(dan)閑不住，就(jiu)開始看(kan)各種項目，想嘗試做天使投資，但(dan)看(kan)的(de)(de)(de)(de)(de)最多的(de)(de)(de)(de)(de)是與智能硬件(jian)、物(wu)聯網(wang)相(xiang)關的(de)(de)(de)(de)(de)項目。看(kan)完(wan)后，我(wo)發現大(da)家(jia)對(dui)物(wu)聯網(wang)大(da)數據(ju)(ju)處(chu)理(li)的(de)(de)(de)(de)(de)方(fang)(fang)(fang)法是極其的(de)(de)(de)(de)(de)復雜，把 Kafka、Redis、HBase、Spark 和 MongoDB 等眾多的(de)(de)(de)(de)(de)開源軟件(jian)堆砌在一起來(lai)處(chu)理(li)數據(ju)(ju)，不僅研發成本(ben)高(gao)，而(er)且(qie)部(bu)署(shu)復雜、維護成本(ben)很(hen)(hen)高(gao)。從(cong)一個受過多年(nian)物(wu)理(li)專業訓練的(de)(de)(de)(de)(de)人(ren)看(kan)來(lai)，萬(wan)事復雜的(de)(de)(de)(de)(de)時候，一定(ding)要分析問題的(de)(de)(de)(de)(de)本(ben)質(zhi)，分析出本(ben)質(zhi)后，解決方(fang)(fang)(fang)法往(wang)(wang)往(wang)(wang)很(hen)(hen)簡(jian)單。經(jing)典(dian)力學的(de)(de)(de)(de)(de)牛頓三(san)大(da)定(ding)律、電動力學的(de)(de)(de)(de)(de)麥克斯韋方(fang)(fang)(fang)程、量(liang)子力學的(de)(de)(de)(de)(de)波動方(fang)(fang)(fang)程，無一不是如此。
于是，我嘗試分析物聯網大數據，進而發現，這些傳感器、機器、設備采集的數據很有特點，仔細分析各種場景，總結出十大特點。
- 數據是時序的，一定帶有時間戳；
- 數據是結構化的；
- 數據源是唯一的；
- 數據極少有更新或刪除操作；
- 數據是有保留期限的；
- 相對互聯網應用，寫多讀少；
- 流量平穩，可以預測；
- 數據的查詢分析一定是基于時間段和地理區域的；
- 除存儲查詢外，還往往需要各種統計和實時計算操作；
- 數據量巨大。
那(nei)么基于這(zhe)些特點如何(he)更加高(gao)效(xiao)的(de)(de)處理呢？我(wo)自己沒有大數據(ju)(ju)處理或數據(ju)(ju)庫的(de)(de)研發背(bei)景，一(yi)下想不到好方法。但 2016 年(nian) 10 月的(de)(de)一(yi)天，我(wo)突然意識到，任何(he)一(yi)個傳感器或設備產(chan)生的(de)(de)數據(ju)(ju)實際(ji)上是(shi)一(yi)個數據(ju)(ju)流，這(zhe)個流送到云端服務器的(de)(de)時候，實際(ji)上對數據(ju)(ju)的(de)(de)處理是(shi)類似一(yi)個消息隊(dui)列(lie)的(de)(de)處理。我(wo)一(yi)下就興奮起來，因為這(zhe)意味著可以照(zhao)搬我(wo) 2008 年(nian)的(de)(de)和信的(de)(de)體系架構(gou)設計，輕車熟路，只(zhi)是(shi)解(jie)決的(de)(de)具體問題不一(yi)樣(yang)。
2007 年底，基于(yu)各種因(yin)素(su)，我判斷移(yi)動(dong)互(hu)聯網(wang)的(de)(de)(de)春天已(yi)經到(dao)來。移(yi)動(dong)互(hu)聯網(wang)起來后，一定要有(you)(you)一個(ge)統一的(de)(de)(de)實時消息(xi)推送平臺，將各種應(ying)用(yong)的(de)(de)(de)通知(zhi)發到(dao)手機。因(yin)為(wei)對網(wang)絡防(fang)火墻打洞技術有(you)(you)深(shen)入的(de)(de)(de)研究，我找到(dao)了一條高效的(de)(de)(de)省電、省流量的(de)(de)(de)推送方法，因(yin)此，2008 年初我就辭掉芝(zhi)加哥 Motorola 的(de)(de)(de)工作，回到(dao)北(bei)京，創辦了和(he)信。和(he)信除提供(gong)推送服務(wu)外，還(huan)想給(gei)所有(you)(you)的(de)(de)(de)移(yi)動(dong)用(yong)戶提供(gong)免費短信、彩信服務(wu)。
我自己動手開發了核心的推送模塊，但除推送模塊(kuai)之外，還需要(yao)一(yi)個很重要(yao)的(de)(de)模塊(kuai)，那就是需要(yao)將所有未(wei)下(xia)發的(de)(de)消(xiao)息進(jin)(jin)行(xing)存儲。解決辦法很簡單，為每臺手機(ji)建一(yi)個 inbox, 而且(qie)用(yong)消(xiao)息隊列(lie)的(de)(de)方式，先進(jin)(jin)先出，每下(xia)發一(yi)條消(xiao)息，等(deng)收到手機(ji)回應后，再下(xia)發下(xia)一(yi)條。后來由于用(yong)戶不(bu)斷增長，我們就開(kai)發了一(yi)個全分布(bu)式的(de)(de)、高可靠的(de)(de)、有持久化存儲的(de)(de)消(xiao)息隊列(lie)。
當意識到(dao)傳感(gan)器、設備的(de)數據(ju)本質上(shang)是一個(ge)(ge)流，可以用類似消息(xi)隊列的(de)方法來處理(li)的(de)時候，我真(zhen)是興奮不(bu)已，而且馬上(shang)就想(xiang)明白了物聯(lian)網場(chang)景下的(de)數據(ju)模型，需(xu)要對每個(ge)(ge)傳感(gan)器或設備單獨(du)建表。
于是，一個數據采集點一張表的創新想法就這么出來了。
很(hen)多人曾問我，你(ni)怎么想到(dao)一個(ge)采集點一張表的模型，我說(shuo)，做和信的時(shi)候，就是一臺手機一個(ge)消息隊列，這個(ge)想法對我而言是太(tai)自然的事情(qing)了。
現在物聯網數(shu)據(ju)的(de)(de)(de)處理，與(yu)我當年的(de)(de)(de)消息(xi)隊(dui)列模塊相比(bi)，存儲架構上(shang)，只(zhi)是一個(ge)結構化(hua)與(yu)非結構化(hua)的(de)(de)(de)區(qu)別。結構化(hua)的(de)(de)(de)目(mu)的(de)(de)(de)是為了更高效的(de)(de)(de)做(zuo)各種計(ji)算和查(cha)詢。而實際應用中，還(huan)需要(yao)對(dui)多(duo)個(ge)設備(bei)之(zhi)間的(de)(de)(de)數(shu)據(ju)進(jin)行高效聚合(he)，我馬(ma)上(shang)又想到可(ke)以用數(shu)據(ju)分(fen)析中的(de)(de)(de)維度表、事(shi)實表的(de)(de)(de)模型來(lai)解決。
因此接下來，我很快就提出了超級表的概念。
技術(shu)解決方法想明白(bai)后，真(zhen)是腦洞大開(kai)(kai)，對于(yu)物(wu)(wu)聯網大數(shu)(shu)據(ju)，我們根本不(bu)需(xu)要復雜的(de)(de)(de) Kafka、Redis、HBase、Spark、Flink 等軟件的(de)(de)(de)組(zu)合，完全可以用一套(tao)極為簡(jian)單的(de)(de)(de)方法來處理。想到(dao)萬物(wu)(wu)互(hu)聯的(de)(de)(de)時代正在(zai)到(dao)來，如果能提供一個極為高效(xiao)而(er)且(qie)簡(jian)單易用的(de)(de)(de)物(wu)(wu)聯網大數(shu)(shu)據(ju)處理工具給全球開(kai)(kai)發者使用，那是一個很值得驕傲、而(er)且(qie)有巨大商業價值的(de)(de)(de)事情(qing)，我便在(zai) 49 歲的(de)(de)(de)時候，下定決心進行(xing)第三次創業，因此(ci)有了現(xian)在(zai)的(de)(de)(de)濤思數(shu)(shu)據(ju)，有了現(xian)在(zai)開(kai)(kai)源的(de)(de)(de) TDengine Database。
“不識廬山真面目，只緣身在此山中”
很多人(ren)質疑過我，你不(bu)是(shi)一個(ge)從 Oracle, DB2 核心團(tuan)隊出來(lai)的(de)(de)人(ren)，怎么(me)能做數(shu)據(ju)庫(ku)？但細挖我的(de)(de)歷史，明白消息隊列與時序數(shu)據(ju)之間的(de)(de)相似之處(chu)后，我想(xiang)就不(bu)會奇(qi)怪了。而且(qie)正是(shi)由于我是(shi)跨界(jie)過來(lai)的(de)(de)，更(geng)容易想(xiang)到創新甚至是(shi)顛(dian)覆式的(de)(de)方(fang)法(fa)來(lai)處(chu)理物聯網的(de)(de)大數(shu)據(ju)問題。
我(wo)見過也面試(shi)過國(guo)內(nei)很多做(zuo)數據庫內(nei)核(he)開(kai)(kai)發的(de)，基本上就是在開(kai)(kai)源代碼的(de)基礎上，做(zuo)點(dian)修(xiu)修(xiu)補補、或者是包(bao)一層殼，來做(zuo)自主(zhu)可控的(de)產(chan)(chan)品，這(zhe)里面很難看(kan)到顛覆性的(de)創(chuang)新(xin)(xin)。我(wo)不會(hui)選擇這(zhe)樣的(de)方式(shi)來研(yan)發產(chan)(chan)品，更不會(hui)用它來做(zuo)創(chuang)業的(de)方向。找不到真正的(de)創(chuang)新(xin)(xin)，我(wo)還不如退休過休閑(xian)的(de)日子(zi)。
“橫看成(cheng)(cheng)嶺(ling)側成(cheng)(cheng)峰，遠近(jin)高低各(ge)不同(tong)(tong)(tong)。不識廬(lu)山(shan)真面(mian)目，只緣身(shen)在此山(shan)中”，當任(ren)何(he)一個(ge)問題從(cong)不同(tong)(tong)(tong)角度(du)看時，會是完全(quan)不一樣的(de)(de)。在一個(ge)行業(ye)(ye)呆的(de)(de)過(guo)久(jiu)的(de)(de)人(ren)(ren)往往難有(you)創新，因為眼光已經固定(ding)。同(tong)(tong)(tong)樣是物聯網數據的(de)(de)處理(li)，與業(ye)(ye)內人(ren)(ren)士相比，我(wo)這個(ge)曾學過(guo)流體(ti)力(li)學、天體(ti)物理(li)、計(ji)算機等專業(ye)(ye)，還在高分子物理(li)實驗室泡(pao)過(guo)幾年，在美國做過(guo)手機軟件、核心(xin)網絡(luo)設備研發，更是在消息推送、智能硬件上創業(ye)(ye)過(guo)的(de)(de)老兵，看待的(de)(de)角度(du)和發現的(de)(de)問題，自然不一樣，甚至是截然不同(tong)(tong)(tong)。
因此，創新對我而言便是一件很自然的事情。
TDengine 已經開發(fa)了四年(nian)(nian)時間，而(er)且(qie)從 2019 年(nian)(nian) 7 月開源之后(hou)(hou)，特別是去年(nian)(nian)8月集(ji)群版(ban)開源之后(hou)(hou)，獲得了開發(fa)者社(she)區的(de)巨大反響，每天(tian) 上克隆的(de)用戶數都(dou)是好幾(ji)百，每天(tian)上線的(de)運行實(shi)例數都(dou)在 100 以上，幾(ji)乎成了物聯(lian)網行業數據處(chu)理的(de)事(shi)實(shi)標(biao)準(zhun)。每天(tian)看到(dao)這(zhe)些(xie)數字(zi)時，我都(dou)是很激(ji)動(dong)，覺(jue)得自己貢獻的(de)五萬多(duo)行代碼(ma)沒有白(bai)寫。
但更讓我激動的是，TDengine 有可能在我曾熱愛的天體物理領域發揮作用。
現在(zai)全世界，包括(kuo)中國，甚至中國科大，都在(zai)建巡天(tian)(tian)(tian)(tian)望遠鏡(jing)。這(zhe)些望遠鏡(jing)每天(tian)(tian)(tian)(tian)記錄數(shu)百億顆星(xing)星(xing)的(de)(de)(de)亮度、光(guang)譜等信息，根據長時(shi)(shi)間的(de)(de)(de)觀(guan)測，來找到有(you)異常(chang)變化的(de)(de)(de)星(xing)星(xing)，然(ran)后對(dui)其(qi)做專(zhuan)門(men)的(de)(de)(de)觀(guan)測。這(zhe)樣產生的(de)(de)(de)數(shu)據量極其(qi)巨(ju)大，而且(qie)誕生了天(tian)(tian)(tian)(tian)文(wen)學新的(de)(de)(de)分支，時(shi)(shi)域天(tian)(tian)(tian)(tian)文(wen)學。其(qi)實，這(zhe)些觀(guan)測的(de)(de)(de)數(shu)據，就是標準的(de)(de)(de)時(shi)(shi)序數(shu)據，完(wan)全可(ke)以用 TDengine Database 來高效(xiao)處理。對(dui)于天(tian)(tian)(tian)(tian)體物(wu)理專(zhuan)業出身的(de)(de)(de)我而言，非(fei)常(chang)樂意協助中國天(tian)(tian)(tian)(tian)文(wen)學界，盡自己最大的(de)(de)(de)努力來給全球天(tian)(tian)(tian)(tian)文(wen)研究機構(gou)提供一開(kai)源的(de)(de)(de)、高效(xiao)的(de)(de)(de)天(tian)(tian)(tian)(tian)文(wen)大數(shu)據處理平臺，
如(ru)果(guo)實現，這將是我個人(ren)最(zui)大的榮耀(yao)。
仔細研究，你會(hui)發現(xian)，無論(lun)是(shi)(shi)(shi)巡天望遠(yuan)鏡產生的(de)(de)(de)(de)數據(ju)、地震波的(de)(de)(de)(de)數據(ju)，還是(shi)(shi)(shi)發電機(ji)組的(de)(de)(de)(de)數據(ju)、智能電表的(de)(de)(de)(de)數據(ju)、車聯網的(de)(de)(de)(de)數據(ju)，亦(yi)或是(shi)(shi)(shi)新零售的(de)(de)(de)(de)數據(ju)、IT運維的(de)(de)(de)(de)數據(ju)，甚至是(shi)(shi)(shi)股票交易的(de)(de)(de)(de)數據(ju)，一(yi)定的(de)(de)(de)(de)抽象之后，本質上都是(shi)(shi)(shi)一(yi)樣的(de)(de)(de)(de)。大(da)家(jia)都是(shi)(shi)(shi)希望基于這些(xie)數據(ju)做預測(ce)，做實時預警，連分析算法都沒有什(shen)么區(qu)別(bie)。
世界(jie)本來就(jiu)是(shi)簡(jian)單的，沒有(you)那么(me)復雜。
陶建輝
2021 年 3 月(yue) 14 日于(yu)北京望(wang)京
