使用金融時序數據庫 TDengine 構建(jian)行(xing)情(qing)(qing)中心，用于存(cun)儲金融行(xing)業領域海(hai)量的(de)股(gu)、基(ji)、債、期資產的(de)行(xing)情(qing)(qing)時序數(shu)據，結合 TDengine 的(de)高性能(neng)計算方案構建(jian)行(xing)情(qing)(qing)中心數(shu)據應(ying)用方案。
詳細方案
場景介紹
金融行情數(shu)據常(chang)(chang)常(chang)(chang)具(ju)備(bei)如下特征：
- 數據總量：總數據量常常是 TB 的數據，存儲管理復雜
- 數據特征：行情數據相對格式固定，自帶時間戳
- 子表總數：因資產的多樣性，行情中心經常會有幾十萬的子表，像因子信號表甚至會有近千萬表
- 保留時限：行情數據保留期限經常是 5-10 年，甚至 30 年以上
子表多、數據量大、數據格式固定和保留時限長的金融行情數據的存儲計算需要十分適合使用 TDengine 時序數據庫（Time Series Database，TSDB）來進行處理(li)。因此，在 TDengine 中(zhong)(zhong)使用“一(yi)(yi)個金(jin)融(rong)品類(lei)一(yi)(yi)個超級表，一(yi)(yi)個具體金(jin)融(rong)標的一(yi)(yi)個子表”建(jian)模(mo)方式，可以有效(xiao)(xiao)(xiao)的管(guan)(guan)理(li)海量的行情數據，進而(er)基于 TDengine 高效(xiao)(xiao)(xiao)的計算能力，提(ti)供基于行情中(zhong)(zhong)心的資(zi)產管(guan)(guan)理(li)、實(shi)時監控(kong)、績效(xiao)(xiao)(xiao)分(fen)(fen)析、風險分(fen)(fen)析、輿情分(fen)(fen)控(kong)、股(gu)票回測(ce)、信(xin)號模(mo)擬（合約、策略等）、報表輸(shu)出等應用投(tou)研服務。
場景需求與痛點
- 每時每刻產生的海量行情數據要求在高效寫入的同時做到準確入庫。
- 海量行情數據的應用場景非常多樣，各種數據計算依賴，要求任意時間的數據高速讀取
- 海量金融資產及金融衍生品的監控性，對高性能的計算標準。
- 基于海量行情數據及其產生大量的加工、模擬數據，進行回測、因子、深度學習模型等量化應用
架構圖
隨(sui)著 TDengine 的(de)引入(ru)，減少(shao)了(le)組件數(shu)量，降(jiang)(jiang)低(di)架(jia)構的(de)復(fu)雜度，同時降(jiang)(jiang)低(di)了(le)存(cun)儲成本，提(ti)升業(ye)務(wu)響應(ying)實時性，降(jiang)(jiang)低(di)了(le)人員要求(qiu)，釋放了(le)業(ye)務(wu)創新通(tong)過 TDengine 多樣的(de)數(shu)據(ju)寫入(ru)和(he)導入(ru)方式，將來自(zi)行情數(shu)據(ju)文件和(he)實時數(shu)據(ju)流的(de)數(shu)據(ju)，寫入(ru)到 TDengine 中(zhong)，進而通(tong)過 SDK 或者 http 的(de)方式構建多樣化的(de)金(jin)融服務(wu)。
收益與價值
平(ping)臺的收(shou)益總結如下：
- 極高的數據壓縮率，二段式無損壓縮以及浮點數的有損壓縮，1/10 的存儲成本
- 高速行情數據寫入，集群提供 1 億點/s 的寫入速度（點數 = 行數 * 列數）
- 集群系統高可用性：針對數據的高一致性和高可用性，進行多副本的驗證、多節點同步寫入、數據落盤確認等參數的測試
- 讀取速度線性擴展，單資產表查詢業務都在 1ms 以內
- 大跨度時間段訓練數據讀取，全時間軸數據無差異特性，滿足選擇不同時間段進行模型訓練和驗證
- 適配了國產化 CPU 與操作系統
客戶案例
其他行業解決方案
