在當今(jin)數(shu)據驅(qu)動的(de)時代，如(ru)何高(gao)效(xiao)地存(cun)儲和管理海量(liang)數(shu)據已成(cheng)為企業面臨的(de)一(yi)大挑戰。為了應(ying)對這(zhe)(zhe)一(yi)需求，TDengine Enterprise 不僅支持使用對象存(cun)儲（S3），還早已引入了獨特的(de)多級存(cun)儲功(gong)能(neng)(neng)。這(zhe)(zhe)一(yi)功(gong)能(neng)(neng)不僅能(neng)(neng)夠降低(di)存(cun)儲成(cheng)本(ben)，還能(neng)(neng)顯著提升數(shu)據寫入性能(neng)(neng)，并簡(jian)化系統維護流程。

多(duo)級(ji)(ji)存(cun)(cun)儲(chu)(chu)的(de)設計理(li)念是將數據(ju)(ju)根據(ju)(ju)熱(re)度(du)進行分級(ji)(ji)管理(li)。熱(re)度(du)較(jiao)高的(de)數據(ju)(ju)被(bei)存(cun)(cun)儲(chu)(chu)在高速(su)介(jie)質上，以便(bian)快速(su)訪(fang)問和處理(li)；而(er)時間久遠、熱(re)度(du)較(jiao)低的(de)數據(ju)(ju)則存(cun)(cun)放在低成本的(de)存(cun)(cun)儲(chu)(chu)介(jie)質上，從而(er)實(shi)現(xian)經(jing)濟性(xing)的(de)最大化。這種策略的(de)實(shi)施，不僅為企業節(jie)省了存(cun)(cun)儲(chu)(chu)費用(yong)，更(geng)使得數據(ju)(ju)的(de)寫入和查詢變得更(geng)加(jia)高效。

在中，TDengine 多級存(cun)儲功(gong)能就發揮了(le)重要(yao)作(zuo)用(yong)。借助這一(yi)功(gong)能，江河信(xin)息(xi)將原有的 10 多臺 NVME 存(cun)儲服(fu)務(wu)器精(jing)簡為(wei)僅 3 臺高效云盤(pan)與(yu)機械硬(ying)盤(pan)的服(fu)務(wu)器，這一(yi)轉變不(bu)僅大幅(fu)節(jie)省了(le)硬(ying)件成本(ben)開銷，更有效降低了(le)運維的工作(zuo)量，提升了(le)整體(ti)資源(yuan)的利用(yong)效率。

本文將深入(ru)探討 TDengine 的多級(ji)存儲(chu)功能，介(jie)紹其配置方式、負載均衡策略(lve)(lve)以及如何(he)實現(xian)高效的數據管理。通(tong)過對這一(yi)功能的全面解析，我們(men)希望(wang)幫助更(geng)多用(yong)戶(hu)充分利用(yong) TDengine 的優勢，優化數據存儲(chu)策略(lve)(lve)，提升整體系統(tong)性能。

TDengine 多級存儲好在哪？

降低存儲成本是 TDengine 多級存儲功能的一個顯著優勢。通過將數據按照熱度進行分級存儲，企業能夠有效地將大量極冷數據存放在更為廉價的存儲介質上。這一策略的實施，不僅顯著減少了存儲費用，還為企業提供了更高的經濟效益。隨著數據量的不斷增加，傳統的存儲方式往往導致成本急劇上升，給企業的運營帶來了壓力。而多級存儲的設計理念則在根本上解決了這一問題，讓企業在實現數據存儲的同時，可以靈活應對未來的各種挑戰。

與此同時，提升寫入性能也是 TDengine 多級存儲功能的一大亮點。每級存儲支持多個掛載點，這意味著在進行數據寫入時，可以實現更高的并發處理能力。得益于這一設計，WAL（預寫日志）可以支持 0 級的多掛載點并行寫入，從而極大地提升了寫入性能。

在實際應用場景中，我們測得 TDengine 能夠支持持續寫入每秒超過 3 億個測點，這對于數據密集型應用尤為重要，確保了系統能夠高效處理實時數據。此外，TDengine 在機械硬盤上的表現也相當出色，磁盤 IO 吞吐量實測可達 2GB/s，這不僅為大規模數據的實時處理奠定了堅實的基礎，也使得企業在面對海量數據時能夠游刃有余。

除了成本和性能的提升，方便維護也是多級存儲功能的一大優勢。一旦各級存儲的掛載點配置完成，后續的系統數據遷移等工作便無需人工干預。這種自動化的管理方式大大降低了運維人員的工作負擔，提升了系統的可靠性。而且，存儲擴容變得更加靈活和方便，企業可以根據實際需求隨時調整存儲策略，靈活應對業務變化。

最后，TDengine 的多級存儲功能在 SQL 查詢方面也展現出其透明性。無(wu)論用(yong)(yong)戶(hu)查詢的數(shu)據(ju)(ju)是否(fou)跨越不(bu)同的存(cun)儲級別，一(yi)條 SQL 語句都可以(yi)輕松返回所(suo)有相關數(shu)據(ju)(ju)。這種(zhong)(zhong)設計不(bu)僅簡化了用(yong)(yong)戶(hu)的操作流程，還提高了查詢的效率。用(yong)(yong)戶(hu)無(wu)需關注(zhu)數(shu)據(ju)(ju)存(cun)儲的具(ju)體位置，只(zhi)需專注(zhu)于數(shu)據(ju)(ju)的分析和應用(yong)(yong)，真正(zheng)實(shi)現了簡單高效的數(shu)據(ju)(ju)管理。這種(zhong)(zhong)用(yong)(yong)戶(hu)友(you)好的設計理念，使(shi)得 TDengine 不(bu)僅適合技術專家，也能(neng)滿足(zu)各種(zhong)(zhong)層次用(yong)(yong)戶(hu)的需求(qiu)。

多級存儲負載均衡與掛載點選擇策略

在多級存儲中，負載均衡是提升寫入性能的關鍵因素。每個 dnode 僅有一個主掛載點，這一主掛載點負責存儲系統中最重要的元數據，并且各個 vnode 的主目錄也均位于該主掛載點上。這種設計雖然保證了數據的集中管理，但同時也限制了該 dnode 的寫入性能，因為其 IO 吞吐能力受限于單個磁盤。

從 TDengine 3.1.0.0 版本開始，系統引入了對多個 0 級掛載點的支持。當一個 dnode 配置了多個 0 級掛載點時，所有 vnode 的主目錄將被均衡分布到這些掛載點上，由此實現了寫入負荷的共享。這一優化策略不僅提高了整體系統的寫入能力，還使得系統在網絡 I/O 和其他處理資源不成為瓶頸的情況下，能夠實現線性增長的寫入性能。測試結果表明，隨著 0 級掛載點數量的增加，整個系統的寫入能力也成倍提升，極大地增強了數據處理的效率。

除了負載均衡，多級存儲還對同級掛載點的選擇策略進行了優化。通常情況下，TDengine 會采用 round robin 策略從同級掛載點中選擇一個用于生成新的數據文件。然而，在實際環境中，各磁盤的容量可能存在差異，或者雖然容量相同，但寫入的數據量卻不同，這會導致每個磁盤的可用空間不均衡，在實際進行選擇時有可能會選擇到一個剩余空間已經很小的磁盤。

為了解決這一問題，從 TDengine 3.1.1.0 版本開始，我們引入了新的配置項 minDiskFreeSize。當某個磁盤的可用空間小于等于該閾值時，該磁盤將不再被選中用于生成新的數據文件。該配置項的單位為字節，并建議其值大于 2GB（即會跳過可用空間小于 2GB 的掛載點）。這樣的設計確保了在進行數據寫入時，能夠有效避免選擇到已接近滿載的磁盤，從而提升了存儲的整體效率。

進一步地，從 3.3.2.0 版本開始，TDengine 引入了新的配置項 disable_create_new_file，用于控制某個掛載點上是否可以生成新文件。其缺省值為 false，即默認情況下，每個掛載點都可以生成新文件。這一策略為運維人員提供了更大的靈活性，使他們能夠根據實際需求對掛載點進行管理，從而優化系統的存儲性能。

通過這些負載均衡和掛載點選擇(ze)策略的優化，TDengine 多級負載功能得(de)到了顯(xian)著提(ti)升，不僅提(ti)高了數據寫(xie)入的效(xiao)率，還確保了存儲資源(yuan)的合理利用，為用戶(hu)在海量數據處(chu)理時提(ti)供了強有力的支持。

配置方式

TDengine 的多級存儲功能支持最多 3 級，每級可配置多達 128 個掛載點。典(dian)型的配置方案包(bao)括：

• 0 級：配置多個掛載點，每個掛載點對應一塊 SAS 硬盤；
• 1 級：配置多個掛載點，每個掛載點可以對應單塊或多塊 SATA 硬盤；
• 2 級：可配置為 S3 存儲或其他廉價的網絡存儲。

在 TDengine 中，多級存儲的配置方式如下（在配置文件 /etc/taos/taos.cfg 中）：

dataDir [path] <level> <primary>

其中，各參數的(de)含義如(ru)下：

• path：掛載點的文件夾路徑。
• level：介質存儲等級，取值為 0、1 或 2。

1）0 級用于存儲最新的數據；
2）1 級用于存儲次新的數據；
3）2 級用于存儲(chu)最舊的數據。

• 如果省略該參數，默認為 0。各級存儲之間的數據流向為：0 級存儲 → 1 級存儲 → 2 級存儲。需要注意的是，同一存儲等級可以掛載多個硬盤，而同一存儲等級上的數據文件將分布在該存儲等級的所有硬盤上。數據在不同級別存儲介質之間的移動是由系統自動完成的，用戶無需干預。
• primary：標識是否為主掛載點，取值為 0（否）或 1（是）。如果省略該參數，默認為 1。在配置中，只允許存在一個主掛載點（即 level=0，primary=1）。以下是一個示例配置方式：

dataDir /mnt/data1 0 1dataDir /mnt/data2 0 0dataDir /mnt/data3 1 0dataDir /mnt/data4 1 0dataDir /mnt/data5 2 0dataDir /mnt/data6 2 0

需要注意的是：

1. 多級(ji)(ji)存儲不允許跨級(ji)(ji)配(pei)置。合法的配(pei)置方案包括(kuo)：僅 0 級(ji)(ji)；僅 0 級(ji)(ji) + 1 級(ji)(ji)；以及(ji) 0 級(ji)(ji) + 1 級(ji)(ji) + 2 級(ji)(ji)。禁止(zhi)只配(pei)置 level=0 和 level=2，而(er)不配(pei)置 level=1。

2. 禁止手(shou)動移除使用中的(de)掛載(zai)盤(pan)，并(bing)且掛載(zai)盤(pan)目前不(bu)支持非(fei)本地的(de)網(wang)絡盤(pan)。

結語

綜上所述，TDengine 的(de)(de)多級存(cun)儲(chu)(chu)功(gong)能(neng)為企(qi)業(ye)提供了(le)(le)一(yi)種靈活、高效(xiao)的(de)(de)數(shu)據管理解決方案。通過合理配(pei)置不(bu)同級別(bie)的(de)(de)存(cun)儲(chu)(chu)介質，企(qi)業(ye)能(neng)夠(gou)在降(jiang)低存(cun)儲(chu)(chu)成本的(de)(de)同時，提升數(shu)據寫入性能(neng)和維護(hu)效(xiao)率。此外(wai)，TDengine 還支持對象(xiang)存(cun)儲(chu)(chu) S3，使得企(qi)業(ye)可以利用云存(cun)儲(chu)(chu)的(de)(de)高可擴展性和低成本優勢，進一(yi)步(bu)優化(hua)其數(shu)據存(cun)儲(chu)(chu)策略。結合這兩(liang)大特性，TDengine 不(bu)僅強化(hua)了(le)(le)其作(zuo)為企(qi)業(ye)級數(shu)據庫的(de)(de)競爭力(li)，也為用戶(hu)在應對海量(liang)數(shu)據挑戰時提供了(le)(le)強有力(li)的(de)(de)支持，幫(bang)助他們實現數(shu)字化(hua)轉型的(de)(de)目標(biao)。