在工業自動化的領域中，數據的采集、存儲和分析是實現高效決策和操作的基石。AVEVA Historian (原 Wonderware Historian) 作為領先的工業實時數據庫，專(zhuan)注于(yu)收集和(he)存儲高(gao)保真度的(de)(de)歷史工(gong)藝數(shu)據。與(yu)此同時(shi)，TDengine 作為一款專(zhuan)為時(shi)序數(shu)據打造的(de)(de)高(gao)性(xing)能數(shu)據庫(ku)，在處理和(he)分析大(da)量實時(shi)、歷史時(shi)序數(shu)據方面(mian)展現(xian)出無與(yu)倫比的(de)(de)優越性(xing)。

在最新發布的 TDengine 3.2.3.0 版本中(zhong)，我們進(jin)(jin)一(yi)(yi)步(bu)更新了 TDengine 的數(shu)據接入功能，，旨在實(shi)現 AVEVA Historian 與 TDengine 的集成。基于此(ci)，本文將(jiang)闡述把 AVEVA Historian 的歷(li)史數(shu)據和實(shi)時(shi)數(shu)據整合進(jin)(jin)入 TDengine 的創新方法，以及這種結合如何(he)能夠極(ji)大地提升數(shu)據利用率，打造一(yi)(yi)個工業創新底座，推動(dong)工業自動(dong)化高(gao)效發展。

我(wo)們(men)先來回顧下當下工(gong)業場(chang)景幾種典型時序數據處理方案(an)：

關系型數據庫（例如 Oracle/MySQL、達夢、南大通用）

關系型數據庫在處理海量(liang)時序數據時，讀(du)寫性能較低，分(fen)布式支持(chi)差(cha)。隨(sui)著數據的增加，查(cha)詢的速度也會變(bian)慢。典型的應用場(chang)景包(bao)括低頻(pin)監控場(chang)景和電力 SCADA 歷史庫。

傳統工業實時庫（例如 PI、AVEVA Historian、亞控、海迅）

盡管傳(chuan)統工業實時(shi)庫在(zai)工業數據存儲中(zhong)有著長期的功(gong)效，但它們(men)的架構已(yi)經過(guo)時(shi)，缺乏分(fen)布式解決方案，不能水(shui)平擴展(zhan)。而且，它們(men)依賴于 Windows 等(deng)環(huan)境(jing)，在(zai)數據分(fen)析能力上(shang)較(jiao)弱，且往往是封閉系統。這類(lei)數據庫主要用于 SCADA 系統和生產(chan)監控系統。

NoSQL 數據庫（例如 MongoDB、Cassandra）

這類數據(ju)庫的問(wen)題在于計(ji)算(suan)實時性較差，查詢速度慢，對內存和(he) CPU 的計(ji)算(suan)開銷大，沒有針(zhen)對時序數據(ju)的優化(hua)。它們(men)主(zhu)要用于處理非結構(gou)化(hua)數據(ju)存儲和(he)爬(pa)蟲數據(ju)。

Hadoop 大數據平臺（例如 HBase、Zookeeper、Redis、Flink/Spark）

雖然這(zhe)類平臺支持分(fen)布式(shi)，但其(qi)采(cai)用(yong)(yong)非結(jie)構化方(fang)式(shi)處(chu)理時序數據，組(zu)件(jian)眾(zhong)多(duo)，架構臃腫，單節點效率低(di)，硬件(jian)和人力維護成本(ben)非常高。它(ta)們(men)主要用(yong)(yong)于通用(yong)(yong)大(da)數據平臺和輿(yu)情電商大(da)數據。

在當前的工業企業中，創新應用需求旺盛，時序數據處理關鍵的應用場景包括智能決策支持、設備故障預警、產品質量分析與預測、智能制造與數字孿生、能耗管理與節能減排。這些關(guan)鍵場景突出了工(gong)業(ye)時序大(da)數據(ju)在創新(xin)應用中的核心價(jia)值，工(gong)業(ye)企業(ye)只(zhi)有采(cai)用先進的解決方(fang)案，才能夠加(jia)快創新(xin)步(bu)伐并在競爭(zheng)激烈的市場中實現差異化(hua)。

在工(gong)業場景(jing)中(zhong)，多個工(gong)廠(chang)或車間通常會部署(shu)獨(du)立的 SCADA/Historian 系統，如 AVEVA Wonderware 和 PI 系統，以(yi)管(guan)理實(shi)時和歷史數據。這是目前(qian)工(gong)業自動化的常態，數據分布在各(ge)個現場的數據庫(ku)中(zhong)。

時序數據向中心側集中的優勢在于，它可以增強對數據的整體控制力，使得企業更好地利用它們的數據資產。數(shu)據(ju)的集中處理為全局數(shu)據(ju)可視(shi)化帶(dai)來了可能，為業務創新提供靈感和快(kuai)速驗證的手(shou)段，幫助企業更(geng)好地管理和分析數(shu)據(ju)，快(kuai)速響應(ying)而提取有價值的洞見，并(bing)依此及時(shi)做出商業決策(ce)。

SCADA/Historian 也提供了數據(ju)集(ji)中方案，確實在某些方面能(neng)夠滿足需求(qiu)，但面臨的挑戰(zhan)是它們難(nan)以支持(chi)海量(liang)測點（傳感(gan)器、設備(bei)等）的數據(ju)量(liang)，難(nan)以滿足創新應用的對(dui)大量(liang)獲取時(shi)序數據(ju)的需求(qiu)。當數據(ju)量(liang)非常大時(shi)，SCADA/Historian 數據(ju)消費(fei)接口的能(neng)力較弱，可(ke)能(neng)會經歷高(gao)延時(shi)，甚(shen)至無法獲取需要的數據(ju)集(ji)。

要有效應(ying)對(dui)這些挑戰(zhan)，需要從以下幾個方面優化方案：

1. 利用好已有的投資：很多情況下，企業已經采購、部署了多套 SCADA/Historian，投資已經形成，方案必須考慮如何充分利用已建成系統的能力，避免重復投資。
2. 提高數據消費接口的能力：增強數據接口的能力，以確保即使在數據量很大時也能快速、高效地消費數據。
3. 降低延時：提升系統的性能以減少處理和提取數據時的延時，確保可以及時地獲取數據。
4. 實現實時和歷史數據的整合：數據的整合可以提高存儲空間利用率，并為分析和決策提供更完整的數據視圖。實時和歷史數據的結合還能支持更復雜的創新應用，如預測維護、能耗管理和優化操作。
5. 支撐海量測點：提高系統能夠處理的測點數量，以適應越來越多傳感器數據的需求。
6. 推動創新應用的發展：構建支持創新的基礎架構，應對創新應用需求、新興的工業應用，如預測性維護、資產性能管理、能效優化等，需要對數據進行更深層次的消費、分析和更快速的處理。

TDengine 作為一款極(ji)簡的(de)(de)時(shi)序(xu)(xu)大數(shu)(shu)據平臺，具有高(gao)效的(de)(de)數(shu)(shu)據寫(xie)入和查(cha)詢(xun)性能，適合處(chu)理海量、時(shi)序(xu)(xu)性的(de)(de)工(gong)業數(shu)(shu)據。除了實(shi)時(shi)與歷史合一的(de)(de)時(shi)序(xu)(xu)庫核心功能外(wai)，還提供了消息隊列、事件驅動(dong)流(liu)計算、讀寫(xie)緩存，以及多數(shu)(shu)據源接(jie)入的(de)(de)能力。如(ru)何實(shi)現融合上(shang)述六點(dian)的(de)(de)方(fang)案(an)優化(hua)，TDengine 也(ye)給(gei)出了答案(an)。

整合 AVEVA Historian 數據到 TDengine

本(ben)文方案中(zhong)，將(jiang)利用(yong) TDengine 企業版 taosX 的多(duo)數(shu)據源接入能力匯集多(duo)路 AVEVA Historian 現場數(shu)據，持久化至(zhi)中(zhong)心側 TDengine 集群。

其特點如下：

1. 數據遷移：從 AVEVA Historian 系統遷移現有的歷史數據到 TDengine。
2. 數據同步：支持實時和歷史數據的同步，實現 AVEVA Historian 實時(Runtime.dbo.Live)和歷史數據(Runtime.dbo.History)至 TDengine 之間的數據同步。
3. 支持海量測點：TDengine 支持 10 億時間線，輕松應對目前工業大數據場景。
4. 充分利用已有投資：已有的 AVEVA Historian 將繼續發揮作用，同時在 TDengine 平臺上支持創新業務的開發。
5. 時序數據優化存儲：利用 TDengine 的高效數據壓縮和存儲機制，優化數據在新平臺上的存儲。
6. 查詢性能顯著提升：與 Historian 的查詢性能比較，TDengine 無論在投影查詢還是聚合查詢，均提升幾個數量級的性能。
7. 支持數據訂閱：TDengine 提供了結構化的消息隊列，當數據入庫的同時，可根據業務需要創建主題，支持實時消費以驅動創新應用落地。
8. 支持多種部署環境：LInux & Windows
9. 支持完整 ETL 特性：taosX 組件支持完整的解析、提取拆分、過濾以及數據映射，零代碼即可完成外部數據源接入 TDengine。

本方案的(de)基本環境要求(qiu)有(you)：

• AVEVA Historian 接入需 TDengine 企業版支持
• 遠端采集需通過代理模式接入，采集現場須部署 taosX Agent
• 支持 AVEVA Historian 2017 以后的版本

下面以數(shu)(shu)據(ju)遷(qian)移為例(li)，介(jie)紹 AVEVA Historian 的歷史視圖數(shu)(shu)據(ju)如何(he)遷(qian)移至 TDengine。

1. 先完成準備工作：在 TDengine 中建庫、建超級表
2. 登入 taosExplorer，創建數據寫入任務，類型：AVEVA Historian
3. 填寫任務基本信息：任務名稱、目標數據庫、Historian 服務器地址、端口、認證信息
4. 填寫采集配置：migrate 模式、選擇標簽點位范圍(默認所有點位)、設置源數據起始終止時間、查詢時間窗口跨度
5. 數據解析與過濾：因 Historian 發送過來的數據是結構化的，無需額外配置解析器和過濾器
6. 數據映射：選擇目標超級表后，系統會自動匹配部分字段，沒有匹配的字段，手工指定映射關系即可
7. 啟動任務

數據同(tong)步 synchronize 與數據遷移 migrate 類似，不同(tong)之處在于：

• 支持兩個來源：Runtime.dbo.History & Runtime.dbo.Live
• 任務結束時間可以不設定，意味著可以一直同步下去，直至人工終止

本方案還可以與 OPC 方案融合：歷史數據通過 Historian 導入 TDengine，實時數據通過 OPC 匯集至 TDengine。新方案的優點是，通過 OPC 支持的訂閱特性實現實時數據即時采集，一旦變化就立刻采集至 TDengine。
新方案同樣是基(ji)于 taosX 組件(jian)，維護(hu)方便。

結語

對于(yu)曾投(tou)資 AVEVA Wonderware 的(de)工業(ye)企業(ye)，在面臨(lin)數(shu)字(zi)化(hua)(hua)轉型的(de)挑戰時，Historian Connector 結合 TDengine 的(de)解決方案便能成為他們的(de)強大后(hou)盾。此(ci)方案不(bu)僅能快(kuai)速打通數(shu)字(zi)化(hua)(hua)轉型的(de)難關，還能攜業(ye)務創(chuang)新之力，開拓數(shu)字(zi)化(hua)(hua)潛能。

此外，本方(fang)(fang)案具有(you)優秀的(de)融(rong)合能力，可與(yu)各類數(shu)據(ju)(ju)(ju)采集解決方(fang)(fang)案無(wu)縫結合。例如，通(tong)過與(yu) OPC Connector 數(shu)據(ju)(ju)(ju)采集方(fang)(fang)案的(de)整合，歷史數(shu)據(ju)(ju)(ju)得以從 Historian 順暢(chang)導入至 TDengine，同時實時數(shu)據(ju)(ju)(ju)亦可通(tong)過 OPC 即時匯集至 TDengine，實現(xian)(xian)現(xian)(xian)場(chang)時序數(shu)據(ju)(ju)(ju)的(de)高效集中處理。

本(ben)方案所依托的(de)是 TDengine Enterprise 企業版(ban)的(de)強大功能(neng)（且未來(lai)我們將推出 TDengine Cloud 版(ban)本(ben)）。如若貴企業正(zheng)尋(xun)求(qiu)這(zhe)方面的(de)解決方案，歡迎主動接洽北京濤(tao)思的(de)專業商務團隊，一起探索(suo)先進的(de)數據處理之道。

關于 AVEVA Wonderware

Wonderware 公司(si)成立于(yu) 1987 年，總(zong)部(bu)位于(yu)美國洛杉磯，是全球(qiu)工(gong)業自動化(hua)(hua)領域的知名品牌(pai)。其先被(bei)施耐德電氣(qi)收(shou)購，后并入 AVEVA。AVEVA Wonderware 應用行業廣泛，在連續生(sheng)產過程(cheng)控制(zhi)和離(li)散制(zhi)造領域優勢明顯。主要應用于(yu)煙草(cao)生(sheng)產、水處理、電力、石油(you)天然氣(qi)、化(hua)(hua)工(gong)、鋼鐵(tie)冶金(jin)、食(shi)品飲料、制(zhi)藥、汽車制(zhi)造、物流倉(cang)儲等行業。其產品包括但不限于(yu) In Touch HMI（人機界面）、System Platform（系(xi)統平臺）、Historian（歷史數據記錄與分析(xi)）。