近年來，隨著光伏儲能(neng)裝置的(de)(de)(de)增加，設(she)備數(shu)(shu)(shu)(shu)量和(he)測(ce)點數(shu)(shu)(shu)(shu)量也在相應增加，數(shu)(shu)(shu)(shu)據(ju)(ju)(ju)采集頻率也在不斷提(ti)高，由此產生的(de)(de)(de)時(shi)序數(shu)(shu)(shu)(shu)據(ju)(ju)(ju)量越(yue)來越(yue)龐大(da)(da)，對(dui)數(shu)(shu)(shu)(shu)據(ju)(ju)(ju)處理(li)(li)和(he)實時(shi)分析的(de)(de)(de)要(yao)求也越(yue)來越(yue)高。同時(shi)光伏儲能(neng)系(xi)統需要(yao)長期保存大(da)(da)量的(de)(de)(de)歷(li)史數(shu)(shu)(shu)(shu)據(ju)(ju)(ju)，以便(bian)進行回溯分析和(he)趨勢預測(ce)，海(hai)量歷(li)史數(shu)(shu)(shu)(shu)據(ju)(ju)(ju)的(de)(de)(de)存儲和(he)管(guan)理(li)(li)也成(cheng)為一個挑戰(zhan)，亟需高效的(de)(de)(de)存儲解決方(fang)案。在此背景(jing)下(xia)，為了更精準地監測(ce)和(he)控(kong)制光伏儲能(neng)系(xi)統，光伏儲能(neng)領域(yu)的(de)(de)(de)部(bu)分企業(ye)開始嘗試(shi)采用更先(xian)進的(de)(de)(de)數(shu)(shu)(shu)(shu)據(ju)(ju)(ju)管(guan)理(li)(li)和(he)分析技術(shu)，進行數(shu)(shu)(shu)(shu)據(ju)(ju)(ju)架構(gou)的(de)(de)(de)全面(mian)升級。

在(zai)本篇(pian)文章中，我(wo)們匯總了一批較(jiao)為典型的(de)光伏(fu)儲能項目的(de)數據架構(gou)改造真實案例，給到(dao)大家(jia)參考(kao)。

國軒高科海外儲能項目：數據壓縮率輕松達到 10% 以內

“對我們這(zhe)個(ge)體量相對較(jiao)小的(de)(de)場景來說(shuo)，TDengine Cloud 按量計(ji)費加全托管的(de)(de)企業級服務讓我們用非常小的(de)(de)成本便運(yun)轉了這(zhe)個(ge)項目，并且極(ji)大地增加了產品的(de)(de)效率并保留了隨時擴張的(de)(de)靈活(huo)性。此外，數(shu)據分享(xiang)、流(liu)式計(ji)算這(zhe)些有趣的(de)(de)特(te)性也(ye)等待(dai)我們進行更(geng)深(shen)一(yi)步地挖掘(jue)。”

改造方案

國軒高科在“海外某儲能項目”中，需要實時監測電池安全，采集記錄每次使用的充放電過程、電流/電壓等值，而此類數據都帶有時間戳，是典型的時序數據。為了應對未來海量的用戶使用數據，其決定選擇一款專業的時序數據庫（Time Series Database，TSDB），并于(yu)去年在(zai)海外(wai)本地化成功部署(shu)了時序數據庫 TDengine 2.x 版本。為(wei)了更便捷地進(jin)行該數據庫的(de)應用(yong)，國軒(xuan)高科在(zai)今年選(xuan)擇將(jiang)業(ye)務部署(shu)在(zai)物聯網、工業(ye)大數據云服務平(ping)臺 TDengine Cloud 上，其(qi)帶來的(de)最直觀幫助就是全托管。

據了解，由于(yu) TDengine Cloud 附帶和(he) TDengine Enterprise（企業版(ban)(ban)）同級別的(de)服(fu)務(wu)，因(yin)此(ci)國軒高科不再需要(yao)擔(dan)心部署、優化、擴(kuo)容、備(bei)份、異地容災等事務(wu)，減少了開(kai)發人員的(de)負擔(dan)，可全心關注核(he)心業務(wu)。在(zai)云服(fu)務(wu)版(ban)(ban)本(ben)選擇(ze)上，由于(yu)該項目設備(bei)量(liang)暫時不多，根據官方現有的(de)定價(jia)規則，基礎(chu)版(ban)(ban)本(ben)便可滿足。在(zai)經過(guo)計(ji)費方案估算(suan)器計(ji)算(suan)后，最終(zhong)國軒高科選擇(ze)了 1200 元/月的(de)基礎(chu)版(ban)(ban)規格(ge)。

改造效果

該項目的(de)(de)數(shu)(shu)據(ju)(ju)處理流程如(ru)下圖所示，某類儲能設備產生的(de)(de)時序(xu)數(shu)(shu)據(ju)(ju)會以(yi) MQTT 方(fang)(fang)式上傳，其中業(ye)務數(shu)(shu)據(ju)(ju)轉發給(gei) PostgreSQL，設備產生的(de)(de)時序(xu)數(shu)(shu)據(ju)(ju)以(yi)及(ji)設備運行(xing)日志、設備狀態(tai)數(shu)(shu)據(ju)(ju)轉給(gei) TDengine。中臺各系(xi)統(tong)則會統(tong)一(yi)規劃使用這些數(shu)(shu)據(ju)(ju)庫(ku)中的(de)(de)數(shu)(shu)據(ju)(ju)，來用于分析計(ji)算(suan)，也可以(yi)直接控制(zhi)設備下發指令。最終(zhong)，借助 PC Web、APP 以(yi)及(ji)其他管(guan)理平臺等軟件方(fang)(fang)式在前(qian)端體現。

在(zai)測試階段(duan)，TDengine 的(de)(de)(de)(de)數(shu)據(ju)壓(ya)縮(suo)率可以(yi)輕松(song)達到(dao) 10% 以(yi)內(nei)，每(mei)秒可以(yi)寫(xie)入數(shu)百萬(wan)行(xing)數(shu)據(ju)，在(zai)具體實(shi)踐中也很好地達到(dao)了(le)(le)這一(yi)(yi)壓(ya)縮(suo)及寫(xie)入效果；在(zai)查(cha)詢(xun)方(fang)面，完美地支持了(le)(le)該項目(mu)中的(de)(de)(de)(de)各類(lei)查(cha)詢(xun)，比如監測用(yong)(yong)電產品的(de)(de)(de)(de)健康狀態、分析(xi)設備(bei)用(yong)(yong)電量趨勢、使用(yong)(yong)壽命等等。值得一(yi)(yi)提的(de)(de)(de)(de)是，該應(ying)用(yong)(yong)與 TDengine Cloud 所屬同一(yi)(yi)個 AWS region，因此通過使用(yong)(yong) Private Link 功能，其應(ying)用(yong)(yong)網(wang)絡就能夠與云服務進(jin)行(xing)私(si)密通信，而無需將數(shu)據(ju)通過公網(wang)傳輸，大大降低了(le)(le)寫(xie)入方(fang)面的(de)(de)(de)(de)延遲，同時也進(jin)一(yi)(yi)步節約了(le)(le)由網(wang)絡流量產生的(de)(de)(de)(de)費(fei)用(yong)(yong)。

點此查看案例詳情

日增 40 億條數據的光伏日電系統：讀寫性能提升 10 倍

“目(mu)前我(wo)們根據不同的(de)測(ce)(ce)(ce)點(dian)類型建立了(le)(le)不同的(de)超級(ji)(ji)表(biao)(biao)，按照不同的(de)測(ce)(ce)(ce)點(dian) ID 以及測(ce)(ce)(ce)點(dian)號作(zuo)為 tag 創建了(le)(le)不同的(de)子表(biao)(biao)。這樣我(wo)們針對(dui)于測(ce)(ce)(ce)點(dian)可(ke)以直接(jie)進行單(dan)表(biao)(biao)分析(xi)，處理性能(neng)高、速(su)度快；也可(ke)以針對(dui)多(duo)測(ce)(ce)(ce)點(dian)進行分析(xi)，直接(jie)操作(zuo)超級(ji)(ji)表(biao)(biao)，業務實現簡單(dan)，同時兼(jian)顧了(le)(le)查詢性能(neng)。”

改造方案

八五(wu)信息在(zai)新能源電力(li)物(wu)聯網平臺上，需(xu)要對物(wu)聯網設(she)備(bei)的(de)實時數(shu)(shu)據(ju)以及光伏(fu)設(she)備(bei)傳感器的(de)遙測(ce)數(shu)(shu)據(ju)進行存(cun)儲和查(cha)詢(xun)分析，規(gui)劃設(she)計(ji)數(shu)(shu)據(ju)存(cun)儲規(gui)模大(da)(da)概(gai)在(zai) 16TB 左(zuo)右，目前數(shu)(shu)據(ju)日增量(liang)為 1 億多條，全部測(ce)點接入后(hou)預計(ji)日增量(liang)為 40 多億條左(zuo)右；系統(tong)需(xu)支撐(cheng)(cheng)至(zhi)少 50000 臺設(she)備(bei)總(zong)計(ji) 400 萬(wan)測(ce)點（信號量(liang)和模擬(ni)量(liang)）的(de)實時數(shu)(shu)據(ju)接入、處理及存(cun)儲。在(zai)查(cha)詢(xun)上，應用系統(tong)的(de)常規(gui)查(cha)詢(xun)在(zai) 50QPS 左(zuo)右，高并發在(zai) 100QPS 左(zuo)右。一次(ci)歷(li)史數(shu)(shu)據(ju)查(cha)詢(xun)分析最大(da)(da)跨度為一年且支撐(cheng)(cheng)多測(ce)點多模式(shi)分析方式(shi)。

此前該平(ping)臺使用(yong)(yong) TimescaleDB 進行這(zhe)些(xie)數據(ju)的處(chu)理，無論在讀寫性能，還是硬件資源上，都遇到了瓶頸，且沒(mei)有集群(qun)功能。為(wei)了破解(jie)這(zhe)一困境，八五信息(xi)選(xuan)擇接入(ru) TDengine，主要用(yong)(yong)于光(guang)伏設(she)備遙測實時數據(ju)的存儲、查詢(xun)和(he)分析。

改造效果

改(gai)造完成后(hou)，讀寫(xie)性能(neng)(neng)(neng)較(jiao)原 TimescaleDB 數據(ju)庫(ku)提(ti)高(gao) 10 倍左右，在數據(ju)接入層不用(yong)再擔心數據(ju)庫(ku)的(de)(de)寫(xie)入性能(neng)(neng)(neng)瓶(ping)頸；數據(ju)分析查詢(xun)應用(yong)層也較(jiao)原系統有(you)較(jiao)大提(ti)升(sheng)，尤其是在面對時(shi)間跨度大的(de)(de)聚合(he)類分析時(shi)幾(ji)乎瞬間響應；在集(ji)群(qun)(qun)功能(neng)(neng)(neng)方(fang)面，TimescaleDB 雖支持(chi)流復制(zhi)方(fang)式(shi)的(de)(de)主備(bei)庫(ku)但沒有(you)集(ji)群(qun)(qun)功能(neng)(neng)(neng)，TDengine 在這(zhe)點上更(geng)有(you)優勢，其集(ji)群(qun)(qun)容易搭建且(qie)無主從節(jie)點區分，對應用(yong)改(gai)造和支撐較(jiao)友好，集(ji)群(qun)(qun)版讀寫(xie)性能(neng)(neng)(neng)提(ti)升(sheng)較(jiao)大。

在計算及(ji)存(cun)儲資(zi)源上，應用(yong) TDengine 后(hou)，降(jiang)低(di)了大約 4 倍左右的(de)存(cun)儲成本。在未使(shi)(shi)用(yong) TDengine 之前，TimescaleDB 開(kai)啟(qi)壓縮后(hou)對 70 億數(shu)(shu)據(ju)(ju)量占用(yong)磁盤(pan)為 165GB，且一分(fen)鐘內無法查詢(xun)出(chu)一個(ge)月的(de)歷史數(shu)(shu)據(ju)(ju)；而在使(shi)(shi)用(yong) TDengine 之后(hou)磁盤(pan)占用(yong)空間為 40GB 左右，且能夠(gou)毫秒級返回針對一個(ge)月的(de)歷史數(shu)(shu)據(ju)(ju)的(de)聚(ju)合(he)查詢(xun)。此外(wai)，通過亂序插入功能，TDengine 還解決了邊緣側由于網絡問題導致的(de)數(shu)(shu)據(ju)(ju)傳輸不及(ji)時(shi)造成的(de)亂序寫入問題，保(bao)證了數(shu)(shu)據(ju)(ju)的(de)完整(zheng)性。

點此查看案例詳情

上海電氣儲能系統：毫秒級響應電站運行信息監視

“此次方案改造非常成功(gong)，我們(men)還將(jiang)在后續項目中，繼續拓展其(qi)分布式集群應(ying)用，構(gou)建儲(chu)能(neng)電站運行情況的數字化檔案，結(jie)合開(kai)發的分析算法、預(yu)測(ce)算法、數據挖(wa)掘技術，實現(xian)電站穩定性分析、效率和(he)損(sun)耗分析、故障預(yu)測(ce)、壽命預(yu)測(ce)、性能(neng)短板定位以(yi)及熱管理分析等高級分析和(he)診(zhen)斷功(gong)能(neng)。”

改造方案

為幫助(zhu)客戶實現儲能設備的最(zui)優(you)配置和(he)高效利用，上海(hai)電(dian)氣打造(zao)“SmartOPS 儲能智慧運(yun)維系(xi)統”，支持云端部(bu)(bu)署和(he)本(ben)地(di)(di)部(bu)(bu)署兩種方式，其(qi)中，本(ben)地(di)(di)部(bu)(bu)署需(xu)要重點考慮本(ben)地(di)(di)硬件資源的限制，如站(zhan)端系(xi)統的內存、CPU 以及(ji)讀寫性能等，為此上海(hai)電(dian)氣開(kai)始進(jin)行技(ji)術選(xuan)型，以挑選(xuan)適(shi)合在站(zhan)端系(xi)統中部(bu)(bu)署的時序數據庫(ku)。

待選數(shu)據庫方案包括 OpenTSDB、InfluxDB、Apache IoTDB、TDengine、ClickHouse。基于(yu)站端本(ben)地化部署需要輕量級資(zi)源占用出(chu)發(fa)，上海電氣首(shou)先排除 OpenTSDB、Apache IoTDB 以及 ClickHouse，OpenTSDB 是由于(yu)其基于(yu) HBase 進行(xing)設(she)計，架構比較(jiao)重，而 Apache IoTDB 在資(zi)源占用方面對(dui)邊緣輕量級設(she)備(bei)也不算友好；ClickHouse 的優勢是單表快，但其他方面偏弱，包括 join、管理運(yun)維都(dou)比較(jiao)復雜。研發(fa)團隊最終圈定在 InfluxDB 和 TDengine 中進行(xing)測(ce)試(shi)(shi)選擇(ze)。在經(jing)過一系(xi)列(lie)測(ce)試(shi)(shi)對(dui)比后，TDengine 成(cheng)功勝出(chu)。

改造效果

目前該項(xiang)目技(ji)術(shu)團隊已采用 TDengine 作為 SCU（Station Control Unit） 架構的核心(xin)時序數據庫，實現(xian)儲能系統綜合信息感知(zhi)、就地運(yun)行(xing)控制與(yu)協(xie)調保護功能；同(tong)時支持儲能電站及設備(bei)的遠(yuan)程運(yun)維，實現(xian)高級數據分析與(yu)運(yun)行(xing)優化，全方(fang)面守護儲能電站的安全。

TDengine 高性能(neng)的(de)寫入和聚合查(cha)(cha)詢(xun)(xun)功能(neng)，能(neng)夠毫秒級響應電(dian)站運行(xing)信息監視。在(zai)壓縮(suo)方(fang)面，對(dui)比此前使(shi)(shi)用(yong)(yong)(yong) InfluxDB 時(shi) 1 天(tian) 200 多 MB 的(de)數據存儲，在(zai)采集點(dian)數量相同(tong)的(de)情況下，使(shi)(shi)用(yong)(yong)(yong) TDengine 后，1 天(tian)的(de)數據存儲低(di)于(yu) 70 MB，是(shi) InfluxDB 的(de) 1/3。在(zai)查(cha)(cha)詢(xun)(xun)上，對(dui)比使(shi)(shi)用(yong)(yong)(yong) InfluxDB 一個(ge)月(yue)時(shi)間后執行(xing)查(cha)(cha)詢(xun)(xun)，內存使(shi)(shi)用(yong)(yong)(yong)率達到 80%，并且過了十分(fen)鐘也沒出來結(jie)果，在(zai)應用(yong)(yong)(yong) TDengine 近(jin)1個(ge)月(yue)后，使(shi)(shi)用(yong)(yong)(yong)相同(tong)的(de) SQL 語(yu)句，查(cha)(cha)詢(xun)(xun)只需(xu)要 0.2 秒。

點此查看案例詳情

結語

術業有專攻，從上述實踐中我們也能看到，專業的數據庫做專業的事情，在面對光伏儲能設備產生的海量時序數據的處理上，時序數據庫效果更為顯著。TDengine 具備 10 倍以上的性能提升、簡單易用的時序數據平臺、完全實時的數據共享能力以及頂級的開源軟件四大核心競爭力，這也讓 TDengine 成為國內外數十萬用戶的選擇，成為光儲用戶的不二之選。如果你也面臨著數據難題，可以添加小T vx：tdengine，與 TDengine 專業的(de)解決(jue)方案架構師直接溝通，尋找架構改造最優解。