摘要

本文主要介紹了共享儲能的 SCADA 系統(tǒng)大數(shù)據(jù)架構(gòu)，以及如何利用鴻鵠來更好的優(yōu)化 SCADA 系統(tǒng)功能，如何為用戶進(jìn)行數(shù)據(jù)自助分析賦能。

1、共享儲能介紹

說到共享儲能，可能不少朋友比較陌生，下面我們簡單介紹一下共享儲能的價值及其未來的技術(shù)發(fā)展方向。

1.1 共享儲能的價值

儲能技術(shù)有著巨大的價值，儲能的四個基本作用：一是削峰填谷，二是虛擬同步，三是準(zhǔn)確控制性，四是響應(yīng)電網(wǎng)的指令和控制負(fù)荷。儲能的商業(yè)模式原來電源側(cè)是自己用的，它是裝在電源側(cè)，但2019年6月份移到了電網(wǎng)側(cè)由電網(wǎng)統(tǒng)一調(diào)度，叫共享儲能，共享儲能就由電網(wǎng)調(diào)度。

“共享儲能”商業(yè)模式充分考慮到了各方需求。

從國際來看，2021年特斯拉部署的儲能項目共4 GWh，2030年1500GWh 的目標(biāo)，對比之下翻了375倍。由于市場需求仍持續(xù)高于產(chǎn)能，特斯拉儲能業(yè)務(wù)增長依然受到供應(yīng)鏈挑戰(zhàn)的限制。

2020年，特斯拉美國官網(wǎng)正式上線Megapack 工業(yè)級電池儲能系統(tǒng)，定價100萬美元起，而且只面向企業(yè)銷售，但依舊賣得火爆。在當(dāng)年第二季度財報電話會議上，馬斯克透露，Megapack 在2022年底的產(chǎn)能已全部售罄。

從國內(nèi)來看，2021年4月21日，國家發(fā)展改革委、國家能源局發(fā)布《關(guān)于加快推動新型儲能發(fā)展的指導(dǎo)意見（征求意見稿）》（以下簡稱《征求意見稿》）?！墩髑笠庖姼濉诽岢?#xff0c;目標(biāo)到2025年，實現(xiàn)新型儲能從商業(yè)化初期向規(guī)模化發(fā)展轉(zhuǎn)變，新型儲能裝機(jī)規(guī)模達(dá)3000萬千瓦以上。

到2030年，實現(xiàn)新型儲能全面市場化發(fā)展。

下圖是彭博社關(guān)于未來共享儲能市場各國裝機(jī)容量的預(yù)測，我們可以看到，無論是中國還是美國，未來的儲能市場都是一個至少萬億級的市場，天花板足夠高。在這個新能源風(fēng)起云涌的時代，共享儲能已經(jīng)躋身成為新型電力系統(tǒng)的基本要素。

（來源：彭博社）

1.2 電池儲能是技術(shù)發(fā)展的未來

一般來說，目前共享儲能包括機(jī)械儲能、電磁儲能和電池（也叫電化學(xué)）儲能。通過下表我們可以看出，基于鋰電池的儲能技術(shù)優(yōu)點明顯，也是目前和未來共享儲能的主流。

其他還有壓縮空氣儲能、高能電容儲能、液流電池儲能、鈉硫電池儲能、鉛酸電池儲能等，由于地理條件限制、比能量太低等各種不同原因，并不是業(yè)界的主流技術(shù)。我們的共享儲能 SCADA 系統(tǒng)也主要基于鋰電池共享儲能進(jìn)行建設(shè)。

2、傳統(tǒng)SCADA系統(tǒng)

所謂 SCADA ( Supervisor Control And Data Acquisition ) 數(shù)據(jù)采集系統(tǒng)，是一種集測量技術(shù)、計算機(jī)技術(shù)、通訊技術(shù)于一體的綜合性集成控制系統(tǒng)，可實現(xiàn)共享儲能系統(tǒng)的實時中央監(jiān)控和管理調(diào)度。

典型的 SCADA 如下圖，分為場站端和管理端。場站端：主要是三部分：下位機(jī)、通信網(wǎng)絡(luò)、上位機(jī)。管理端：一般包括前置采集、SCADA應(yīng)用。

由于早期的 SCADA 系統(tǒng)面對的數(shù)據(jù)量相對較小，因此大部分采用單機(jī)或者 C/S 架構(gòu)，一般采用關(guān)系型數(shù)據(jù)庫，比如：MySQL、SQL Server 等進(jìn)行存儲。隨著采集數(shù)據(jù)的增多，這樣的系統(tǒng)不能保存過長時間的數(shù)據(jù)，都會設(shè)置幾個月的定期數(shù)據(jù)清理策略，如果要進(jìn)行長周期的數(shù)據(jù)對比分析，則很難滿足需求。

以下是一個我們客戶之前用的傳統(tǒng) SCADA 系統(tǒng)：

3、基于大數(shù)據(jù)平臺的共享儲能 SCADA 系統(tǒng)

隨著各種新能源（風(fēng)能、太陽能）電廠的建設(shè)，電廠的數(shù)據(jù)采集層具有數(shù)據(jù)采集量大、采集頻率高的特點，歷史庫必將形成復(fù)雜、異構(gòu)的儲能大數(shù)據(jù)，傳統(tǒng)的SCADA系統(tǒng)開始面臨計算機(jī) CPU 升級、內(nèi)存不足、計算機(jī)硬件擴(kuò)充、成本增加等一系列的問題。傳統(tǒng)的數(shù)據(jù)處理方式，難以快速處理海量的共享儲能大數(shù)據(jù)。

因此，我們的共享儲能客戶提出要基于大數(shù)據(jù)平臺進(jìn)行共享儲能 SCADA 系統(tǒng)的建設(shè)。

3.1 總體架構(gòu)

一般來說，共享儲能電站主要由變配電設(shè)備、儲能電池組、能源管理系統(tǒng)( EMS )、電池管理系統(tǒng)( BMS )、能量轉(zhuǎn)換控制系統(tǒng)( PCS )及 SCADA 系統(tǒng)組成。

在建設(shè)中，我們考慮到現(xiàn)有共享儲能系統(tǒng)復(fù)雜、采集點比較多的特點，采用了時序數(shù)據(jù)庫進(jìn)行主要數(shù)據(jù)存儲。另外，共享儲能系統(tǒng)一般要求是在一個封閉的環(huán)境下，無法連接互聯(lián)網(wǎng)，因此我們會通過一臺基于 GPS（北斗）的時間服務(wù)器進(jìn)行時間同步。

下圖是我們共享儲能 SCADA 系統(tǒng)的示意圖：

為了能更方便的集成一些第三方標(biāo)準(zhǔn)采集盒子，我們采用了 MQTT 協(xié)議作為數(shù)據(jù)傳輸?shù)闹饕獏f(xié)議，這樣對于第三方標(biāo)準(zhǔn)的采集盒子僅僅需要進(jìn)行簡單的配置，就能把數(shù)據(jù)采集上來。

為了更加靈活的進(jìn)行采集程序編寫，我們采用的是 Python 語言進(jìn)行開發(fā)，對于數(shù)據(jù)展示、分析端，我們進(jìn)行了前后端分離，后端使用主流的 Java 框架 Spring Boot 進(jìn)行開發(fā)，前端采用 Vue 進(jìn)行開發(fā)。

3.2 數(shù)據(jù)存儲

采集的數(shù)據(jù)主要存儲在 InfluxDB 中，對于一些特殊的報表需求，我們會定時ETL數(shù)據(jù)到 MySQL 關(guān)系型數(shù)據(jù)庫中。

對于 InfluxDB 的存儲結(jié)構(gòu)，有一些查詢的效率會比較低，因此，會提前進(jìn)行預(yù)計算以滿足快速的數(shù)據(jù)分析需求。當(dāng)然對于大數(shù)據(jù)系統(tǒng)，這也是一個非常常用的要求，好在 InfluxDB 提供 Rollup 的功能，能很方便的通過編寫 SQL 語句根據(jù)采樣的精度和數(shù)據(jù)聚合方式進(jìn)行預(yù)計算。

3.3 實景拍攝

這是第一個應(yīng)用我們 SCADA 系統(tǒng)的共享儲能電站實景拍攝圖，該共享儲能電站基本上具備了一般共享儲能電站的主要功能：削峰填谷、響應(yīng)電網(wǎng)的指令和控制負(fù)荷。

3.4 系統(tǒng)界面

下圖是我們一個共享儲能電站的主系統(tǒng)圖，圖中所有的數(shù)據(jù)都是實時進(jìn)行采集顯示。此外，根據(jù)客戶的需求，也能直接在系統(tǒng)圖上進(jìn)行一些簡單的系統(tǒng)交互控制。

一般在共享儲能電站的 SCADA 系統(tǒng)首頁，用戶希望能看到儲能系統(tǒng)響應(yīng)電網(wǎng)計算機(jī) AGC 指令的實時情況，從而快速分析出當(dāng)前儲能系統(tǒng)的工作功率。下圖是我們建設(shè)的一個典型的 SCADA 系統(tǒng)首頁：

4、利用鴻鵠優(yōu)化共享儲能 SCADA 系統(tǒng)

在了解到國內(nèi)推出了一款新的大數(shù)據(jù)產(chǎn)品，我們就希望能嘗鮮體驗，當(dāng)然之前我們也考慮過一些其他產(chǎn)品，但是從價格、易用性方面比我們現(xiàn)有架構(gòu)并沒有明顯提升。

4.1 我們的痛點

雖然我們之前基于大數(shù)據(jù)平臺建立的產(chǎn)品比原有傳統(tǒng)的 SCADA 系統(tǒng)已經(jīng)有了很大進(jìn)步，但是仍然還是有一些不太令人滿意的地方。

4.1.1 缺乏靈活性

對于共享儲能SCADA系統(tǒng)來說，除了和一般SCADA系統(tǒng)一樣具有監(jiān)控的功能外，更重要的是共享儲能SCADA系統(tǒng)必須響應(yīng)電網(wǎng)的指令精準(zhǔn)控制儲能系統(tǒng)出力(也就是我們前面提到儲能的四個基本作用的后面兩個)提供數(shù)據(jù)分析服務(wù)和輔助決策。

共享儲能系統(tǒng)建成后大約3-6個月的時間都處于電網(wǎng)指令響應(yīng)算法的調(diào)試期，為了針對算法模型進(jìn)行調(diào)參優(yōu)化，電力工程師和算法工程師就會不斷的有很多臨時的想法，在看到算法調(diào)整后的數(shù)據(jù)變化，用戶會進(jìn)一步希望有一些新的指標(biāo)或者統(tǒng)計圖表呈現(xiàn)。

由于所有的統(tǒng)計分析功能都需要用Java代碼進(jìn)行實現(xiàn)，一旦用戶提出更多的數(shù)據(jù)分析需求，就要重新對需求進(jìn)行排期。如果能有一款所見即所得的輔助數(shù)據(jù)分析工具，顯然能更好的滿足一些臨時性、探索性的分析需求。加快共享儲能系統(tǒng)的算法模型調(diào)試進(jìn)度。

4.1.2 ETL依賴

雖然我們核心的采集數(shù)據(jù)都保存到了 InfluxDB，目前一個儲能電站的每日采集數(shù)據(jù)量大約是8-12GB，目前我們建設(shè)第一個共享儲能電站SCADA系統(tǒng)運(yùn)行一年后，大約有3TB的累計數(shù)據(jù)。有一些報表通過 SQL 直接查詢 InfluxDB 效率就會比較低下，因此我們就會把一部分統(tǒng)計報表的數(shù)據(jù)從 InfluxDB 通過 ETL 腳本抽取到 MySQL 中，以應(yīng)對相對復(fù)雜的分析報告需求。

4.1.3 擴(kuò)展價格昂貴

隨著數(shù)據(jù)量的增多，未來如果要采用 InfluxDB 集群，這個代價也是相當(dāng)高的。由于社區(qū)版的 InfluxDB 不支持集群模式，所以，我們從相關(guān)渠道打聽過支持集群模式的 InfluxDB 企業(yè)版，據(jù)說價格能達(dá)到百萬，這顯然對于一個SCADA 系統(tǒng)來說無法承受。

4.2 選型對比

基于提高靈活性、減少對 ETL 的依賴以及合理的成本等幾項要素，我們更多的偏向于 ElasticSearch、Splunk 等能夠省去 ETL 過程、建模更加靈活的產(chǎn)品，剛好最近從業(yè)界的朋友得知國內(nèi)一個實力強(qiáng)勁的團(tuán)隊發(fā)布了一款比Splunk 更好的產(chǎn)品——鴻鵠社區(qū)版，就忍不住想上手試試。尤其是當(dāng)我們看到鴻鵠的讀時建模和向量加速的特性的時候，顯然能解決我們之前的痛點。

4.2.1 讀時建模

按照官方文檔的解釋，“讀時模式”是一種在搜索數(shù)據(jù)的同時，從原始數(shù)據(jù)提取有用字段（ field ）的技術(shù)。由于可以省去ETL部分，該技術(shù)可以極大的減少數(shù)據(jù)導(dǎo)入時候的開銷。這一點非常適合我們 SCADA 系統(tǒng)用戶的一些臨時性、探索性的需求。

尤其是當(dāng)數(shù)據(jù)采集進(jìn)入平臺的時候，直接存儲原始數(shù)據(jù)，通過定義一些列字段提取規(guī)則，在查詢時，動態(tài)的根據(jù)引用到的規(guī)則，從原始數(shù)據(jù)中提取字段值。

（此圖來源于鴻鵠官方文檔）

4.2.2 向量加速

通過在使用中，我們還發(fā)現(xiàn)了鴻鵠系統(tǒng)的一個非常重要的特性，就是使用了向量加速計算，向量計算能充分利用CPU的SIMD(Single Instruction Multiple Data)指令，SIMD是一類特殊的CPU指令類型，這種指令可以在一條指令中同時操作多個數(shù)據(jù)，大大提升了數(shù)據(jù)處理的性能，這也是鴻鵠在安裝的時候為什么要求CPU必須支持AVX2 指令集的原因。

4.3 新的架構(gòu)

我們新的架構(gòu)將鴻鵠替代關(guān)系型數(shù)據(jù)庫，如果在裝機(jī)容量不大的儲能電站甚至可以做為主數(shù)據(jù)存儲使用。

如下圖所示，通過和鴻鵠的整合，提升了現(xiàn)有SCADA 系統(tǒng)的靈活性，相當(dāng)于直接給原有的系統(tǒng)進(jìn)行了自助分析賦能。

在新的架構(gòu)中，我們會讓鴻鵠和InfluxDB共同工作。使用鴻鵠，一方面替代了MySQL的作用以及一部分InfluxDB的預(yù)計算處理；另外一方面我們可以讓用戶直接登錄鴻鵠的管理界面進(jìn)行一些自助的數(shù)據(jù)分析，這也是之前用戶一直期望的。

4.4 項目集成

說了這么多，已經(jīng)迫不及待進(jìn)行系統(tǒng)集成嘗試了。

4.4.1 鴻鵠系統(tǒng)的安裝

鴻鵠系統(tǒng)的安裝非常簡單，基本上按照官方文檔一步步下來很快就能搞定，系統(tǒng)內(nèi)存也只是需要 8G 的限制，在如今手機(jī)內(nèi)存都超過 8G 的年代，還是非常良心的配置要求。

不過由于鴻鵠使用了矢量計算技術(shù)，官方文檔提示：鴻鵠計算引擎使用了 AVX2 高級指令集做向量計算加速，因此，鴻鵠需要運(yùn)行在支持 AVX2 指令集的 CPU 上。

當(dāng)然，官方文檔給出了測試方法，可以運(yùn)行以下命令得知CPU是否支持AVX2 指令集：

剛好，我有一臺現(xiàn)成的老服務(wù)器，趕緊進(jìn)行測試。不幸的是，他……不支持。

很快，我找來一臺云主機(jī)，完美解決。

安裝需要安裝docker以及其他一些相關(guān)組件，不過安裝過程非常簡單，完全按照官方安裝文檔（https://yanhuang.yuque.com/staff-sbytbc/rb5rur/auwfm3?）一步步進(jìn)行即可。

這是安裝完成后的界面，確實是“大數(shù)至簡”。

4.4.2 接收MQTT數(shù)據(jù)

為了能趕緊試試鴻鵠的功能，我們需要先把數(shù)據(jù)灌進(jìn)來，當(dāng)然如果只是試用，你可以用 csv、json 等文件導(dǎo)入數(shù)據(jù)。

由于在之前的架構(gòu)中，我們會采用 EMQX 來采集各種設(shè)備的數(shù)據(jù)，所以，在試用的過程中我簡單的開發(fā)了一個從EMQX 接收 MQTT 數(shù)據(jù)并轉(zhuǎn)發(fā)到鴻鵠的服務(wù)，并已發(fā)布到 Github 平臺上。

開發(fā)過程就不細(xì)表，大家可以到如下地址看到并下載：

https://github.com/neulf/mqtt-honghu

4.4.3 數(shù)據(jù)預(yù)計算技術(shù)

由于數(shù)據(jù)量的增大，我們在 InfluxDB 上一般會采用 Rollup 進(jìn)行預(yù)計算，以增強(qiáng)對大數(shù)據(jù)的處理能力，提高查詢性能。因此，對于一款新的大數(shù)據(jù)產(chǎn)品，很自然地，我們對數(shù)據(jù)預(yù)計算方面也非常關(guān)切。

從官方文檔上，我們發(fā)現(xiàn)鴻鵠提供了多種數(shù)據(jù)預(yù)計算技術(shù)，包括物化視圖、預(yù)存查詢、定時報表，你可以在官方文檔中看到這幾種技術(shù)的應(yīng)用場景，我就不在這里一一贅述。

4.4.4 靈活的查詢

鴻鵠提供簡易查詢和高階查詢的功能，支持業(yè)界通用的生產(chǎn)力工具——SQL 進(jìn)行查詢，這一點對于大部分工程師、數(shù)據(jù)分析人員甚至一部分資深的運(yùn)營人員都是很方便的。

有關(guān)鴻鵠SQL的介紹，請參考這里

（https://yanhuang.yuque.com/staff-sbytbc/rb5rur/znakv0?）

4.4.5 豐富的開箱即用圖表

鴻鵠提供了非常豐富的圖表，對于一個使用過一些商業(yè)BI產(chǎn)品（比如：Tableau、PowerBI）的人來說，這款社區(qū)產(chǎn)品真的是非常給力，我們嘗試把之前需要進(jìn)行定制開發(fā)的功能，比如 AGC 指令、系統(tǒng)出力功率等指標(biāo)的對比曲線用鴻鵠的高級查詢功能實現(xiàn)，真的是非常簡單。

4.5 總結(jié)

從試用來看，鴻鵠是一款安裝非常方便，具備豐富的圖表分析功能的社區(qū)產(chǎn)品。由于我沒有對鴻鵠和一些時序數(shù)據(jù)庫進(jìn)行插入性能方面的基準(zhǔn)測試，但是從其他搜索引擎和時序數(shù)據(jù)庫的對比以及個人經(jīng)驗來看，對于采集并發(fā)性能要求不是太嚴(yán)苛的新建共享儲能 SCADA 系統(tǒng)，可以直接采用鴻鵠做為主存儲進(jìn)行使用；如果是已建項目的改造或者對性能要求非常高，可以考慮架構(gòu)上采用時序性數(shù)據(jù)庫配合鴻鵠的方式。