動(dòng)環(huán)監(jiān)控系統(tǒng)大數(shù)據(jù)架構(gòu)設(shè)計(jì)

 傳統(tǒng)的動(dòng)環(huán)監(jiān)控系統(tǒng)體系架構(gòu)包含三個(gè)組成部分:監(jiān)控對(duì)象(SO)、現(xiàn)場(chǎng)監(jiān)控單元(FSU)、集中監(jiān)控中心(SC)，體系結(jié)構(gòu)如下:

        以上架構(gòu)設(shè)計(jì)適合小規(guī)模的應(yīng)用場(chǎng)景，難以解決大規(guī)模采集數(shù)據(jù)場(chǎng)景下的動(dòng)環(huán)監(jiān)控業(yè)務(wù)應(yīng)用，本文提出一種集群大數(shù)據(jù)平臺(tái)技術(shù)架構(gòu)，以滿(mǎn)足動(dòng)環(huán)監(jiān)控系統(tǒng)對(duì)大規(guī)模測(cè)點(diǎn)實(shí)時(shí)性采集和處理、大數(shù)據(jù)高效存儲(chǔ)和查詢(xún)、分布式容錯(cuò)處理等要求，同時(shí)為第三方SC、SC、大數(shù)據(jù)分析、其它應(yīng)用提供共享服務(wù)。另外，還制定測(cè)點(diǎn)和設(shè)備編碼規(guī)范、測(cè)點(diǎn)和設(shè)備命名規(guī)范、事件和轉(zhuǎn)臺(tái)字典規(guī)范以及服務(wù)接口標(biāo)準(zhǔn)化規(guī)范等。技術(shù)架構(gòu)設(shè)計(jì)包括數(shù)據(jù)采集、分布式消息隊(duì)列(Kafka集群)、在線實(shí)時(shí)處理(Storm集群)、數(shù)據(jù)存儲(chǔ)中心、共享服務(wù)、配置管理等部分。技術(shù)架構(gòu)如下圖所示:

       1、面向不同層次的數(shù)據(jù)采集。支持面向第三方集中監(jiān)控中心(SC)和第三方現(xiàn)場(chǎng)監(jiān)控單元(FSU)數(shù)據(jù)采集;同時(shí)，支持面向動(dòng)力系統(tǒng)和環(huán)境系統(tǒng)的現(xiàn)場(chǎng)監(jiān)控單元數(shù)據(jù)直采(一體式或主從式FSU)。依據(jù)不同的規(guī)約協(xié)議定制開(kāi)發(fā)采集程序，底層采集數(shù)據(jù)統(tǒng)一匯聚至分布式消息隊(duì)列(Kafka集群)。定制ETL單元采集數(shù)據(jù)推送至分布式消息隊(duì)列(Kafka集群)，由在線實(shí)時(shí)處理(Storm集群)應(yīng)用，基于配置管理預(yù)先定義的點(diǎn)表映射關(guān)系進(jìn)行處理，轉(zhuǎn)換成動(dòng)環(huán)監(jiān)控平臺(tái)自定義編碼;而現(xiàn)場(chǎng)監(jiān)控單元，基于配置管理預(yù)先定義的點(diǎn)表映射關(guān)系，將底層動(dòng)力和環(huán)境系統(tǒng)產(chǎn)生的測(cè)量數(shù)據(jù)，直接轉(zhuǎn)換成動(dòng)環(huán)監(jiān)控平臺(tái)自定義編碼，無(wú)需在線實(shí)時(shí)處理(Storm集群)應(yīng)用進(jìn)行點(diǎn)表映射處理。

       2、集群式消息隊(duì)列。在支持各個(gè)子系統(tǒng)本身業(yè)務(wù)應(yīng)用要求的前提下，采集數(shù)據(jù)集中匯總到消息中間件(Kafka)緩沖，每一個(gè)采集服務(wù)器在消息隊(duì)列中采用唯一標(biāo)識(shí)的主題(Topic)存儲(chǔ)，消息中間件中的數(shù)據(jù)存儲(chǔ)格式采用JSON格式;集中存儲(chǔ)的優(yōu)勢(shì)在于:平臺(tái)級(jí)應(yīng)用方無(wú)須關(guān)注實(shí)現(xiàn)各個(gè)廠家不同的通訊方式和交互流程，在數(shù)據(jù)匯總的方式上基于互聯(lián)網(wǎng)的公開(kāi)標(biāo)準(zhǔn)進(jìn)行了統(tǒng)一，數(shù)據(jù)格式可以不統(tǒng)一。傳統(tǒng)做法是要求數(shù)據(jù)格式的統(tǒng)一，將復(fù)雜的數(shù)據(jù)格式處理轉(zhuǎn)嫁給了數(shù)據(jù)采集方，增加了數(shù)據(jù)采集方的工作量，另外，所謂的統(tǒng)一格式，也不能得到廣泛認(rèn)可，消息隊(duì)列的通訊方式是公認(rèn)的技術(shù)。

       3、實(shí)時(shí)高并發(fā)數(shù)據(jù)處理機(jī)制。統(tǒng)一業(yè)務(wù)數(shù)據(jù)格式(設(shè)備編號(hào)、測(cè)點(diǎn)編號(hào)、測(cè)點(diǎn)數(shù)值、測(cè)點(diǎn)類(lèi)型、采集時(shí)間等)，預(yù)先定義映射關(guān)系，將不同數(shù)據(jù)格式的底層采集數(shù)據(jù)，統(tǒng)一格式化成標(biāo)準(zhǔn)的業(yè)務(wù)數(shù)據(jù);對(duì)于模擬量、計(jì)算量、開(kāi)關(guān)量實(shí)時(shí)數(shù)據(jù)的處理和存儲(chǔ)。

       4、混合數(shù)據(jù)存儲(chǔ)模式。針對(duì)不同類(lèi)型數(shù)據(jù)，依據(jù)業(yè)務(wù)應(yīng)用實(shí)際要求，選擇合適的存儲(chǔ)模式進(jìn)行數(shù)據(jù)持久化處理，并對(duì)外提供數(shù)據(jù)。對(duì)于文件、圖像、視頻以文件方式存儲(chǔ);實(shí)時(shí)測(cè)點(diǎn)數(shù)據(jù)存儲(chǔ)在內(nèi)存數(shù)據(jù)庫(kù)(Redis集群)，事件狀態(tài)數(shù)據(jù)局域(Redis)的消息訂閱機(jī)制，及時(shí)向外部應(yīng)用推送;歷史測(cè)點(diǎn)數(shù)據(jù)存儲(chǔ)在時(shí)間序列數(shù)據(jù)庫(kù)(OpenTSDB集群)，配置管理、基礎(chǔ)信息、業(yè)務(wù)數(shù)據(jù)、主題分析數(shù)據(jù)存儲(chǔ)在關(guān)系數(shù)據(jù)庫(kù)(MySQL集群)。

       5、開(kāi)放式共享服務(wù)接口。事件、狀態(tài)、告警等即時(shí)消息，通過(guò)消息隊(duì)列訂閱機(jī)制對(duì)外推送;提供RESTful Web服務(wù)共享接口，為遠(yuǎn)程控制操作、實(shí)時(shí)數(shù)據(jù)和歷史數(shù)據(jù)查詢(xún)提供應(yīng)用基礎(chǔ);同時(shí)，平臺(tái)對(duì)外開(kāi)發(fā)時(shí)間序列數(shù)據(jù)庫(kù)、內(nèi)存數(shù)據(jù)庫(kù)、消息隊(duì)列訪問(wèn)方式。

       6、可拓展業(yè)務(wù)應(yīng)用。共享服務(wù)支持第三方集控中心(SC)、SC、大數(shù)據(jù)分析應(yīng)用、其它應(yīng)用等二次開(kāi)發(fā)。

       7、標(biāo)準(zhǔn)化、規(guī)范化。動(dòng)環(huán)監(jiān)控平臺(tái)制定規(guī)范化和標(biāo)準(zhǔn)化的編碼、命名、字典、接口定義，基于標(biāo)準(zhǔn)化、規(guī)范化基礎(chǔ)，提供可視化的配置管理工具。

來(lái)源：機(jī)房監(jiān)控 http://www.dr4xxf.cn