大數(shù)據(jù)在視頻監(jiān)控存儲(chǔ)的使用與應(yīng)戰(zhàn)

   
   作為云年代海量數(shù)據(jù)的來(lái)源之一，安防視頻監(jiān)控職業(yè)跟著才智城市和智能交通的疾速開展、移動(dòng)互聯(lián)設(shè)備的疾速激增，發(fā)作了海量的非結(jié)構(gòu)化視音頻數(shù)據(jù)，帶動(dòng)了大數(shù)據(jù)的存儲(chǔ)、辦理、剖析等使用。面向云年代，業(yè)界同仁蜂擁而至、熱血沸騰，無(wú)論是IT供貨商、存儲(chǔ)廠商、仍是處理方案供給商都不甘落后，雨后春筍般的紛紛提出根據(jù)核算、存儲(chǔ)、網(wǎng)絡(luò)等多層次虛擬化的數(shù)據(jù)中心處理方案，投入很多資本，推出云存儲(chǔ)、云核算等體系商品。

   
   面對(duì)大數(shù)據(jù)，視頻監(jiān)控職業(yè)面對(duì)哪些難題?咱們?cè)趺词褂迷坪怂?、大?shù)據(jù)有關(guān)技能來(lái)獲取數(shù)據(jù)背面隱含的信息?將來(lái)的應(yīng)戰(zhàn)和遠(yuǎn)景怎么?我將從以上幾方面發(fā)表個(gè)人觀點(diǎn)，意在拋磚引玉、引發(fā)業(yè)界同仁在工業(yè)開展的進(jìn)一步考慮和評(píng)論。

   
一.視頻監(jiān)控存儲(chǔ)及智能剖析體系中的難題

   
   根據(jù)IDC猜測(cè)，全球在2010年已正式進(jìn)入ZB年代，全球數(shù)據(jù)量大概每?jī)赡攴环馕吨祟愒谧罱鼉赡臧l(fā)作的數(shù)據(jù)量相當(dāng)于之前發(fā)作的悉數(shù)數(shù)據(jù)量。爆破式添加的數(shù)據(jù)，正推進(jìn)人類進(jìn)入大數(shù)據(jù)的年代。

   
   大數(shù)據(jù)包括交際媒體、移動(dòng)設(shè)備、科學(xué)核算和城市中布置的各類傳感器信息，其間視頻是構(gòu)成數(shù)據(jù)體量最大的組成部分。據(jù)IMSResearch核算，2011年全球攝像頭的出貨量到達(dá)2646萬(wàn)臺(tái)，估計(jì)到2015年攝像頭出貨量達(dá)5454萬(wàn)臺(tái)。一天發(fā)作的視頻監(jiān)控?cái)?shù)據(jù)超越1500PB,而累計(jì)歷史數(shù)據(jù)將更為無(wú)窮，在視頻監(jiān)控大聯(lián)網(wǎng)、高清化推進(jìn)下，視頻監(jiān)控事務(wù)將面對(duì)海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)同享、數(shù)據(jù)安全及數(shù)據(jù)使用四大難題。

   
   (1)海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)

   
   安防職業(yè)的大數(shù)據(jù)現(xiàn)在首要來(lái)源于才智城市和智能交通等大型安防項(xiàng)目。例如，2011年全球兩天的數(shù)據(jù)就高達(dá)1.8ZB，相當(dāng)于文明開始到21世紀(jì)初悉數(shù)的數(shù)據(jù)總和;2013年我國(guó)某一線城市一個(gè)季度發(fā)作的數(shù)據(jù)總量也在200PB。當(dāng)時(shí)，才智城市建造已變成地方政府推進(jìn)城鎮(zhèn)化開展的重要途徑，而跟著才智城市的開展，對(duì)高清攝像機(jī)和智能化監(jiān)控設(shè)備的需要會(huì)繼續(xù)添加，智能交通職業(yè)將變成十二五政府出資的要點(diǎn)范疇，這將使將來(lái)幾年視頻監(jiān)控職業(yè)仍堅(jiān)持高景氣度。此外跟著智能家居、民用安防的遍及，更多的用戶會(huì)經(jīng)過(guò)移動(dòng)設(shè)備監(jiān)看視頻，于此一同會(huì)有更多的移動(dòng)互聯(lián)數(shù)據(jù)發(fā)作。2012年全國(guó)就具有3.88億移動(dòng)互聯(lián)網(wǎng)用戶，估計(jì)2015年互聯(lián)設(shè)備將到達(dá)150億，2020年互聯(lián)設(shè)備將到達(dá)2000億。數(shù)據(jù)10倍速的添加，在帶來(lái)無(wú)窮機(jī)會(huì)的一同，也帶來(lái)了很大的應(yīng)戰(zhàn)。

   
   依照IT工業(yè)的規(guī)律：在滿意客戶需要的條件之下，通常技能本錢越低，其生命力通常越強(qiáng)。由于數(shù)據(jù)量的急速擴(kuò)大，以及隨之而來(lái)的大規(guī)劃核算的需要不斷添加，一味選用高配硬件，使得硬件出資變成客戶不行承受之重。怎么在滿意需要的條件下，刪除重復(fù)數(shù)據(jù)、下降硬件本錢出資將變成海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的一個(gè)難題。

   
   (2)數(shù)據(jù)同享

   
   大數(shù)據(jù)需要經(jīng)過(guò)疾速的采集、發(fā)現(xiàn)和剖析，從很多化、多種類的數(shù)據(jù)中獲取價(jià)值。安防大數(shù)據(jù)年代最明顯的特征即是海量和非結(jié)構(gòu)化數(shù)據(jù)同享，用以前進(jìn)數(shù)據(jù)處理才干。比方天網(wǎng)工程和智能交通即是最具代表性的案例，天網(wǎng)工程通常分為省市縣鄉(xiāng)鎮(zhèn)等多級(jí)架構(gòu)，智能交通圖畫也散布在前端卡口、區(qū)節(jié)點(diǎn)、市省國(guó)家級(jí)中心中，海量數(shù)據(jù)存儲(chǔ)在不一樣節(jié)點(diǎn)、不一樣設(shè)備中，這給傳統(tǒng)的數(shù)據(jù)辦理和使用機(jī)制帶來(lái)了極大的應(yīng)戰(zhàn)。

   
   與科學(xué)核算、互聯(lián)網(wǎng)相比，視頻監(jiān)控的大數(shù)據(jù)處理難度尤大，首要，視頻錄像是更初始的非文本非結(jié)構(gòu)化的數(shù)據(jù)，必須經(jīng)過(guò)雜亂繁重的剖析處理才干獲取出文本結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行下一步處理;其次視頻錄像相對(duì)其它方法數(shù)據(jù)的容量要大幾個(gè)數(shù)量級(jí)，對(duì)傳輸、存儲(chǔ)和核算的帶寬請(qǐng)求大。因而咱們說(shuō)數(shù)據(jù)高效同享是第二大難題。

   
   (3)數(shù)據(jù)安全

   
   安全城市、才智城市的建造促進(jìn)安防云存儲(chǔ)技能的使用，才智城市一大請(qǐng)求即是將視頻存儲(chǔ)數(shù)據(jù)相互之間進(jìn)行聯(lián)動(dòng)、同享，例如在違法追尋時(shí)，公安、交通、民用職業(yè)等多規(guī)劃的存儲(chǔ)數(shù)據(jù)能夠同享，而這種同享具有了云存儲(chǔ)的特性;傳統(tǒng)的存儲(chǔ)技能無(wú)法滿意社會(huì)開展需要，云存儲(chǔ)的在安防范疇的使用變成必定。

   
   安防視頻監(jiān)控?cái)?shù)據(jù)具有私密性高、保密性強(qiáng)的特色，不僅是過(guò)后清查的根據(jù)、而且更是后續(xù)數(shù)據(jù)剖析發(fā)掘的基礎(chǔ)。因而咱們說(shuō)數(shù)據(jù)安全一方面是指不受到外界數(shù)據(jù)的侵略和不合法獲取、另一方面是指無(wú)窮體系的魯棒性、體系容錯(cuò)機(jī)制，保證硬件軟件發(fā)作故障時(shí)，數(shù)據(jù)仍然能夠康復(fù)、得以保留。面對(duì)海量數(shù)據(jù)的存儲(chǔ)、同享，硬件和軟件設(shè)備承載了極大的危險(xiǎn)，因而咱們?cè)趺礃?gòu)建大型、海量視頻監(jiān)控存儲(chǔ)體系、數(shù)據(jù)剖析體系以及容錯(cuò)冗余機(jī)制是第三大難題。

   
   (4)數(shù)據(jù)使用

   
   攝像頭7X24小時(shí)作業(yè)，照實(shí)記載鏡頭掩蓋規(guī)劃的發(fā)作的全部，僅僅記載信息是不夠的，由于關(guān)于客戶來(lái)講也許大部分信息是無(wú)效。數(shù)據(jù)的有用性分為兩個(gè)方面，一方面有用信息也許只散布在一個(gè)較短的時(shí)間段內(nèi)，依照數(shù)學(xué)核算的說(shuō)法，信息是呈現(xiàn)冪律散布的，也稱為信息的密度，通常越高密度的信息對(duì)客戶價(jià)值越大;另一方面是指深層次發(fā)掘無(wú)窮的海量數(shù)據(jù)，有關(guān)得出有用信息。

   
   視頻監(jiān)控事務(wù)網(wǎng)絡(luò)化、大聯(lián)網(wǎng)后，網(wǎng)絡(luò)內(nèi)的設(shè)備不斷添加，使用擱置的核算資本，完成資本的最大化使用，關(guān)乎運(yùn)算的功率。在視頻監(jiān)控范疇，通常視頻剖析的功率決議價(jià)值，更低的推遲、更精確的剖析通常是安全城市這類客戶的遍及需要。跟著數(shù)據(jù)量的添加，哪怕對(duì)TB等級(jí)的數(shù)據(jù)進(jìn)行對(duì)視頻內(nèi)容的數(shù)據(jù)剖析和檢索，選用串行核算的形式都也許需要花費(fèi)數(shù)小時(shí)的核算，已遠(yuǎn)遠(yuǎn)不能擔(dān)任時(shí)效性的需要。視頻的剖析和檢索，不能依賴于傳統(tǒng)的手法，巨量數(shù)據(jù)的功率優(yōu)化，并行核算也許是處理疑問(wèn)的方法。

   
二.云核算及大數(shù)據(jù)對(duì)視頻監(jiān)控帶來(lái)的改動(dòng)

   
   大數(shù)據(jù)概念最早呈現(xiàn)在20世紀(jì)60年代初，跟著互聯(lián)網(wǎng)的疾速建造和信息技能的迅猛開展，到20世紀(jì)90年代中后期，數(shù)據(jù)中心的建造規(guī)劃和效勞器數(shù)量每年都以驚人的速度添加。跟著信息中心、效勞中心、數(shù)據(jù)中心等各類事務(wù)使用及數(shù)據(jù)量的不斷添加，數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)發(fā)掘、聯(lián)機(jī)剖析等技能開展，數(shù)據(jù)存儲(chǔ)容量的需要也成正比的添加。

   
   云核算、云存儲(chǔ)和大數(shù)據(jù)將對(duì)視頻監(jiān)控職業(yè)帶來(lái)存儲(chǔ)架構(gòu)、虛擬化、安全和高效處理四個(gè)方面的改動(dòng)。

   
   首要，大數(shù)據(jù)呈現(xiàn)出的典型特征是4個(gè)V：規(guī)劃(volume)、速度(velocity)、類型多(variety)、價(jià)值密度低(veracity)。大數(shù)據(jù)的特征對(duì)存儲(chǔ)容量的整體具有量需要激增，海量存儲(chǔ)形式也從傳統(tǒng)的會(huì)集存儲(chǔ)式架構(gòu)開展到散布式存儲(chǔ)架構(gòu)，這種散布式架構(gòu)，在多副本、網(wǎng)絡(luò)RAID技能、快照技能驅(qū)動(dòng)下，完成海量存儲(chǔ)的高牢靠、大并發(fā)才干，推進(jìn)了存儲(chǔ)從設(shè)備供給形式到效勞形式的晉級(jí)和轉(zhuǎn)變。

   
   其次，虛擬化技能在存儲(chǔ)效勞才干建造大將繼續(xù)不斷開展，晉級(jí)形式從SCALE-UP向SCALE-OUT形式開展，為無(wú)處不在的存儲(chǔ)資本的調(diào)度與辦理、存儲(chǔ)資本的在線擴(kuò)容晉級(jí)、數(shù)據(jù)繼續(xù)保護(hù)、存儲(chǔ)效勞不間斷等完成有力的支持。虛擬化，一方面大大簡(jiǎn)化使用環(huán)節(jié)，節(jié)省客戶建造本錢，一同供給更強(qiáng)的存儲(chǔ)和同享功用;另一方面處理了存儲(chǔ)空間的浪費(fèi)，能夠主動(dòng)重新分配數(shù)據(jù)，前進(jìn)了存儲(chǔ)空間的使用率，一同具有負(fù)載均衡、故障冗余功用。

   
   再次，安全方面實(shí)時(shí)核算和存儲(chǔ)，對(duì)存儲(chǔ)設(shè)備功能、存儲(chǔ)網(wǎng)絡(luò)功能、存儲(chǔ)資本配置簡(jiǎn)化性請(qǐng)求越來(lái)越高。在雜亂的存儲(chǔ)效勞中，根據(jù)虛擬化所構(gòu)建的混合存儲(chǔ)體系，體系的主動(dòng)分層存儲(chǔ)才干尤為重要。隨同閃存的本錢不斷下降的商場(chǎng)，商場(chǎng)上也有根據(jù)全閃存陣列商品的呈現(xiàn)，根據(jù)虛擬化下的存儲(chǔ)資本主動(dòng)化分層，完成數(shù)據(jù)分層存儲(chǔ)，并遷移的戰(zhàn)略，對(duì)大數(shù)據(jù)實(shí)時(shí)性、安全性愈加不行或缺。

   
   最終，面對(duì)結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化等元數(shù)據(jù)的處理機(jī)制，云存儲(chǔ)辦理能夠完成主動(dòng)化和智能化，全部的存儲(chǔ)資本被整合到一同，客戶看到的是單一存儲(chǔ)空間，前進(jìn)了存儲(chǔ)功率;云存儲(chǔ)能夠完成規(guī)劃效應(yīng)和彈性拓展，下降運(yùn)營(yíng)本錢，防止資本浪費(fèi)。受限于安防視頻監(jiān)控本身事務(wù)的特色，監(jiān)控云存儲(chǔ)和現(xiàn)有互聯(lián)網(wǎng)云核算模型會(huì)有區(qū)別，如安防用戶傾向于視頻信息存儲(chǔ)在本地、政府視頻監(jiān)控使用對(duì)比靈敏、視頻信息的隱私疑問(wèn)、視頻監(jiān)控對(duì)網(wǎng)絡(luò)帶寬耗費(fèi)較大等疑問(wèn)。海量數(shù)據(jù)存儲(chǔ)的檢索、目錄效勞、去重化都將在以大數(shù)據(jù)觸動(dòng)的存儲(chǔ)使用中，給存儲(chǔ)工業(yè)帶來(lái)新的開展機(jī)會(huì)。

   
三.使用及推行過(guò)程中的應(yīng)戰(zhàn)

   
   云核算和大數(shù)據(jù)在使用和推行過(guò)程中仍然會(huì)面對(duì)一系列技能難關(guān)的攻克和體系的樹立。比方視頻監(jiān)控職業(yè)中最為重視的：

   
   視頻濃縮檢索技能，首要是使用圖畫處理(包括視頻濃縮、摘要、恢復(fù)等)、形式辨認(rèn)、海量數(shù)據(jù)分類存儲(chǔ)以及查找等技能，對(duì)海量的存儲(chǔ)錄像等初始信息進(jìn)行剖析和發(fā)掘，關(guān)于方針特征、方針行動(dòng)、方針間有關(guān)聯(lián)系這三大類信息內(nèi)容，構(gòu)成各種分類的特征信息庫(kù)、元數(shù)據(jù)和索引等，并供給一致接口供外部使用進(jìn)行查找，以期經(jīng)過(guò)有限的頭緒，到達(dá)案子疾速有關(guān)和定位。

   
   視頻圖畫信息庫(kù)建造，現(xiàn)在使用對(duì)比廣泛的是卡口和電警的使用。由于車牌辨認(rèn)技能的日趨成熟，經(jīng)過(guò)車牌、車牌色彩、車身、車身色彩、車輛類型等特征辨認(rèn)，把車輛圖畫、車輛信息、車主信息、盜搶車輛庫(kù)等結(jié)合起來(lái)，能夠有用的進(jìn)行車輛的查找、布控和案子頭緒查找。

   
   海量數(shù)據(jù)的處理、剖析、檢索和視頻智能剖析技能，把海量的視頻數(shù)據(jù)進(jìn)行濃縮、獲取特征摘要、減少了存儲(chǔ)空間。如1小時(shí)的視頻錄像，經(jīng)過(guò)特征值方法的視頻濃縮，能夠把錄像壓縮到10分鐘擺布。一同，視頻圖畫信息庫(kù)有別于傳統(tǒng)的聯(lián)系數(shù)據(jù)庫(kù)模型，針對(duì)結(jié)構(gòu)化，半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，經(jīng)過(guò)數(shù)據(jù)的多個(gè)副本散布式保留方法，能夠有用節(jié)省存儲(chǔ)空間，要害數(shù)據(jù)的二次備份，使體系架構(gòu)愈加安穩(wěn)和可拓展，而且供給安全的負(fù)載均衡和容錯(cuò)機(jī)制。

   
四.遠(yuǎn)景展望

   
   云核算和大數(shù)據(jù)使用將來(lái)必然對(duì)安防職業(yè)有深入的改動(dòng)和影響。尤其在才智城市職業(yè)和交通職業(yè)。交通方面海量數(shù)據(jù)處理需要，智能交通辦理體系能夠在海量數(shù)據(jù)、惡劣網(wǎng)絡(luò)環(huán)境和雜亂事務(wù)處理情況下，完成很多圖畫、車輛數(shù)據(jù)、視頻數(shù)據(jù)的不時(shí)網(wǎng)絡(luò)傳輸和疾速耐久化存儲(chǔ)，一同對(duì)恣意站點(diǎn)的圖畫進(jìn)行顯現(xiàn)，對(duì)恣意站點(diǎn)的視頻進(jìn)行流通播映、實(shí)時(shí)進(jìn)行比對(duì)報(bào)警，疾速進(jìn)行多條件檢索，而且將各類多媒體數(shù)據(jù)和車輛數(shù)據(jù)合二為一。體系完成對(duì)現(xiàn)在的城市道路交通中反常行動(dòng)的智能辨認(rèn)和主動(dòng)報(bào)警等，然后減輕了交管監(jiān)控人員的作業(yè)擔(dān)負(fù)，前進(jìn)了監(jiān)測(cè)的精確度，使得交通辦理作業(yè)更高效。實(shí)時(shí)交通狀況剖析可經(jīng)過(guò)視頻實(shí)時(shí)剖析道路交通流量，然后綜合剖析核算出全城市的交通狀況;套**可經(jīng)過(guò)視頻進(jìn)行車牌辨認(rèn)，依照必定的規(guī)矩(如最近時(shí)間內(nèi)必定距離以外)在全城市中檢索相同車牌的轎車。

   
   才智城市方面公安部門能夠使用有關(guān)技能進(jìn)行違法嫌疑人清查，可經(jīng)過(guò)輸入嫌疑人相片進(jìn)行人臉特征辨認(rèn)并在全部視頻中尋找該人臉;違法嫌疑車輛清查可輸入嫌疑車的相片或色彩車型等有關(guān)特征在全部視頻中尋找;人車物的軌道剖析即在全部視頻中依照特征查找指定的人車物并繪制其時(shí)空軌道;車輛的初次入城剖析等等。

   
結(jié)語(yǔ)

   
   高清化、網(wǎng)絡(luò)化和智能化的安防職業(yè)在新的紀(jì)元中，雖然會(huì)面對(duì)這么那樣的疑問(wèn)，可是我信任跟著云核算和大數(shù)據(jù)使用技能的成熟和完善，職業(yè)必然會(huì)更疾速的開展。云年代的到來(lái)已為咱們指明晰方向，云核算和大數(shù)據(jù)技能就像是翻開不知道國(guó)際之門的鑰匙，讓咱們能夠愈加經(jīng)濟(jì)的進(jìn)行體系建造，愈加高效的進(jìn)行數(shù)據(jù)剖析，愈加有力的推進(jìn)社會(huì)的前進(jìn)和開展。