什么是邊緣存儲(chǔ)?邊緣存儲(chǔ)的應(yīng)用領(lǐng)域?計(jì)算存儲(chǔ)如何緩解邊緣存儲(chǔ)工作?


什么是邊緣存儲(chǔ)
隨著物聯(lián)網(wǎng)(IoT)和云計(jì)算技術(shù)的迅猛發(fā)展,大量的數(shù)據(jù)被產(chǎn)生、傳輸和處理。然而,將所有數(shù)據(jù)集中存儲(chǔ)和處理在傳統(tǒng)的中心化數(shù)據(jù)中心中可能會(huì)面臨許多挑戰(zhàn),如網(wǎng)絡(luò)延遲、帶寬限制和隱私問(wèn)題等。為了解決這些問(wèn)題,邊緣存儲(chǔ)應(yīng)運(yùn)而生。邊緣存儲(chǔ)是一種分布式存儲(chǔ)和處理數(shù)據(jù)的方法,它將存儲(chǔ)和計(jì)算資源放置在接近數(shù)據(jù)生成源的邊緣設(shè)備或邊緣節(jié)點(diǎn)上,以提供更快的響應(yīng)時(shí)間、減少網(wǎng)絡(luò)負(fù)載和更好的數(shù)據(jù)隱私保護(hù)。
邊緣存儲(chǔ)是指將存儲(chǔ)和計(jì)算資源分布在網(wǎng)絡(luò)邊緣的設(shè)備或節(jié)點(diǎn)上,以產(chǎn)生、存儲(chǔ)和處理數(shù)據(jù)。相比于傳統(tǒng)的中心化數(shù)據(jù)中心存儲(chǔ)模式,邊緣存儲(chǔ)更加接近數(shù)據(jù)生成源,使得數(shù)據(jù)可以在離用戶更近的地方進(jìn)行存儲(chǔ)和處理。邊緣存儲(chǔ)可以包括各種設(shè)備,如智能手機(jī)、物聯(lián)網(wǎng)設(shè)備、邊緣服務(wù)器和邊緣節(jié)點(diǎn)。
邊緣存儲(chǔ)就是把數(shù)據(jù)直接存儲(chǔ)在數(shù)據(jù)采集點(diǎn)或者靠近的邊緣計(jì)算節(jié)點(diǎn)中,例如MEC服務(wù)器或CDN服務(wù)器,而不需要將數(shù)據(jù)通過(guò)網(wǎng)絡(luò)即時(shí)傳輸?shù)街行姆?wù)器(或云存儲(chǔ))的數(shù)據(jù)存儲(chǔ)方式。邊緣存儲(chǔ)一般采用分布式存儲(chǔ),也稱為去中心化存儲(chǔ)。下面通過(guò)幾個(gè)案例來(lái)說(shuō)明:
在安防監(jiān)控領(lǐng)域,智能攝像頭或網(wǎng)絡(luò)視頻錄像機(jī)(NVR)直接保存數(shù)據(jù),即時(shí)處理,不需要將所有數(shù)據(jù)傳輸至中心機(jī)房再處理。
家庭網(wǎng)絡(luò)存儲(chǔ)服務(wù)器,用戶更偏向?qū)⑺饺藬?shù)據(jù)存儲(chǔ)在自己家中,而不是通過(guò)網(wǎng)絡(luò)上傳到提供存儲(chǔ)服務(wù)的第三方公司,這樣第三方公司不會(huì)接觸到敏感數(shù)據(jù),保證隱私保護(hù)和安全性。
自動(dòng)駕駛采集的數(shù)據(jù)往往可以在車載單元或路側(cè)單元中進(jìn)行預(yù)處理,再將處理后的少量數(shù)據(jù)傳輸給后臺(tái)服務(wù)中心或云。
邊緣存儲(chǔ)的應(yīng)用領(lǐng)域
邊緣存儲(chǔ)在許多領(lǐng)域都有廣泛的應(yīng)用:
1 物聯(lián)網(wǎng)(IoT)
物聯(lián)網(wǎng)設(shè)備產(chǎn)生大量的數(shù)據(jù),如傳感器數(shù)據(jù)、監(jiān)控?cái)?shù)據(jù)等。邊緣存儲(chǔ)可以將數(shù)據(jù)存儲(chǔ)在設(shè)備本地或附近的邊緣節(jié)點(diǎn)上,減少數(shù)據(jù)傳輸和云計(jì)算的需求,提供更快的響應(yīng)時(shí)間和更好的隱私保護(hù)。
2 實(shí)時(shí)視頻分析
在需要實(shí)時(shí)視頻分析的場(chǎng)景中,邊緣存儲(chǔ)能夠?qū)⒁曨l數(shù)據(jù)存儲(chǔ)在離攝像頭更近的邊緣設(shè)備上,并進(jìn)行實(shí)時(shí)的分析和處理。這可以減少對(duì)網(wǎng)絡(luò)帶寬的需求,提高響應(yīng)時(shí)間,適用于視頻監(jiān)控、智能交通等領(lǐng)域。
3 邊緣計(jì)算
邊緣存儲(chǔ)與邊緣計(jì)算密切相關(guān)。邊緣計(jì)算是一種將計(jì)算任務(wù)從中心數(shù)據(jù)中心轉(zhuǎn)移到邊緣設(shè)備或節(jié)點(diǎn)上的模式。邊緣存儲(chǔ)為邊緣計(jì)算提供了數(shù)據(jù)存儲(chǔ)和處理的基礎(chǔ),使得邊緣設(shè)備可以更好地滿足實(shí)時(shí)計(jì)算和數(shù)據(jù)處理的需求。
4 移動(dòng)云計(jì)算
邊緣存儲(chǔ)也可以與移動(dòng)云計(jì)算結(jié)合使用。移動(dòng)云計(jì)算是一種將計(jì)算和存儲(chǔ)資源從移動(dòng)設(shè)備轉(zhuǎn)移到云端的方式。邊緣存儲(chǔ)可以將移動(dòng)設(shè)備上產(chǎn)生的數(shù)據(jù)存儲(chǔ)在邊緣節(jié)點(diǎn)上,減輕移動(dòng)設(shè)備的負(fù)擔(dān),同時(shí)提供更快的響應(yīng)時(shí)間和更好的用戶體驗(yàn)。
邊緣存儲(chǔ)的概念及應(yīng)用
1、概念:邊緣計(jì)算的存儲(chǔ)主要指將采集的數(shù)據(jù)直接存儲(chǔ)在邊緣計(jì)算節(jié)點(diǎn),而不是將所有數(shù)據(jù)實(shí)時(shí)上傳到中心云計(jì)算節(jié)點(diǎn)的一種數(shù)據(jù)存儲(chǔ)方式,也稱為邊緣存儲(chǔ),一般這種存儲(chǔ)方式采用分布式存儲(chǔ)。
2、特點(diǎn):一是這種存儲(chǔ)的讀寫(xiě)速度快,時(shí)延低,時(shí)延一般不超過(guò)5ms,有利于提升響應(yīng)速度,滿足特殊場(chǎng)景的需要。二是通過(guò)預(yù)處理,能夠減少冗余數(shù)據(jù)在網(wǎng)絡(luò)上的傳送,能夠有效地降低傳輸網(wǎng)絡(luò)帶寬,提高資源使用效率、效益;三是分布式存儲(chǔ),可以實(shí)現(xiàn)網(wǎng)絡(luò)、網(wǎng)絡(luò)節(jié)點(diǎn)間的隔離,減少網(wǎng)絡(luò)間的影響,增強(qiáng)網(wǎng)絡(luò)容錯(cuò)性,降低集中存儲(chǔ)故障時(shí)的影響;四是實(shí)際上是邊緣存儲(chǔ)和集中存儲(chǔ)相結(jié)合,形成部分?jǐn)?shù)據(jù)互為備份,降低數(shù)據(jù)丟失的風(fēng)險(xiǎn),提高系統(tǒng)的可靠性;五是降低了數(shù)據(jù)傳輸過(guò)程中的質(zhì)量受損、傳送安全等問(wèn)題的發(fā)生,數(shù)據(jù)存儲(chǔ)的安全性、隱私保護(hù)更高。
3、數(shù)據(jù)類型:大家都知道,按照數(shù)據(jù)格式來(lái)分,數(shù)據(jù)類型分為結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。其中結(jié)構(gòu)化數(shù)據(jù)是二維形式的數(shù)據(jù),其排列和存儲(chǔ)是非常有規(guī)律的,常使用關(guān)系數(shù)據(jù)庫(kù)表示和存儲(chǔ),常用的關(guān)系數(shù)據(jù)庫(kù)有Oracle、SQL Server MySQL、MariaDB等;半結(jié)構(gòu)化數(shù)據(jù)是有基本固定結(jié)構(gòu)模式的數(shù)據(jù),一般通過(guò)靈活的鍵值調(diào)整獲取相應(yīng)的信息,其數(shù)據(jù)的格式不固定,常見(jiàn)的半結(jié)構(gòu)化數(shù)據(jù)主要有日志文件、XML文檔、JSON文檔、電子郵件等;非結(jié)構(gòu)化數(shù)據(jù)是沒(méi)有固定結(jié)構(gòu)的數(shù)據(jù),是占比最高、應(yīng)用最廣的數(shù)據(jù)類型,占比接近80%,常見(jiàn)的非結(jié)構(gòu)化數(shù)據(jù)有視頻、語(yǔ)音、圖像、報(bào)表、圖片、文本、HTML等等。
當(dāng)然,如果按照使用的頻次分,還可以將數(shù)據(jù)分為熱數(shù)據(jù)、溫?cái)?shù)據(jù)和冷數(shù)據(jù),一般它們占總數(shù)巨量的比例分別為:5%、15%、80%,從這些占比數(shù)據(jù)來(lái)看,完全看出數(shù)據(jù)的“熱度”。這種情況,為了提高系統(tǒng)運(yùn)行效率、效益和安全穩(wěn)定,我們必須采取不同的存儲(chǔ)方式和訪問(wèn)策略,實(shí)行分層管理:熱數(shù)據(jù)一般放在內(nèi)存或基于3D XPoint的持久化內(nèi)存中,溫?cái)?shù)據(jù)放在基于PCIe NVMe或SATA接口的SSD中;而冷數(shù)據(jù)則被放在低轉(zhuǎn)速的HDD硬盤中。
4、存儲(chǔ)的類型:邊緣存儲(chǔ)的分類方式比較多,不同的存儲(chǔ)類型適合不同的場(chǎng)景。按存儲(chǔ)介質(zhì)分,分為機(jī)械硬盤、固態(tài)硬盤;按數(shù)據(jù)熱度需要分,分為持久性數(shù)據(jù)存儲(chǔ)、非持久性數(shù)據(jù)存儲(chǔ);按產(chǎn)品定義分,分為本地存儲(chǔ)、網(wǎng)絡(luò)存儲(chǔ)、存儲(chǔ)局域網(wǎng);按應(yīng)用場(chǎng)景分,分為文件存儲(chǔ)、塊存儲(chǔ)、對(duì)象存儲(chǔ);按照分布模式分為集中式存儲(chǔ)和分布式存儲(chǔ)。
數(shù)據(jù)的計(jì)算和存儲(chǔ)架構(gòu)中,一般設(shè)置四層存儲(chǔ):第一層存儲(chǔ),內(nèi)存,作為緩存,時(shí)延100ns;第二層存儲(chǔ),PCIe SSD,作為緩存或者最終存儲(chǔ),時(shí)延10μs~300μs;第三層存儲(chǔ),本地存儲(chǔ),作為第四層存儲(chǔ)的補(bǔ)充或替代,時(shí)延5ms~10ms;第四層存儲(chǔ),存儲(chǔ)局域網(wǎng),時(shí)延5ms~10ms。
其中分布式存儲(chǔ)模式由于其具備性價(jià)比高、容錯(cuò)性好、可擴(kuò)展性強(qiáng)、易于管理、完全無(wú)中心架構(gòu)等優(yōu)點(diǎn),在業(yè)界被應(yīng)用的比較廣泛。它包括分布式文件系統(tǒng)、分布式塊存儲(chǔ)、分布式對(duì)象存儲(chǔ)、分布式數(shù)據(jù)庫(kù)和分布式緩存等組成。
5、應(yīng)用舉例:這種邊緣存儲(chǔ)適合的場(chǎng)景比較多,被廣泛應(yīng)用到很多領(lǐng)域,主要發(fā)揮其低時(shí)延、網(wǎng)絡(luò)帶寬需求低、可靠性高、可擴(kuò)展性強(qiáng)等等優(yōu)勢(shì),滿足場(chǎng)景需求,下面我們簡(jiǎn)單介紹幾個(gè)應(yīng)用場(chǎng)景領(lǐng)域。
一是視頻傳送領(lǐng)域,尤其安防監(jiān)控領(lǐng)域。由于其采集的數(shù)據(jù)多為大流量視頻,如果將所有數(shù)據(jù)都上傳中心存儲(chǔ),會(huì)浪費(fèi)大量網(wǎng)絡(luò)帶寬資源,而且有些數(shù)據(jù)都是重復(fù)數(shù)據(jù),而且對(duì)存儲(chǔ)的時(shí)間也要求不長(zhǎng),沒(méi)必要都上傳,再就是異常情況需要快速判斷處理,因此急需要在邊緣存儲(chǔ)和計(jì)算,僅需要將少量處理后的數(shù)據(jù)上傳即可。
二是汽車等無(wú)人駕駛領(lǐng)域。這種場(chǎng)景對(duì)實(shí)時(shí)性要求比較高,如果都將數(shù)據(jù)上傳處理,往往來(lái)不及,因此需要在邊緣(例如在車載單元或者路側(cè)單元)存儲(chǔ)和處理數(shù)據(jù),才能滿足場(chǎng)景需要,僅上傳部分處理后的數(shù)據(jù)即可。
三是工業(yè)生產(chǎn)場(chǎng)景。這種場(chǎng)景對(duì)數(shù)據(jù)的實(shí)時(shí)性要求也比較高,再加上從智能工廠機(jī)器設(shè)備上采集的原始數(shù)據(jù)頻率高、規(guī)模大、干擾數(shù)據(jù)多,若果將這些數(shù)據(jù)都上傳云中心,既浪費(fèi)資源,又會(huì)形成訪問(wèn)瓶頸,造成成本上升,關(guān)鍵時(shí)延不能滿足要求,因此需要將數(shù)據(jù)在設(shè)備邊緣側(cè)存儲(chǔ)和處理,才能滿足智能制造的要求。
四是智慧家居的場(chǎng)景。牽扯到個(gè)人隱私和家庭安防,很多人不愿意將數(shù)據(jù)存儲(chǔ)到公有云上,更希望將私人數(shù)據(jù)(尤其安防數(shù)據(jù)、隱私數(shù)據(jù))放在家庭側(cè)的邊緣存儲(chǔ)設(shè)備上,這樣才能更好的推動(dòng)智慧家居應(yīng)用的落地推廣。
邊緣存儲(chǔ)的應(yīng)用場(chǎng)景比較多,我們這里僅僅列了以上幾個(gè)典型的案例場(chǎng)景。當(dāng)然,對(duì)于數(shù)據(jù)量不大、時(shí)延要求不高等的場(chǎng)景,我們既可以選擇邊緣存儲(chǔ)、邊緣計(jì)算,也可以靠慮集中存儲(chǔ)到云中心、集中處理。
邊緣存儲(chǔ)的優(yōu)勢(shì)
邊緣存儲(chǔ)具有許多優(yōu)勢(shì),使得它成為處理大規(guī)模數(shù)據(jù)和實(shí)時(shí)應(yīng)用場(chǎng)景的理想選擇:
1 低延遲和快速響應(yīng)
邊緣存儲(chǔ)將計(jì)算資源放置在離用戶更近的地方,減少了數(shù)據(jù)傳輸?shù)木嚯x,從而實(shí)現(xiàn)更低的延遲和更快的響應(yīng)時(shí)間。這對(duì)于實(shí)時(shí)應(yīng)用程序(如視頻流、智能交通系統(tǒng))和對(duì)低延遲要求較高的任務(wù)(如遠(yuǎn)程控制和監(jiān)測(cè))非常重要。
2 減少網(wǎng)絡(luò)負(fù)載
通過(guò)在邊緣設(shè)備或節(jié)點(diǎn)上進(jìn)行數(shù)據(jù)存儲(chǔ)和處理,邊緣存儲(chǔ)可以減少數(shù)據(jù)傳輸?shù)街行臄?shù)據(jù)中心的需求,從而減輕了網(wǎng)絡(luò)帶寬壓力。這對(duì)于大規(guī)模物聯(lián)網(wǎng)應(yīng)用和分布式傳感器網(wǎng)絡(luò)非常有益。
3 數(shù)據(jù)隱私保護(hù)
邊緣存儲(chǔ)可以在數(shù)據(jù)生成源附近進(jìn)行數(shù)據(jù)存儲(chǔ)和處理,避免了將敏感數(shù)據(jù)傳輸?shù)皆苹蛑行臄?shù)據(jù)中心的風(fēng)險(xiǎn)。這種近場(chǎng)存儲(chǔ)可以提供更好的數(shù)據(jù)隱私保護(hù),并遵守相關(guān)的法規(guī)和隱私政策。
4 離線操作和容錯(cuò)性
邊緣存儲(chǔ)使得設(shè)備可以在離線狀態(tài)下進(jìn)行局部的數(shù)據(jù)存儲(chǔ)和處理,當(dāng)網(wǎng)絡(luò)連接恢復(fù)時(shí)再將數(shù)據(jù)同步到中心數(shù)據(jù)中心。這提供了更好的容錯(cuò)性和可靠性,即使在網(wǎng)絡(luò)中斷或不穩(wěn)定的情況下也能繼續(xù)工作。
1. 網(wǎng)絡(luò)帶寬和資源優(yōu)化
對(duì)于以云為核心的存儲(chǔ)架構(gòu),所有的數(shù)據(jù)都需要傳輸?shù)皆茢?shù)據(jù)中心,帶寬的需求是極大的。同時(shí),并不是所有數(shù)據(jù)都需要長(zhǎng)期保存。例如,對(duì)于電子監(jiān)控的視頻數(shù)據(jù)僅保存數(shù)天、數(shù)周或數(shù)月。而對(duì)于智能工廠中機(jī)器采集的原始數(shù)據(jù),特點(diǎn)是數(shù)據(jù)頻率高、規(guī)模大,但有價(jià)值的數(shù)據(jù)相對(duì)較少。如果將這些數(shù)據(jù)存儲(chǔ)在云上,會(huì)帶來(lái)網(wǎng)絡(luò)帶寬資源浪費(fèi)、訪問(wèn)瓶頸以及成本上升等一系列問(wèn)題。
在某些情況下,由于帶寬限制或不一致,數(shù)據(jù)傳輸質(zhì)量會(huì)受到影響,出現(xiàn)丟包或超時(shí)等問(wèn)題。針對(duì)這種情況,可以利用邊緣存儲(chǔ)來(lái)緩存數(shù)據(jù),直到網(wǎng)絡(luò)狀況改善后再回傳信息。此外,還可以利用邊緣存儲(chǔ)動(dòng)態(tài)優(yōu)化帶寬和傳輸內(nèi)容質(zhì)量。例如,在邊緣錄制高質(zhì)量的視頻,而在遠(yuǎn)程查看標(biāo)準(zhǔn)質(zhì)量的視頻,甚至可以在網(wǎng)絡(luò)帶寬不受限制時(shí)將錄制的高質(zhì)量視頻同步到后端系統(tǒng)或云存儲(chǔ)中。
通過(guò)邊緣存儲(chǔ)和云存儲(chǔ)的有機(jī)結(jié)合,可以將一部分?jǐn)?shù)據(jù)的存儲(chǔ)需求從中心轉(zhuǎn)移到邊緣,更加合理有效地利用寶貴的網(wǎng)絡(luò)帶寬,并根據(jù)網(wǎng)絡(luò)帶寬的情況靈活優(yōu)化資源的傳輸,使得現(xiàn)有網(wǎng)絡(luò)可以支撐更多邊緣計(jì)算節(jié)點(diǎn)的接入并降低總體擁有成本(TCO)。
2. 分布式網(wǎng)絡(luò)分發(fā)
由于邊緣節(jié)點(diǎn)分布式的特點(diǎn),可以利用邊緣存儲(chǔ)建立分發(fā)網(wǎng)絡(luò),分發(fā)加速的效果將好于當(dāng)前站點(diǎn)有限的CDN網(wǎng)絡(luò)。例如分享一部分存儲(chǔ)用于分發(fā),那么觀看的熱門電視劇就可以被鄰居直接下載使用,極大地節(jié)省網(wǎng)絡(luò)帶寬;另一方面,也可以通過(guò)分享存儲(chǔ)資源獲取部分收益。
當(dāng)邊緣存儲(chǔ)進(jìn)入實(shí)用階段時(shí),去中心化的應(yīng)用也更容易建立?;诘赜虻纳鐓^(qū)將可以不通過(guò)中心服務(wù)器或服務(wù)商進(jìn)行交互,也更容易建立基于社區(qū)的私有網(wǎng)絡(luò)。
同樣,由于基于邊緣存儲(chǔ)的點(diǎn)對(duì)點(diǎn)網(wǎng)絡(luò)的建立,應(yīng)用或服務(wù)商之間的數(shù)據(jù)共享變得更加容易和便捷。在理想情況下,服務(wù)商或應(yīng)用提供商完全可以不擁有數(shù)據(jù),而數(shù)據(jù)本身屬于數(shù)據(jù)的生產(chǎn)者。這樣一來(lái),數(shù)據(jù)的擁有者就完全可以把這部分?jǐn)?shù)據(jù)分享給不同的應(yīng)用或服務(wù),用于產(chǎn)生超額價(jià)值。例如,遠(yuǎn)程醫(yī)療可以讓病人把自己的檢查結(jié)果存儲(chǔ)在本地,而病人可以支配自己的檢查報(bào)告,用于提供給不同的醫(yī)生或醫(yī)院進(jìn)行診斷。同時(shí),如果病人愿意,也可以匿名地分享給研究機(jī)構(gòu)作為科研數(shù)據(jù)。
3. 可靠性更強(qiáng)
當(dāng)數(shù)據(jù)存儲(chǔ)和處理完全是中心化的時(shí)候,任何的網(wǎng)絡(luò)問(wèn)題或數(shù)據(jù)中心本身的問(wèn)題都會(huì)導(dǎo)致服務(wù)中斷,影響巨大。當(dāng)邊緣計(jì)算節(jié)點(diǎn)具備一定的處理能力,且數(shù)據(jù)存儲(chǔ)在端或邊緣之后,對(duì)網(wǎng)絡(luò)的要求大大降低,一部分的網(wǎng)絡(luò)中斷只會(huì)影響小部分功能,因?yàn)楹芏嗵幚磉\(yùn)算同樣可以在本地進(jìn)行。同時(shí),當(dāng)邊緣的點(diǎn)對(duì)點(diǎn)網(wǎng)絡(luò)建立起來(lái)后,網(wǎng)絡(luò)的冗余性會(huì)進(jìn)一步解決部分網(wǎng)絡(luò)中斷的問(wèn)題,容錯(cuò)性得到極大的加強(qiáng)。
而對(duì)于需要具備高可信度的企業(yè)級(jí)應(yīng)用(例如銀行、政府和城市監(jiān)控系統(tǒng)),利用邊緣存儲(chǔ)可以降低數(shù)據(jù)丟失的風(fēng)險(xiǎn)。如果主網(wǎng)絡(luò)中的存儲(chǔ)發(fā)生問(wèn)題,邊緣存儲(chǔ)可以保留數(shù)據(jù)的備用副本,并在需要的時(shí)候同步到后臺(tái),從而提高整個(gè)系統(tǒng)的可靠性。
為了進(jìn)一步提高邊緣存儲(chǔ)的可靠性,邊緣存儲(chǔ)介質(zhì)的選型也非常重要。由于邊緣節(jié)點(diǎn)需要長(zhǎng)期全天候運(yùn)行,工作環(huán)境多樣,傳統(tǒng)的針對(duì)消費(fèi)內(nèi)的存儲(chǔ)介質(zhì)已經(jīng)不能滿足邊緣存儲(chǔ)高可靠性的要求。典型的如IP攝像頭或NVR中使用的消費(fèi)級(jí)MicroSD,這種卡的固件并未針對(duì)全天候錄制需求進(jìn)行優(yōu)化,因此會(huì)丟幀,在許多情況下,幀捕捉率下降20%~30%后,會(huì)導(dǎo)致大量數(shù)據(jù)丟失。因此需要選擇工業(yè)級(jí)的專用存儲(chǔ)卡,提高平均無(wú)故障時(shí)間(MTTF)、降低年度故障率(AFR),并提供可監(jiān)控運(yùn)行狀況的智能工具,減少系統(tǒng)停機(jī)時(shí)間,降低維護(hù)成本。
4.安全與隱私兼顧
目前,雖然云計(jì)算極大地方便了我們的生活,能夠讓我們隨時(shí)隨地訪問(wèn)我們的私人數(shù)據(jù),但也出現(xiàn)了一些關(guān)于數(shù)據(jù)安全和隱私的隱憂。這也是家庭安防、智能家居發(fā)展緩慢的原因之一。邊緣存儲(chǔ)結(jié)合點(diǎn)對(duì)點(diǎn)網(wǎng)絡(luò)技術(shù)可以幫助解決這個(gè)問(wèn)題。在新的解決方案里,用戶不需要把數(shù)據(jù)存儲(chǔ)到網(wǎng)上,而是保存在家庭的NAS中,所有數(shù)據(jù)都是可以加密存儲(chǔ)的。通過(guò)P2P網(wǎng)絡(luò),也可以建立端設(shè)備和家庭數(shù)據(jù)服務(wù)器的點(diǎn)到點(diǎn)連接,讓數(shù)據(jù)私密傳送,同時(shí)兼顧安全與隱私。
除此之外,邊緣存儲(chǔ)還有一個(gè)優(yōu)勢(shì)是與邊緣計(jì)算相結(jié)合??紤]家庭安防的情況,用戶可以對(duì)家庭的攝像報(bào)警系統(tǒng)進(jìn)行配置,設(shè)置報(bào)警的條件,多數(shù)情況下采集的視頻數(shù)據(jù)是不需要上傳的,只有在出現(xiàn)異常情況時(shí)才需要占用網(wǎng)絡(luò)帶寬和外部資源;另一方面,邊緣存儲(chǔ)和網(wǎng)絡(luò)傳輸可以使用不同格式的視頻流,例如本地存儲(chǔ)高清晰、高解析度的視頻流,而在網(wǎng)絡(luò)上傳輸?shù)目梢允堑痛a率、低清晰度、占用有限帶寬的數(shù)據(jù),既可以解決實(shí)時(shí)監(jiān)控的問(wèn)題,如果有需要也可以進(jìn)一步的分析。
計(jì)算存儲(chǔ)如何緩解邊緣存儲(chǔ)工作
現(xiàn)在越來(lái)越多的公司轉(zhuǎn)向邊緣計(jì)算來(lái)部署數(shù)據(jù)密集型工作負(fù)載,其中包括AI到預(yù)測(cè)分析再到物聯(lián)網(wǎng)。邊緣計(jì)算使IT資源更靠近數(shù)據(jù)生成的地方,而不是將原始數(shù)據(jù)傳輸?shù)郊惺綌?shù)據(jù)中心。
不過(guò),邊緣模型也有其局限性。IT團(tuán)隊(duì)必須找到克服常見(jiàn)障礙的方法,以提供支持其工作負(fù)載所需的計(jì)算和存儲(chǔ)資源。計(jì)算存儲(chǔ)是最有前景的方法之一,它可以將處理功能直接整合到存儲(chǔ)系統(tǒng)中,以消除I / O瓶頸并減少應(yīng)用程序延遲。這使得在邊緣環(huán)境中處理大量數(shù)據(jù)成為可能。
邊緣計(jì)算
邊緣計(jì)算是一種分布式架構(gòu),可將數(shù)據(jù)中心資源移至網(wǎng)絡(luò)外圍進(jìn)行處理和存儲(chǔ)。在很多情況下,這意味著將這些資源放在分支機(jī)構(gòu)或衛(wèi)星辦公室中。通過(guò)將數(shù)據(jù)和應(yīng)用程序緊密靠近,邊緣計(jì)算可以減少網(wǎng)絡(luò)流量、簡(jiǎn)化計(jì)算操作并提高關(guān)鍵任務(wù)工作負(fù)載的性能。這消除了集中式數(shù)據(jù)中心帶來(lái)的很多帶寬和吞吐量問(wèn)題。
盡管有這些好處,邊緣計(jì)算也帶來(lái)挑戰(zhàn),例如管理安全性、協(xié)調(diào)分布式系統(tǒng)以及在數(shù)據(jù)中心和邊緣環(huán)境間映射數(shù)據(jù)。最大的問(wèn)題之一是克服計(jì)算和存儲(chǔ)資源本身的局限性,例如空間和資源需求。這些限制可能使企業(yè)難以最大化數(shù)據(jù)密集型工作負(fù)載的性能,尤其是當(dāng)它們變得更加復(fù)雜且數(shù)據(jù)量持續(xù)增長(zhǎng)時(shí)。
就其本質(zhì)而言,邊緣環(huán)境通常受到可用空間的限制,因此很難托管設(shè)備以支持當(dāng)今現(xiàn)代工作負(fù)載??捎每臻g可能僅限于辦公室的壁櫥或一角-在大小、電源和散熱方面受到限制-與功能完善的數(shù)據(jù)中心相比,提供的空間很少。
邊緣環(huán)境很少配備有可填充數(shù)據(jù)中心的高性能計(jì)算資源類型。盡管可以將最先進(jìn)的服務(wù)器推向邊緣,但I(xiàn)T預(yù)算通常沒(méi)有這么多,特別是當(dāng)企業(yè)仍必須在其數(shù)據(jù)中心中支持關(guān)鍵任務(wù)工作負(fù)載時(shí)。
由于這些限制,IT團(tuán)隊(duì)很難在邊緣環(huán)境中獲得所需的工作負(fù)載性能。但這并沒(méi)有阻止他們嘗試其他方法。有些團(tuán)隊(duì)部署全閃存存儲(chǔ)陣列、NVMe、GPU加速器和其他先進(jìn)技術(shù)。盡管這些措施有所幫助,但不足以有效地支持現(xiàn)在很多更強(qiáng)大的工作負(fù)載所需的性能。
造成這種情況的主要原因是,傳統(tǒng)的計(jì)算/存儲(chǔ)架構(gòu)固有地受到存儲(chǔ)設(shè)備和計(jì)算資源之間的I / O端口帶寬的限制。在處理數(shù)據(jù)時(shí),必須通過(guò)這些鏈接,而這些鏈接的速度僅與支持它們的技術(shù)一樣快。通過(guò)擴(kuò)展,在存儲(chǔ)和內(nèi)存之間移動(dòng)的數(shù)據(jù)越多,產(chǎn)生的瓶頸就越大。
這正是計(jì)算存儲(chǔ)派上用場(chǎng)地方,它通過(guò)將計(jì)算和存儲(chǔ)資源緊密結(jié)合在一起以最大程度地減少數(shù)據(jù)移動(dòng),從而消除了瓶頸,降低了延遲并加快了應(yīng)用程序的速度。
計(jì)算存儲(chǔ)助你一臂之力
僅僅是將數(shù)據(jù)從一個(gè)系統(tǒng)移至另一個(gè)系統(tǒng),傳統(tǒng)的計(jì)算/存儲(chǔ)架構(gòu)就需要很多時(shí)間和資源,從而導(dǎo)致更高的延遲和更差的應(yīng)用程序性能。而計(jì)算存儲(chǔ)是采用原位方法進(jìn)行數(shù)據(jù)處理,僅將最少的操作從計(jì)算資源移到存儲(chǔ)系統(tǒng)內(nèi)部。在這里,由于數(shù)據(jù)移動(dòng)少,而且由于廣泛使用并行處理,企業(yè)可更快更有效地處理數(shù)據(jù)。
存儲(chǔ)系統(tǒng)代表計(jì)算系統(tǒng)預(yù)處理數(shù)據(jù),以便最終僅將一部分?jǐn)?shù)據(jù)發(fā)送到內(nèi)存。通過(guò)最大程度地減少數(shù)據(jù)移動(dòng),你可以實(shí)現(xiàn)較低的應(yīng)用程序延遲,并減少計(jì)算資源的負(fù)載,從而將其釋放給其他操作。
對(duì)于在邊緣運(yùn)行的數(shù)據(jù)密集型工作負(fù)載,計(jì)算存儲(chǔ)帶來(lái)巨大優(yōu)勢(shì),尤其是那些無(wú)法承受延遲的工作負(fù)載。例如,企業(yè)可能會(huì)部署AI應(yīng)用程序,以持續(xù)分析數(shù)據(jù)流到其存儲(chǔ)系統(tǒng)中。有時(shí),每小時(shí)可能會(huì)有多達(dá)幾個(gè)TB。
該應(yīng)用程序的目標(biāo)是提供自動(dòng)生成的報(bào)告,其中包括對(duì)當(dāng)前操作的近實(shí)時(shí)見(jiàn)解。毫不奇怪的是,報(bào)告中的數(shù)據(jù)僅代表原始數(shù)據(jù)總量的一小部分。
在傳統(tǒng)的計(jì)算存儲(chǔ)模型中,當(dāng)新數(shù)據(jù)可用時(shí),數(shù)據(jù)必須不斷地從存儲(chǔ)移動(dòng)到內(nèi)存,這給I / O端口和計(jì)算資源帶來(lái)持續(xù)壓力。在這種情況下,報(bào)告很容易延遲或包含過(guò)時(shí)的數(shù)據(jù)。但是,如果在原地執(zhí)行分析,則計(jì)算資源僅需要匯總的總數(shù)即可生成報(bào)告,從而可以更快更高效地進(jìn)行操作。這還將對(duì)網(wǎng)絡(luò)帶寬和計(jì)算資源的影響降到最低,從而將它們釋放給其他負(fù)載。
計(jì)算存儲(chǔ)的美麗新世界
現(xiàn)在有多家供應(yīng)商提供計(jì)算存儲(chǔ)系統(tǒng),包括三星、NGD Systems、ScaleFlux和Eideticom。然而,這仍然是新興的行業(yè),并且仍然是由供應(yīng)商來(lái)決定如何更好地實(shí)現(xiàn)計(jì)算存儲(chǔ),這可能會(huì)使系統(tǒng)集成有些困難。
為了提升計(jì)算存儲(chǔ)的部署率,存儲(chǔ)網(wǎng)絡(luò)行業(yè)協(xié)會(huì)正在創(chuàng)建標(biāo)準(zhǔn)來(lái)解決計(jì)算設(shè)備互操作性,并定義接口標(biāo)準(zhǔn)用于部署、配置、管理和保護(hù)設(shè)備。
計(jì)算存儲(chǔ)可以使邊緣環(huán)境中運(yùn)行的任何數(shù)據(jù)密集型、延遲敏感型工作負(fù)載受益。邊緣計(jì)算的大部分焦點(diǎn)都集中在IoT數(shù)據(jù),但對(duì)于計(jì)算存儲(chǔ),數(shù)據(jù)源并不是主要關(guān)注點(diǎn)。首要考慮的是數(shù)據(jù)量、更新頻率以及你需要處理的數(shù)據(jù)。在評(píng)估計(jì)算存儲(chǔ)的價(jià)值時(shí),企業(yè)必須考慮不同用例,以確定是否有必要投資于新存儲(chǔ)工具以提升性能。
如何選擇合適的邊緣儲(chǔ)存解決方案?
就個(gè)人來(lái)說(shuō),我還是更喜歡大容量機(jī)械硬盤和1T左右的移動(dòng)硬盤外加64G起步的USB3.0以上的u盤的組合,大容量機(jī)械盤在臺(tái)式電腦上,硬動(dòng)硬盤放包里,u盤隨鑰匙隨身帶,應(yīng)該能滿足日常需求了,網(wǎng)盤那些被各種盤關(guān)掉之后有一些陰影,而且手機(jī)本身有otg功能,轉(zhuǎn)接線也同硬盤一起放包里,日常真要著急看也能滿足需求,網(wǎng)盤可以儲(chǔ)存一些照片方便隨時(shí)查找,文件總感覺(jué)不方便
邊緣存儲(chǔ)問(wèn)題解決分析:AI賦能邊緣趨勢(shì)勢(shì)不可擋
在今年安博會(huì)期間包括??低?、大華股份、科達(dá)、英特爾等都有提到邊緣計(jì)算的應(yīng)用并推出了相關(guān)產(chǎn)品和方案展示,在講述邊緣計(jì)算應(yīng)用趨勢(shì)的過(guò)程中,大家都有引用一組IDC的調(diào)研數(shù)據(jù):到2020年全球會(huì)有超過(guò)500億的智能設(shè)備,超過(guò)2121個(gè)傳感器。到2018年將會(huì)有50%的物聯(lián)網(wǎng)的網(wǎng)絡(luò)會(huì)面臨帶寬的問(wèn)題,40%的物聯(lián)網(wǎng)數(shù)據(jù)需要在邊緣進(jìn)行存儲(chǔ)處理和分析。
處于物聯(lián)網(wǎng)時(shí)代中,隨著時(shí)間的推移,這類數(shù)據(jù)還將持續(xù)增長(zhǎng),未來(lái)會(huì)有越來(lái)越多的設(shè)備和傳感器誕生。如此眾多的設(shè)備和傳感器將會(huì)產(chǎn)生大量的數(shù)據(jù),如果把這些數(shù)據(jù)傳到后端,需要足夠的網(wǎng)絡(luò)帶寬的支撐,雖然在通訊技術(shù)方面,我們正在從4G走向5G,但是網(wǎng)絡(luò)帶寬的增長(zhǎng)速度會(huì)越來(lái)越趕不上數(shù)據(jù)增長(zhǎng)的速度。
當(dāng)下深度學(xué)習(xí)的很多處理運(yùn)算都發(fā)生在后端數(shù)據(jù)中心或云端進(jìn)行,因?yàn)橹挥性谶@樣的環(huán)境里才能提供計(jì)算和存儲(chǔ)的支撐。但隨著網(wǎng)絡(luò)帶寬、計(jì)算延遲以及數(shù)據(jù)安全等方面的考慮,越來(lái)越多的廠商開(kāi)始意識(shí)到未來(lái)人工智能系統(tǒng)一定是一個(gè)端到端的系統(tǒng),會(huì)有足夠多的人工智能的應(yīng)用被推送到前端,在前端去處理。
將AI 賦能邊緣是趨勢(shì)
在過(guò)去幾年里,前端攝像頭進(jìn)行數(shù)據(jù)采集,將數(shù)據(jù)傳輸?shù)胶蠖朔?wù)器或NVR或云端作存儲(chǔ)以及智能分析,這是行業(yè)的慣性做法,但當(dāng)前,隨著數(shù)據(jù)量的迅猛遞增,以及網(wǎng)絡(luò)傳輸帶寬所帶來(lái)的壓力和成本問(wèn)題,讓大家開(kāi)始尋找新的解決方案,邊緣計(jì)算和邊緣存儲(chǔ)的應(yīng)用由此誕生。
隨著安防人工智能應(yīng)用的逐漸深入,將AI 賦能到前端也正成為安防這個(gè)產(chǎn)業(yè)的發(fā)展趨勢(shì),當(dāng)然,邊緣計(jì)算是一方面,監(jiān)控領(lǐng)域邊緣存儲(chǔ)也是一個(gè)極其重要的環(huán)節(jié)。
在本屆安博會(huì)上,我們可以看到包括西部數(shù)據(jù)、美光在內(nèi)的存儲(chǔ)廠商圍繞著邊緣存儲(chǔ)也有做一些主題演講和產(chǎn)品展示。
西部數(shù)據(jù)集團(tuán)嵌入集成方案產(chǎn)品市場(chǎng)總監(jiān)張丹即認(rèn)為:“未來(lái)數(shù)據(jù)肯定會(huì)分流處理,這是不可避免的趨勢(shì)。在生成的海量數(shù)據(jù)中,有的數(shù)據(jù)是必須被存儲(chǔ)的,被存儲(chǔ)到整個(gè)數(shù)據(jù)鏈的不同節(jié)點(diǎn)。有的數(shù)據(jù)需要被實(shí)時(shí)計(jì)算,還有的需要分時(shí)計(jì)算、分步計(jì)算。所以在每一個(gè)應(yīng)用領(lǐng)域、每一個(gè)數(shù)據(jù)節(jié)點(diǎn),什么樣的數(shù)據(jù)被需求,什么樣的存儲(chǔ)被應(yīng)用,作為存儲(chǔ)產(chǎn)品和方案提供商,這是需要做深入研究探索的問(wèn)題,也需要和客戶做持續(xù)的應(yīng)用層面的溝通和探討?!?/span>
美光科技嵌入式產(chǎn)品事業(yè)部副總裁 Jeff Bader在安博會(huì)期間的邊緣存儲(chǔ)解決方案發(fā)布會(huì)上對(duì)外表示:“邊緣存儲(chǔ)方案可通過(guò)提高視頻質(zhì)量和增強(qiáng)網(wǎng)絡(luò)可靠性,為客戶解決帶寬壓力系統(tǒng)部署的成本問(wèn)題將關(guān)鍵的數(shù)據(jù)存儲(chǔ)在前端做智能分析運(yùn)算,為后端節(jié)省存儲(chǔ)和運(yùn)算空間,去做更細(xì)致更高效的深度智能視頻分析。”
邊緣存儲(chǔ)的應(yīng)用優(yōu)勢(shì)
存儲(chǔ)環(huán)節(jié)對(duì)監(jiān)控系統(tǒng)的智能化程度有著直接的影響力,尤其在當(dāng)前深度學(xué)習(xí)環(huán)境下對(duì)數(shù)據(jù)的實(shí)時(shí)分析要求的提高,更加強(qiáng)調(diào)數(shù)據(jù)高清傳輸、安全存儲(chǔ)的重要性。那么,邊緣存儲(chǔ)的在智能監(jiān)控中有哪些應(yīng)用優(yōu)勢(shì)呢?
據(jù)廠家介紹,目前市場(chǎng)上大部分應(yīng)用在電子終端的 Micro SD卡的設(shè)計(jì)主要針對(duì)消費(fèi)類應(yīng)用,如數(shù)碼相機(jī)和行車記錄儀,并不適合常年在相對(duì)更加惡劣的環(huán)境下進(jìn)行全天候的連續(xù)錄制。
安博會(huì)上西部數(shù)據(jù)、美光等針對(duì)視頻監(jiān)控邊緣存儲(chǔ)展示了其相關(guān)的工業(yè)級(jí)micro SD存儲(chǔ)卡產(chǎn)品,其容量從32GB~64GB不等。在性能表現(xiàn)上,也擁有獨(dú)特優(yōu)勢(shì),主要表現(xiàn)在下面幾個(gè)方面:
●小體積,大容量,滿足靈活安裝部署需求,保障設(shè)備7*24小時(shí)不間斷運(yùn)行;
●更高的環(huán)境適應(yīng)能力,可在更寬泛的溫度和環(huán)境條件下,提供三年以上的高品質(zhì)全天候連續(xù)視頻錄制;
●存儲(chǔ)卡具備自我檢測(cè)技術(shù),能提供卡片的使用情況和預(yù)計(jì)剩余使用壽命信息;
●為連續(xù)視頻錄制設(shè)計(jì)了專用固件,可最大程度降低丟幀和視頻丟失幾率。
如何解決邊緣存儲(chǔ)受限的問(wèn)題?
邊緣存儲(chǔ)并不意味著將所有產(chǎn)出數(shù)據(jù)全部輸送至前端存儲(chǔ),這樣的做法無(wú)疑又會(huì)重蹈后端服務(wù)器或云端集中數(shù)據(jù)存儲(chǔ)計(jì)算的困境,那么針對(duì)前端計(jì)算能力和存儲(chǔ)能力有限的情況,該如何處理呢?
針對(duì)這個(gè)問(wèn)題,英特爾物聯(lián)網(wǎng)首席技術(shù)官?gòu)堄钐岬骄W(wǎng)絡(luò)壓縮的做法,這里面涉及到三個(gè)技術(shù)手段:壓縮網(wǎng)絡(luò),實(shí)現(xiàn)更低比特,在不影響最終準(zhǔn)確度的情況下,可以把數(shù)值移動(dòng),降低了對(duì)內(nèi)存和帶寬的壓力,提高運(yùn)行的速度;“剪枝”,剔除特征不明顯、無(wú)效的數(shù)據(jù);量化,把統(tǒng)一類的數(shù)據(jù)相近,降低對(duì)存儲(chǔ)的要求。
另外,業(yè)內(nèi)針對(duì)邊緣計(jì)算和邊緣存儲(chǔ),還有一種邊緣預(yù)處理的做法,即構(gòu)建一種基于邊緣計(jì)算的視頻圖像預(yù)處理技術(shù),通過(guò)對(duì)視頻圖像進(jìn)行預(yù)處理,去除圖像冗余信息,使得部分或全部視頻分析遷移到邊緣處,由此降低對(duì)云中心的計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)帶寬需求。
除此之外,為了減少上傳的視頻數(shù)據(jù),基于邊緣預(yù)處理功能,還可構(gòu)建基于行為感知的視頻監(jiān)控?cái)?shù)據(jù)彈性存儲(chǔ)機(jī)制,根據(jù)行為特征決策功能,實(shí)時(shí)調(diào)整視頻數(shù)據(jù),既減少無(wú)效視頻的存儲(chǔ),降低存儲(chǔ)空間,又最大化存儲(chǔ)“事中”證據(jù)類視頻數(shù)據(jù),增強(qiáng)證據(jù)信息的可信性,提高視頻數(shù)據(jù)的存儲(chǔ)空間利用率。
責(zé)任編輯:David
【免責(zé)聲明】
1、本文內(nèi)容、數(shù)據(jù)、圖表等來(lái)源于網(wǎng)絡(luò)引用或其他公開(kāi)資料,版權(quán)歸屬原作者、原發(fā)表出處。若版權(quán)所有方對(duì)本文的引用持有異議,請(qǐng)聯(lián)系拍明芯城(marketing@iczoom.com),本方將及時(shí)處理。
2、本文的引用僅供讀者交流學(xué)習(xí)使用,不涉及商業(yè)目的。
3、本文內(nèi)容僅代表作者觀點(diǎn),拍明芯城不對(duì)內(nèi)容的準(zhǔn)確性、可靠性或完整性提供明示或暗示的保證。讀者閱讀本文后做出的決定或行為,是基于自主意愿和獨(dú)立判斷做出的,請(qǐng)讀者明確相關(guān)結(jié)果。
4、如需轉(zhuǎn)載本方擁有版權(quán)的文章,請(qǐng)聯(lián)系拍明芯城(marketing@iczoom.com)注明“轉(zhuǎn)載原因”。未經(jīng)允許私自轉(zhuǎn)載拍明芯城將保留追究其法律責(zé)任的權(quán)利。
拍明芯城擁有對(duì)此聲明的最終解釋權(quán)。