大規(guī)模分布式存儲(chǔ)控制系統(tǒng)

來(lái)源: 發(fā)布時(shí)間:2021-07-23

說(shuō)到分布式存儲(chǔ)不得不提單機(jī)數(shù)據(jù)庫(kù)存儲(chǔ)的事務(wù)特性:A(原子性)C(一致性)I(隔離性)D(持久性),而擴(kuò)展到分布式存儲(chǔ)后,受限于分布式C(一致性)A(可用性)P(分區(qū)容忍性)理論,幾乎不可能滿(mǎn)足完整得事務(wù)特性。各種分布式存儲(chǔ)服務(wù)實(shí)現(xiàn)都對(duì)單機(jī)存儲(chǔ)的事務(wù)特性作了權(quán)衡取舍,滿(mǎn)足特定的服務(wù)場(chǎng)景需求。另外分布式存儲(chǔ)系統(tǒng)是基于網(wǎng)絡(luò)互聯(lián)的,所以除了基本得磁盤(pán)訪問(wèn)性能開(kāi)銷(xiāo),還多了網(wǎng)絡(luò)性能開(kāi)銷(xiāo)。通常一般機(jī)械硬盤(pán)得平均尋道時(shí)間為10ms。機(jī)房?jī)?nèi)網(wǎng)得網(wǎng)絡(luò)訪問(wèn)開(kāi)銷(xiāo)一般小于0.5ms,相對(duì)性能損失較小。分布式存儲(chǔ)在應(yīng)用程序中涉及多個(gè)不同的單機(jī)事務(wù)。大規(guī)模分布式存儲(chǔ)控制系統(tǒng)

區(qū)塊鏈本身便是綜合了分布式存儲(chǔ)、非對(duì)稱(chēng)加密并基于共識(shí)算法的技術(shù),基于區(qū)塊鏈技術(shù)的分布式存儲(chǔ)解決方案和BT協(xié)議技術(shù)上相同點(diǎn)為,均對(duì)要存儲(chǔ)的文件進(jìn)行了分片,并把片段存在各個(gè)節(jié)點(diǎn)上。分布式存儲(chǔ)數(shù)據(jù)的處理能力也會(huì)有進(jìn)一步的提升。低延遲:在大城市中,有很多服務(wù)是要求具有實(shí)時(shí)特性的,這就要求響應(yīng)速度能夠盡可能的進(jìn)一步提升。比如醫(yī)療和公共保護(hù)方面,通過(guò)分布式存儲(chǔ),將減少數(shù)據(jù)在網(wǎng)絡(luò)中傳輸?shù)臅r(shí)間,簡(jiǎn)化網(wǎng)絡(luò)結(jié)構(gòu),對(duì)于數(shù)據(jù)的分析、診斷和決策都可以交由邊緣結(jié)點(diǎn)來(lái)進(jìn)行處理,從而提高用戶(hù)體驗(yàn)。大規(guī)模分布式存儲(chǔ)控制系統(tǒng)數(shù)據(jù)一致性這個(gè)單詞在平常開(kāi)發(fā)中,或者各種文章中都能經(jīng)??匆?jiàn)。

分布式存儲(chǔ)高效性:從另一個(gè)方面來(lái)說(shuō),目前大量數(shù)據(jù)是趴窩的,并沒(méi)有完全使用起來(lái)。淘寶也只能少量的規(guī)避法規(guī)的使用你的數(shù)據(jù),達(dá)不到高效。分布式存儲(chǔ)利用數(shù)據(jù)庫(kù)加上區(qū)塊鏈技術(shù),形成了強(qiáng)監(jiān)管,也就自然打開(kāi)了原本不能大肆使用的隱私數(shù)據(jù)。就像以前的地主,農(nóng)民沒(méi)有田地但是必須耕種,這種壟斷式的生產(chǎn)力一旦被打破了,農(nóng)民手里擁有自己田地,可以通過(guò)自己的一畝三分地獲利,整個(gè)生產(chǎn)力就會(huì)形成一個(gè)巨大的爆發(fā)。容災(zāi)與備份:這個(gè)優(yōu)勢(shì)看似和“殺熟”事件沒(méi)有什么太大的關(guān)系,實(shí)際上并不然,因?yàn)檫@是數(shù)據(jù)存儲(chǔ)基礎(chǔ),一旦數(shù)據(jù)發(fā)生宕機(jī)、泄露、丟失,也就沒(méi)有后面的一切了。

由于異常的存在,分布式存儲(chǔ)系統(tǒng)設(shè)計(jì)時(shí)往往會(huì)將數(shù)據(jù)冗余存儲(chǔ)多份,每一份稱(chēng)為一個(gè)副本)。這樣,當(dāng)某一個(gè)節(jié)點(diǎn)出現(xiàn)故障時(shí),可以從其他副本上讀到數(shù)據(jù)??梢赃@么認(rèn)為,副本是分布式存儲(chǔ)系統(tǒng)容錯(cuò)技術(shù)的重要手段。分布式存儲(chǔ)和大數(shù)據(jù)是構(gòu)建在分布式存儲(chǔ)之上的應(yīng)用。移動(dòng)終端的計(jì)算能力和存儲(chǔ)空間有限,而且有在多個(gè)設(shè)備之間共享資源的強(qiáng)烈的需求,這就使得網(wǎng)盤(pán)、相冊(cè)等云存儲(chǔ)應(yīng)用很快流行起來(lái)。然而,萬(wàn)變不離其宗,云存儲(chǔ)的中心還是后端的大規(guī)模分布式存儲(chǔ)系統(tǒng)。大數(shù)據(jù)則更近一步,不僅需要存儲(chǔ)海量數(shù)據(jù),還需要通過(guò)合適的計(jì)算框架或者工具對(duì)這些數(shù)據(jù)進(jìn)行分析,抽取其中有價(jià)值的部分。分布式存儲(chǔ)系統(tǒng)能夠達(dá)到非常高的性能。

而非對(duì)稱(chēng)式分布式存儲(chǔ)系統(tǒng)中,有專(zhuān)門(mén)的一個(gè)或者多個(gè)節(jié)點(diǎn)負(fù)責(zé)管理元數(shù)據(jù),其他節(jié)點(diǎn)需要頻繁與元數(shù)據(jù)節(jié)點(diǎn)通信以獲取新的元數(shù)據(jù)比如目錄列表文件屬性等等,后者典型表示比如HDFS、GFS、BWFS、Stornext等。對(duì)于分布式存儲(chǔ)系統(tǒng),其可以是分布式+對(duì)稱(chēng)式、分布式+非對(duì)稱(chēng)式、共享式+對(duì)稱(chēng)式、共享式+非對(duì)稱(chēng)式,兩兩任意組合。分布式存儲(chǔ)系統(tǒng)按照元數(shù)據(jù)的管理方式,可分為對(duì)稱(chēng)式分布式存儲(chǔ)系統(tǒng)和非對(duì)稱(chēng)式分布式存儲(chǔ)系統(tǒng)。前者每個(gè)節(jié)點(diǎn)的角色均等,共同管理文件元數(shù)據(jù),節(jié)點(diǎn)間通過(guò)高速網(wǎng)絡(luò)進(jìn)行信息同步和互斥鎖等操作,典型表示是Veritas的VCS。分布式存儲(chǔ)用位置服務(wù)器定位存儲(chǔ)信息。大規(guī)模分布式存儲(chǔ)控制系統(tǒng)

分布式存儲(chǔ)系統(tǒng)以提高訪問(wèn)性能。大規(guī)模分布式存儲(chǔ)控制系統(tǒng)

分布式存儲(chǔ)技術(shù)的主要特點(diǎn)有哪些?分布式存儲(chǔ)的優(yōu)勢(shì)有很多,低成本、高性能、隱私安全……目前我們就針對(duì)“殺熟”事件來(lái)探討一下,這項(xiàng)技術(shù)可以如何解決此類(lèi)事件。分布式存儲(chǔ)隱私安全性:在傳統(tǒng)的中心化存儲(chǔ)中,給予存儲(chǔ)服務(wù)的管理員,對(duì)我們的數(shù)據(jù)擁有確定的控制權(quán),那么數(shù)據(jù)的安全性難以保障,可篡改性就造成了“殺熟”現(xiàn)象的出現(xiàn)。而分布式存儲(chǔ)可以管理自己的信息安全以及隱私安全,你可以選擇性授權(quán)此類(lèi)信息給到平臺(tái)。你在分布式網(wǎng)絡(luò)中所產(chǎn)生的每一筆交易都會(huì)被上鏈,且不可篡改,這樣一來(lái),平臺(tái)就沒(méi)辦法根據(jù)用戶(hù)的身份做出價(jià)格調(diào)整,就不會(huì)發(fā)生針對(duì)老用戶(hù)抬高物價(jià)的事件。大規(guī)模分布式存儲(chǔ)控制系統(tǒng)