來(lái)自IDC的報(bào)告顯示，2011年，1800EB的數(shù)據(jù)被創(chuàng)建和拷貝，且數(shù)據(jù)年增長(zhǎng)率達(dá)到60%。如果將所有的數(shù)據(jù)都存儲(chǔ)在CD光盤(pán)上，堆起來(lái)的高度是地球到月球距離的6倍。另外，隨著各種家庭數(shù)字終端的興起以及Web2.0的廣泛應(yīng)用，大眾成為信息創(chuàng)造的主體。移動(dòng)互聯(lián)網(wǎng)把信息的生產(chǎn)從PC拓展到手機(jī)，物聯(lián)網(wǎng)把信息的生產(chǎn)從人拓展到物，IDC預(yù)測(cè)2020年全球產(chǎn)生的信息將達(dá)到350億TB。這些數(shù)據(jù)中的絕大部分將存儲(chǔ)在世界各地的大型數(shù)據(jù)中心。圖靈獎(jiǎng)獲得者JimGray曾斷言，現(xiàn)在每18個(gè)月新增的數(shù)據(jù)量等于有史以來(lái)的數(shù)據(jù)量之和。信息數(shù)字化所產(chǎn)生的呈指數(shù)級(jí)增長(zhǎng)的數(shù)據(jù)對(duì)存儲(chǔ)系統(tǒng)的容量提出了嚴(yán)峻的挑戰(zhàn)。
磁盤(pán)驅(qū)動(dòng)器是一種機(jī)電混合設(shè)備。計(jì)算相比，存儲(chǔ)系統(tǒng)具有很多不同的特性。隨著社會(huì)信息化程度的不斷提高，對(duì)數(shù)據(jù)存儲(chǔ)的急劇提升，導(dǎo)致了以“計(jì)算”為中心到以“數(shù)據(jù)存儲(chǔ)”為中心的觀念革新。在過(guò)去的十多年中，磁盤(pán)的區(qū)域密度、軌密度和線密度分別獲得了100%、50%和30%的增長(zhǎng)[4]。在存儲(chǔ)領(lǐng)域有兩個(gè)重要的技術(shù)對(duì)存儲(chǔ)系統(tǒng)的發(fā)展和存儲(chǔ)容量的擴(kuò)展產(chǎn)生了重要的影響。第一個(gè)是并行存儲(chǔ)，比如磁盤(pán)陣列技術(shù)[5]；第二個(gè)就是網(wǎng)絡(luò)技術(shù)對(duì)存儲(chǔ)系統(tǒng)體系結(jié)構(gòu)的影響。通過(guò)將網(wǎng)絡(luò)引入存儲(chǔ)系統(tǒng)，改變主機(jī)與外部存儲(chǔ)節(jié)點(diǎn)間的連接模式，出現(xiàn)了若干新型存儲(chǔ)體系結(jié)構(gòu)：附網(wǎng)存儲(chǔ)（NAS）和存儲(chǔ)區(qū)域網(wǎng)（SAN）。網(wǎng)絡(luò)存儲(chǔ)技術(shù)對(duì)于解決存儲(chǔ)設(shè)備的分散性、I/O的并行性、協(xié)議的高效性提供了一種很好的手段。網(wǎng)絡(luò)與存儲(chǔ)設(shè)備不同的結(jié)合方式可以形成不同拓?fù)浣Y(jié)構(gòu)的網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)，不同的拓?fù)浣Y(jié)構(gòu)對(duì)于系統(tǒng)性能的影響也各不相同。但由于性能、價(jià)格、可擴(kuò)展性等各方面的原因，這些仍不足以應(yīng)對(duì)爆炸性的數(shù)據(jù)增長(zhǎng)。另外，許多大型企業(yè)的IT基礎(chǔ)設(shè)施的利用率只有35%。在某些企業(yè)中可能會(huì)低至15%。Google報(bào)告稱(chēng)其服務(wù)器的利用率往往在10%到15%之間[9]。這使得工業(yè)界不得不重新思考所面臨的問(wèn)題，并努力尋求解決的方法。
2001年，Google在搜索引擎大會(huì)上首次提出云計(jì)算的概念。2007年年底，Google的一名工程師再次提出了云計(jì)算。自此，云計(jì)算開(kāi)始得到工業(yè)界、學(xué)術(shù)界和各國(guó)政府的廣泛響應(yīng)。嚴(yán)格意義上講，云計(jì)算并不是一種新技術(shù)，而是一種新的服務(wù)模式。云計(jì)算將應(yīng)用和計(jì)算機(jī)資源包括硬件和系統(tǒng)軟件虛擬化之后包裝成服務(wù)，通過(guò)按需付費(fèi)的方式，穿越Internet來(lái)滿足用戶(hù)各種不同的需求。用戶(hù)可以不再需要購(gòu)買(mǎi)昂貴的計(jì)算機(jī)系統(tǒng)，不再因?yàn)樾枰虝r(shí)間使用某個(gè)軟件而不得不購(gòu)買(mǎi)該軟件的使用版權(quán)。這種服務(wù)模式在過(guò)去的十多年中有過(guò)充分的探討，這兩年的重新興起并以一個(gè)新的技術(shù)名詞出現(xiàn)，并不是因?yàn)楫a(chǎn)生了某種技術(shù)上的突破，而是由于信息數(shù)字化導(dǎo)致數(shù)據(jù)的爆炸性增長(zhǎng)所帶來(lái)的一系列問(wèn)題讓我們不得不重新思考計(jì)算機(jī)系統(tǒng)發(fā)展的新走向。另外，由于技術(shù)進(jìn)步所帶來(lái)的部分老技術(shù)的重新復(fù)蘇也對(duì)云計(jì)算的發(fā)展起到了推波助瀾的作用。借助于云計(jì)算的理念，將存儲(chǔ)資源進(jìn)行整合，并實(shí)現(xiàn)存儲(chǔ)資源的按需分配。于是就產(chǎn)生了云存儲(chǔ)。
1 云存儲(chǔ)面臨的挑戰(zhàn)
云存儲(chǔ)面向個(gè)人的應(yīng)用主要由網(wǎng)盤(pán)、在線文檔編輯、工作流及日程安排；面向企業(yè)的應(yīng)用主要有企業(yè)空間的租賃服務(wù)，企業(yè)級(jí)數(shù)據(jù)備份和歸檔、視頻監(jiān)控系統(tǒng)等。無(wú)論是哪種應(yīng)用，海量數(shù)據(jù)的高度聚集都要導(dǎo)致存儲(chǔ)系統(tǒng)從少數(shù)的存儲(chǔ)引擎向連在網(wǎng)絡(luò)上的成千上萬(wàn)的商用化存儲(chǔ)設(shè)備進(jìn)行轉(zhuǎn)變，從傳統(tǒng)的煙囪式的建設(shè)模式轉(zhuǎn)變?yōu)榧s化的建設(shè)模式。在過(guò)去的十多年中集群網(wǎng)絡(luò)的重要進(jìn)展之一是可以將成千上萬(wàn)的節(jié)點(diǎn)連起來(lái)，同時(shí)保證高可擴(kuò)展性和相對(duì)較低的通信開(kāi)銷(xiāo)。因此，我們認(rèn)為，采用商用化的技術(shù)來(lái)構(gòu)造可擴(kuò)展的集群是云存儲(chǔ)的基本組件。因?yàn)槲覀兛梢砸源罘e木的形式來(lái)聚合存儲(chǔ)組件以構(gòu)造大規(guī)模的存儲(chǔ)系統(tǒng)。但是現(xiàn)有的存儲(chǔ)系統(tǒng)進(jìn)行規(guī)模的擴(kuò)展之后還存在很多待解決的問(wèn)題。
1.1 名字空間
存儲(chǔ)器空間的組織和分配，數(shù)據(jù)的存儲(chǔ)、保護(hù)和檢索都依賴(lài)于文件系統(tǒng)。文件系統(tǒng)由文件和目錄組成。數(shù)據(jù)按其內(nèi)容、結(jié)構(gòu)和用途命名成不同的文件，而目錄則構(gòu)建文件系統(tǒng)的層次化結(jié)構(gòu)。現(xiàn)代的文件系統(tǒng)一般都是按樹(shù)形的層次架構(gòu)來(lái)組織文件和目錄。集群文件系統(tǒng)往往也采用樹(shù)形架構(gòu)來(lái)構(gòu)造名字空間。然而，當(dāng)數(shù)據(jù)的訪問(wèn)從樹(shù)根走向樹(shù)葉的時(shí)候，訪問(wèn)的延遲會(huì)相應(yīng)地增加。另外，還有兩個(gè)重要的因素導(dǎo)致樹(shù)形架構(gòu)不適合于云存儲(chǔ)環(huán)境。第一，樹(shù)根本身就是一個(gè)單一失效點(diǎn)，而且很容易形成系統(tǒng)的“瓶頸”；第二，樹(shù)形架構(gòu)很難在Internet上擴(kuò)展到地理上分布的規(guī)模。另外，層次化結(jié)構(gòu)使得文件的訪問(wèn)效率不高。每一層目錄都隱藏了它所包含的子目錄和文件，用戶(hù)很難知道一個(gè)目錄下面到底有哪些文件和子目錄。因此，用戶(hù)訪問(wèn)某個(gè)文件時(shí)，必須通過(guò)層次型的目錄樹(shù)結(jié)構(gòu)到達(dá)其保存位置，如果不知道文件保存位置，則必須遍歷整個(gè)目錄。因此云存儲(chǔ)只有采用非集中式的名字空間來(lái)避免潛在的性能“瓶頸”和單點(diǎn)失效。
1.2 元數(shù)據(jù)組織
元數(shù)據(jù)是描述數(shù)據(jù)的數(shù)據(jù)，主要用來(lái)反映地址信息和控制信息，通常包括文件名、文件大小、時(shí)間戳、文件屬性等等。元數(shù)據(jù)主要是用來(lái)管理的操作數(shù)據(jù)。研究表明，在文件系統(tǒng)的操作中，超過(guò)50%的操作是針對(duì)元數(shù)據(jù)的[10]。元數(shù)據(jù)最重要的特點(diǎn)是其往往是小的隨機(jī)請(qǐng)求。一般來(lái)講，元數(shù)據(jù)都是存儲(chǔ)在磁盤(pán)上的，然而，和磁盤(pán)存儲(chǔ)容量的增長(zhǎng)不同的是，由于機(jī)械組件所帶來(lái)的延遲，磁盤(pán)的平均訪問(wèn)時(shí)間每年的降低不足8%。Hitachi的磁盤(pán)在過(guò)去10年里磁盤(pán)訪問(wèn)時(shí)間和尋道時(shí)間的發(fā)展趨勢(shì)[12]如圖1所示。對(duì)于這種由小的隨機(jī)請(qǐng)求所組成的數(shù)據(jù)訪問(wèn)流，磁盤(pán)的尋道時(shí)間是磁盤(pán)訪問(wèn)延遲中最主要的部分。因此，對(duì)于大規(guī)模系統(tǒng)來(lái)講，元數(shù)據(jù)的訪問(wèn)往往成為制約整個(gè)系統(tǒng)性能的“瓶頸”。
圖1 磁盤(pán)訪問(wèn)時(shí)間和尋道時(shí)間的發(fā)展趨勢(shì)
很多分布式的存儲(chǔ)系統(tǒng)將數(shù)據(jù)訪問(wèn)和元數(shù)據(jù)的訪問(wèn)分離開(kāi)來(lái)。在這樣的系統(tǒng)中，客戶(hù)端首先和元數(shù)據(jù)服務(wù)器通信來(lái)獲取元數(shù)據(jù)包括文件名、文件位置等信息。然后，利用該元數(shù)據(jù)，客戶(hù)端直接和數(shù)據(jù)服務(wù)器通信去訪問(wèn)相應(yīng)的數(shù)據(jù)。一般來(lái)講，元數(shù)據(jù)服務(wù)器的內(nèi)存可以滿足大部分的讀請(qǐng)求，但服務(wù)器不得不周期性地訪問(wèn)磁盤(pán)來(lái)讀取需要的數(shù)據(jù)，并且所有元數(shù)據(jù)的更新也要寫(xiě)回到磁盤(pán)。存儲(chǔ)系統(tǒng)空間的增長(zhǎng)可以通過(guò)增加額外的存儲(chǔ)服務(wù)器來(lái)保證。然而，對(duì)于一個(gè)管理數(shù)以?xún)|計(jì)的數(shù)據(jù)文件的云存儲(chǔ)系統(tǒng)，保證元數(shù)據(jù)的訪問(wèn)性能和可擴(kuò)展性比較困難。對(duì)于像云這樣的需要高可擴(kuò)展性的環(huán)境，對(duì)元數(shù)據(jù)的依賴(lài)給系統(tǒng)設(shè)計(jì)帶來(lái)了巨大的挑戰(zhàn)。
1.3 能耗與地板空間
圖2 數(shù)據(jù)中心的熱密度趨勢(shì)圖
2005年美國(guó)新建立的數(shù)據(jù)中心需要消耗的能量相當(dāng)于加利福尼亞州所消耗能量的10%（大約5GW），需要花費(fèi)大約40億美金。英國(guó)的1500個(gè)數(shù)據(jù)中心每年消耗的能量和英國(guó)第十大城市萊卡斯特所需要的能量相當(dāng)。2010年，英國(guó)單個(gè)數(shù)據(jù)中心每年在能量上的花費(fèi)達(dá)到大約740萬(wàn)英鎊。在這些數(shù)據(jù)中心中，存儲(chǔ)系統(tǒng)所消耗的能量達(dá)到了總能耗的27%。另外，消耗的能量除了供各種計(jì)算機(jī)組件工作外，還會(huì)產(chǎn)生大量的熱量。由于大部分計(jì)算機(jī)組件只能在一定的溫度環(huán)境下才能保證足夠的可靠性，因此，還需要額外的能量驅(qū)動(dòng)制冷設(shè)備。Netapp的調(diào)查表明大型數(shù)據(jù)中心中制冷系統(tǒng)的能耗僅次于服務(wù)器。數(shù)據(jù)中心主要設(shè)備的熱密度趨勢(shì)如圖2所示。可以認(rèn)為，數(shù)據(jù)中心的能耗問(wèn)題處于一個(gè)惡性循環(huán)的狀態(tài)。
另外，由于數(shù)據(jù)的增長(zhǎng)導(dǎo)致數(shù)據(jù)中心對(duì)新設(shè)備需求的不斷增加，但是數(shù)據(jù)中心的可擴(kuò)展性完全受限于其地板空間。在數(shù)據(jù)中心的空間未擴(kuò)展的情況下，隨著單位地板面積內(nèi)計(jì)算機(jī)設(shè)備的不斷增加，傳統(tǒng)數(shù)據(jù)中心的設(shè)備容量必將達(dá)到極限。因此，能耗和地板空間成為當(dāng)前設(shè)計(jì)和管理大型數(shù)據(jù)中心所面臨的主要挑戰(zhàn)。
2 云災(zāi)備
圖3 數(shù)據(jù)丟失的原因
國(guó)際上對(duì)于IT系統(tǒng)災(zāi)難的定義是指由于人為或自然的原因，造成信息系統(tǒng)運(yùn)行嚴(yán)重故障或癱瘓，使信息系統(tǒng)支持的業(yè)務(wù)功能停頓或服務(wù)水平不可接受，并達(dá)到特定的時(shí)間的突發(fā)性事件。雖然數(shù)據(jù)是企業(yè)的命脈，然而在傳統(tǒng)的存儲(chǔ)系統(tǒng)下，數(shù)據(jù)丟失很難避免。數(shù)據(jù)丟失的原因如圖3所示。圖3表示人為因素是導(dǎo)致數(shù)據(jù)丟失的最重要的原因。由于管理員或員工的活動(dòng)造成數(shù)據(jù)的損失或變更，使數(shù)據(jù)的完整性與真實(shí)性受到影響，如誤刪除、誤格式化或誤分區(qū)、誤克隆等誤操作，系統(tǒng)管理員出錯(cuò)或蓄意破壞、竊取等等。因此，如果在云計(jì)算環(huán)境下，專(zhuān)業(yè)的工程技術(shù)人員將能最大限度地避免由于人為因素所導(dǎo)致的數(shù)據(jù)丟失。然而，設(shè)備和硬件故障所帶來(lái)的數(shù)據(jù)丟失則很難避免。例如，硬盤(pán)損壞是極為常見(jiàn)的導(dǎo)致數(shù)據(jù)丟失的原因，一般來(lái)講，磁盤(pán)陣列（RAID）系統(tǒng)能夠一定程度上避免硬盤(pán)故障導(dǎo)致的數(shù)據(jù)丟失，如RAID1、RAID5都能夠在一塊硬盤(pán)失效后對(duì)數(shù)據(jù)進(jìn)行修復(fù)。但在兩塊硬盤(pán)失效的情況下，則僅有RAID6數(shù)據(jù)保護(hù)模式能夠保護(hù)數(shù)據(jù)不丟失，而RAID6由于復(fù)雜冗余和校驗(yàn)算法導(dǎo)致系統(tǒng)大量的開(kāi)銷(xiāo)，一般企業(yè)采用時(shí)存在顧慮。另外，大型存儲(chǔ)系統(tǒng)中磁盤(pán)的失效往往是具有相關(guān)性的，一塊大容量磁盤(pán)失效后要進(jìn)行長(zhǎng)時(shí)間的重構(gòu)（例如，1TB容量的磁盤(pán)重構(gòu)可能需要數(shù)小時(shí)），會(huì)對(duì)系統(tǒng)帶來(lái)極高的存儲(chǔ)I/O率，這可能導(dǎo)致另一塊磁盤(pán)的失效，從而引發(fā)連鎖效應(yīng)。因此，利用蝴蝶效應(yīng)來(lái)描述毫不為過(guò)。
2011年4月，亞馬遜的網(wǎng)絡(luò)服務(wù)經(jīng)歷了長(zhǎng)時(shí)間斷電，造成停機(jī)等一系列問(wèn)題，并且影響到了云計(jì)算的服務(wù)。在長(zhǎng)達(dá)4天的時(shí)間里，一些客戶(hù)無(wú)法使用亞馬遜的存儲(chǔ)服務(wù)，并且會(huì)出現(xiàn)網(wǎng)絡(luò)配置錯(cuò)誤。2011年4月25日，Vmware的Cloud Foundry在發(fā)布13天后連續(xù)兩天發(fā)生服務(wù)中斷事件。第一次是由于某供電柜發(fā)生故障，在停機(jī)持續(xù)了10小時(shí)后，故障得到修復(fù)。但在第二天，當(dāng)Vmware的官方工作人員在嘗試實(shí)施先期檢測(cè)方案以避免前一天的事故再一次發(fā)生時(shí)，導(dǎo)致了新一輪的停機(jī)。2011年8月，都柏林的亞馬遜和微軟的數(shù)據(jù)中心因遭遇雷擊而停電，兩家企業(yè)都經(jīng)歷了數(shù)天才完成修復(fù)。國(guó)際最知名的IT企業(yè)也無(wú)法保證其IT基礎(chǔ)設(shè)施的24×7×365業(yè)務(wù)連續(xù)性。再者，不可預(yù)測(cè)的自然災(zāi)害也會(huì)導(dǎo)致數(shù)據(jù)丟失，如日本的廣島地震，中國(guó)的汶川地震等。因此，對(duì)數(shù)據(jù)進(jìn)行有效的災(zāi)備，并經(jīng)常性的進(jìn)行恢復(fù)演練確保備份的有效性能夠最大程度的降低因?yàn)橛布收蠈?dǎo)致數(shù)據(jù)丟失的可能性，充分得到云存儲(chǔ)用戶(hù)的信任。
2.1 災(zāi)備的技術(shù)指標(biāo)
在容災(zāi)體系中，人們往往采用恢復(fù)點(diǎn)目標(biāo)（RPO）和恢復(fù)時(shí)間目標(biāo)（RTO）這兩個(gè)指標(biāo)來(lái)衡量容災(zāi)體系的應(yīng)急能力和系統(tǒng)保護(hù)能力。RPO體現(xiàn)為災(zāi)難發(fā)生后，恢復(fù)運(yùn)轉(zhuǎn)時(shí)數(shù)據(jù)丟失的可容忍程度。RTO表示需要恢復(fù)的緊迫性也即多久能夠得到恢復(fù)的問(wèn)題。然而，在設(shè)計(jì)一個(gè)容災(zāi)系統(tǒng)時(shí)，并不意味著RPO和RTO越小越好。因?yàn)橄到y(tǒng)投資會(huì)隨著RPO和RTO的降低而增加。因此，最佳的容災(zāi)方案不一定是性?xún)r(jià)比最好的方案。
2.2 數(shù)據(jù)備份
數(shù)據(jù)備份是指為防止系統(tǒng)出現(xiàn)操作失誤或系統(tǒng)故障導(dǎo)致數(shù)據(jù)丟失，而將數(shù)據(jù)集合從應(yīng)用系統(tǒng)中以備份格式存儲(chǔ)到處于離線的存儲(chǔ)介質(zhì)的過(guò)程。在數(shù)據(jù)備份過(guò)程中，一般采用備份軟件配合磁帶庫(kù)的物理介質(zhì)保存系統(tǒng)來(lái)進(jìn)行。數(shù)據(jù)備份分為完全備份、差異備份和增量備份。完全備份是指對(duì)某一個(gè)時(shí)間點(diǎn)上的所有數(shù)據(jù)或應(yīng)用進(jìn)行的一個(gè)完全拷貝。差異備份則備份自上一次完全備份之后有變化的數(shù)據(jù)。增量備份則備份自上一次備份（包含完全備份、差異備份、增量備份）之后有變化的數(shù)據(jù)。無(wú)論哪種模式都完全服從備份計(jì)劃的規(guī)定，即在固定的時(shí)間點(diǎn)開(kāi)始備份。
傳統(tǒng)的備份系統(tǒng)并不保證數(shù)據(jù)的實(shí)時(shí)性或近實(shí)時(shí)性。而且，備份后的數(shù)據(jù)格式是專(zhuān)用的備份格式，并非應(yīng)用系統(tǒng)中的數(shù)據(jù)原有格局。因此，當(dāng)發(fā)生災(zāi)難時(shí)，備份數(shù)據(jù)是不能立即使用的，必須先恢復(fù)。恢復(fù)時(shí)要通過(guò)格式轉(zhuǎn)換進(jìn)行導(dǎo)回操作，這導(dǎo)致無(wú)法保證恢復(fù)的快捷。例如，如果按Th的時(shí)間間隔來(lái)進(jìn)行增量備份。如果在A時(shí)間點(diǎn)發(fā)生了系統(tǒng)故障，那只能回復(fù)到上一個(gè)備份點(diǎn)A-T，而且還要進(jìn)行數(shù)據(jù)格式的轉(zhuǎn)換。隨著T的增加和數(shù)據(jù)量的增漲，需要恢復(fù)的時(shí)間也隨之線性增漲。因此，指標(biāo)RPO和RTO都會(huì)較高，也很難保證IT基礎(chǔ)設(shè)施的24×7×365業(yè)務(wù)連續(xù)性。另外，為了提高RPO，必須提高數(shù)據(jù)備份的頻度。但大多數(shù)情況下，僅僅增加備份的頻度會(huì)帶來(lái)一系列的問(wèn)題。例如：應(yīng)用的高峰時(shí)段無(wú)法進(jìn)行備份操作；備份數(shù)據(jù)所花時(shí)間太長(zhǎng)。因此，需要有一個(gè)契機(jī)和一個(gè)新的技術(shù)的誕生，來(lái)達(dá)到以用戶(hù)為中心的數(shù)據(jù)安全和系統(tǒng)安全的要求。
核心關(guān)注：拓步ERP系統(tǒng)平臺(tái)是覆蓋了眾多的業(yè)務(wù)領(lǐng)域、行業(yè)應(yīng)用，蘊(yùn)涵了豐富的ERP管理思想，集成了ERP軟件業(yè)務(wù)管理理念，功能涉及供應(yīng)鏈、成本、制造、CRM、HR等眾多業(yè)務(wù)領(lǐng)域的管理，全面涵蓋了企業(yè)關(guān)注ERP管理系統(tǒng)的核心領(lǐng)域，是眾多中小企業(yè)信息化建設(shè)首選的ERP管理軟件信賴(lài)品牌。
轉(zhuǎn)載請(qǐng)注明出處：拓步ERP資訊網(wǎng)http://m.hanmeixuan.com/
本文標(biāo)題：云存儲(chǔ)與云災(zāi)備的原理與短板分析(上)
本文網(wǎng)址：http://m.hanmeixuan.com/html/consultation/1083978019.html
相關(guān)文章
