近幾年IT 領域最熱門的關鍵詞非“云計算”莫屬。“云”是一些可以自我維護和管理的虛擬計算資源,包括計算服務器、存儲服務器、帶寬資源等,“云計算”是分布式處理、并行處理和網格計算的發展,或者說是這些計算機科學概念在商業環境中的綜合應用和實現。
云存儲是在云計算概念上延伸和發展出來的一個新的概念,是指通過集群應用、網格技術或分布式文件系統等技術手段,讓網絡中大量各種不同類型的存儲設備在應用軟件的管理下協同工作,共同對外提供數據存儲和業務訪問功能的系統。當云計算系統運算和處理的核心是大量數據的存儲和管理時,云計算系統中就需要配置大量的存儲設備,那么云計算系統就轉變成為一個云存儲系統,所以云存儲是一個以數據存儲和管理為核心的云計算系統。
隨著云計算技術應用的日益普及,用戶對云存儲的需求越來越迫切,各大IT 廠商順應市場需求,逐漸推出相應的解決方案,Nasuni 和TwinStrata 等供應商已經引入這類產品。
云存儲體系結構如圖1 所示,云存儲系統與傳統存儲系統相比具有顯著的差異,傳統存儲是指某一具體的存儲設備或者由大量相同的存儲設備構成的集合體。而云存儲可以理解為一種由大量同構或者異構存儲設備集合構成的分布式存儲服務。
圖1 云存儲體系結構圖
具體而言兩種有下不同:第一,從功能需求角度看,傳統存儲系統則關注于數據如數據存儲、事務處理、數據備份等應用,而云存儲系統更關注用戶,面向用戶提供多種類型的存儲服務;第二,從性能需求來看,傳統存儲對資源利用率低,對存儲資源的分配通常是靜態的,而云存儲對資源利用率非常高,采用動態的方法分配存儲資源;第三,從管理和成本角度看,傳統存儲的投資成本和管理成本都十分昂貴,而云存儲系統可有有效降低投資成本和管理成本;第四,從服務需求角度來看,傳統存儲故障率相對較高,而云存儲則采用業務遷移、數據冗余和數據備份等技術手段保證服務的正常運行;第五,從實時性角度來看,傳統存儲存在于本地,無法隨用戶移動,而云存儲屬于托管存儲,只要有互聯網接入用戶即可實時地存取數據。
基于上述特點,云存儲平臺整體架構可劃分為4 個層次,自底向上依次是:物理層、存儲管理層、業務服務層以及用戶訪問層。云存儲系統整體架構如圖2 所示。
圖2 云存儲系統整體架構圖
1. 物理層
云存儲系統物理層由包括多種不同各類的存儲設備,以及將設備連接起來的物理鏈路。云存儲系統多應用于復雜的分布式網絡環境,在這種情況下,傳統的基于局域網的數據組織難以滿足廣域網多用戶條件下的功能和性能要求,實際應用中可能以光纖、VPN 等多種形式將分散在不同位置的存儲設備連接起來,形成一個大的數據存儲系統,對外提供服務。
云存儲的物理層將不同類型的存儲設備互連起來,實現數據的統一管理,同時實現對存儲設備的集中管理和狀態監控,其實質是一種面向服務的分布式存儲系統。
2. 存儲管理層
存儲管理層是物理層的邏輯抽象,它隱藏了云存儲系統的物理特性,封裝了物理設備與邏輯設備的對應關系,將復雜的管理策略模塊化,為上層應用提供高度集成的管理接口。上層應用通過接口實現多存儲設備之間的協同工作,以更好的性能對外提供服務。
3. 業務服務層
業務服務層在物理層、存儲管理層的支持下對外提供數據服務,它具有多樣性和靈活性的特點。在不用應用環境中,業務服務層的表現形式可以是不同的。基于不同的應用需求和開發環境,業務服務層可能表現為網站、移動應用程序、WEBSERVICE等多種形式,但本質上都是實現數據的存儲和共享。
4. 用戶訪問層
用戶訪問層從根本上講,是一套用戶授權、認證機制,它決定用戶以怎樣的形式對既定的數據進行哪些權限范圍內的操作。多數情況下,用戶訪問層以模塊的形式集成于業務服務層和存儲管理層中,這些模塊共同構成數據訪問規則。
根據使用環境的不同,云存儲系統的實現方式不同,云存儲系統可以劃分為不同種類。Google,Amazon等網絡公司在線提供的服務稱為共有云;使用技術廠商現成的解決方案,或者根據實際情況購買軟硬件設施自主建設私有云;結合共有云和私有云而成的混合云等。
筆者在一個局域網教育培訓系統的過程中,結合實際需求探索出一條結構簡單、成本低廉、管理方便的云存儲解決方案。
因工作需要,公司需建設一套局域網內的教育培訓系統,用于開展員工的在線教育培訓工作,以節約成本、提高工作效率。公司組織結構分為三層,一級機構下設多個二級營銷部,每個營銷部下設若干個市場部,員工總數近一千人。各級單位聯網辦公,網絡結構圖如圖3所示。由于在地理位置上距離較遠,二級、三級單位通過VPN 方式連接至一級單位。核心網絡千兆交換,下級單位VPN 連接帶寬為2M。
圖3 應用環境網絡結構圖
教育培訓平臺需要在用戶終端與服務器之間傳輸處理大量的視頻、文檔等數據,這一需求在純粹的千兆,或者百兆局域網內使用傳統的應用架構十分容易實現,但在上圖所示的實際環境中,卻面臨著效率上的問題。這一問題主要表現在二級、三級單位層面,因網絡帶寬小、用戶數量大,實時的在線視頻、文件傳輸無法保證流暢性,同時還會嚴重影響其它業務的正常運行。只有使用云存儲系統,將用戶的大數據量請求限制在用戶所在百兆或者千兆局域網內,才能解決這一問題。
經過對公司網絡結構和教育培訓系統需求的深入分析,參考了當下比較成熟通用的云存儲技術Hadoop,項目組決定應用系統集中部署,文件則使用分布式存儲,建立公司內部私有云存儲系統。該教育培訓系統采用服務訪問層,請求處理層,云端存儲層三層結構,如圖4 所示。
圖4 應用系統架構圖
服務訪問層隱藏了系統所提供服務的具體實現為用戶提供服統一的務接口,請求處理層負責處理用戶的服務請求訪問云端數據,云端存儲層管理所有用戶的數據存儲。
系統的網絡部署為中心機房部署一臺主文件服務器,每個下級單位所在的局域網部署一臺二級文件服務器,文件服務器采用帶HTTP、FTP 管理功能的NAS 設備。整體的硬件、網絡結構如圖5所示:
圖5 云存儲系統結構圖
在圖5 所示的硬件結構中,軟件系統需要解決以下兩個問題:
1.用戶請求與存儲設備的映射
在實際運行過程中,中心管理系統接收到文件請求時,首先根據用戶的身份信息查找文件存儲節點地址映射表,判斷用戶所處的局域網,然后將文件請求鏈接至對應局域網的文件服務器,在進行文件存在性判斷,如果所在節點存在請求文件則向用戶傳輸所請求文件,如果不存在該文件則將請求重新定位到中心文件服務器請求文件,通過中心服務器想用戶傳輸文件。存儲設備地址映射過程如圖6 所示。
圖6 云存儲映射示意圖
2.文件服務器同步
整個網絡中存在多臺文件服務器,在工作過程中,管理員只將文件發布到中心文件服務器上,其它子文件服務器由系統根據培訓任務,自動將相應的培訓資料下發至對應的子文件服務器。
由于各級單位都劃分了單獨的網段,上述第一個問題解決起來十分簡單,通過客戶端IP地址就能將文件請求對應到所在局域網的文件服務器。第二個問題相對而言較為復雜,需要綜合考慮用戶所在單位、單位所在網段、單位對應的培訓以及培訓關聯的文件等各方面因素,形成一套存儲管理策略。管理員根據工作需要,調用管理策略,在業務空閑時段安排文件同步任務,就能實現文件服務器的數據同步。文件同步過程如圖7所示。
圖7 云存儲同步示意圖
從實際運行效果來看,上述云存儲方案較好地解決了多級網絡中的帶寬瓶頸問題,很好地支持了應用的運行。相比其它解決方案,體現出一定的優勢,表現在以下幾個方面:
實現成本低
該方案從根本上講,采用了“以空間換取效率”的原則,在各個子網內部署文件服務器,以保障系統運行效率。對原有的網絡、服務器和軟件環境沒有進行升級改造,主要的投入體現在網絡文件服務器上。目前千元級大容量的局域網文件服務器產品很多,實施過程中這方面的投入很容易控制。相比使用成套的云存儲產品,該方案的成本優勢十分明顯。
管理方便
使用該方案的系統結構,可以十分靈活地對存儲設備進行管理。增加、刪除一個文件服務器節點需要做的工作非常少,存儲的擴容也很靈活,除中心服務器外,子文件服務器相互之間不受影響,方便進行系統升級、維護。
擴展性強
該方案的云存儲管理軟件使用HTTP、FTP 等成熟的網絡協議,實現簡單,完全自主開發,不涉及任何第三方的協議和接口,方便進行系統完善和功能擴展。結束語
隨著信息技術和業務需求的不斷發展,云存儲技術必將被越來越多的應用,筆者在應用系統實施過程中,結合實際需求,在云存儲實現和應用領域進行了一次有價值的探索和思考。期待云存儲技術在經歷不斷的發展后,能夠更加多樣化,具有更好的適應性,讓各個層次的企業都能應用云存儲、用好云存儲。
核心關注:拓步ERP系統平臺是覆蓋了眾多的業務領域、行業應用,蘊涵了豐富的ERP管理思想,集成了ERP軟件業務管理理念,功能涉及供應鏈、成本、制造、CRM、HR等眾多業務領域的管理,全面涵蓋了企業關注ERP管理系統的核心領域,是眾多中小企業信息化建設首選的ERP管理軟件信賴品牌。
轉載請注明出處:拓步ERP資訊網http://m.hanmeixuan.com/
本文標題:使用云技術實現企業廣域網內存儲集中管理