近年來,一些基于純以太網的大型視頻編輯網絡陸續上馬,在這些網絡中,一般都選擇了基于分布的IP存儲設備作為系統的主存儲。其代表產品有:AVID公司的ISIS:OMNEON公司的IQ6000等。那么,什么是分布是IP存儲產品?它與我們通常使用的NAS有什么不同?其大致的優缺點與技術背景的什么?我們陸續為大家傲一個簡略的介紹。
1、技術概述
以太網絡具有結構簡單,建設、維護成本低等優點,是目前應用最為廣泛的網絡結構,它的缺點在于傳輸時延與波動較大。而通常的視頻編輯類應用中.非編主機一般采用的都是基于硬件的編解碼器(如MATROX的LE、LX卡)。硬件編解碼受限于結構與造價,板載緩沖都很小。如數據傳輸不及時,就會出現丟幀,黑場等情況。所以,以往的視頻編輯網絡,一般都采取傳輸時延與波動都很小的“FC+太網”的雙網結構,并以FC存儲設備作為主存儲,很少將IP的存儲作為主存儲使用。
近年來,隨著CPU,GPU性能的不斷增強,大部分的非編軟件已不在依賴于硬件的編解碼,而是通過CPU+OPU來完成相應的工作。(硬件板卡僅用于實現與視、音頻設備的I/O接口)把編解碼放在軟件層面完成,除了能降低成本,能靈活應對格式變化外,還有個很大的好處就是可以利用系統的內存來創建一個大緩沖,覆蓋掉因傳輸速率波動而對應用造成的影響,從而將使用純以太網作為視頻編輯的網絡結構成為了可能。
網絡結構可行后,第一個要解決的問題就是要選擇什么樣的IP存儲設備作為系統的主存儲。視音頻應用對系統的性能,容量都有很大的要求?而傳統的NAS存儲產品。將數據存放在一個單體設備上,在容量、性能、擴展性上都無法滿足視音頻的苛刻要求,在這樣的背景下各廠商推出了分布式的IP存儲產品(集群NAS)。如AVID公司的ISIS;伽NEON公司的WEDIAGRID;ISILON公司的IQB000等。
2、工作原理
顧名思義,分布式的IP集群存儲是由多個受命名空間管理的存儲節點所構成的。寫入時,數據被拆分為多個片段,存儲在所有的存儲節點上,每個存儲節點連接到以太網交換機,提供基于IP的訪問服務。
圖1 以太網集群示意圖
如圖所示,以3個節點為例,當數據寫入時,被分為3個數據塊,其數據的寫入由3個存儲節點共同執行;讀出也同理。由于文件不是孤立的存在于一個存儲節點上,讀出、寫入操作都是由所有的存儲體共同完成,因此,隨著數據文件在各存儲節點上的分散,系統的總體性能接近各存儲節點的性能之和。
2.1 IsILON介紹
每個Isilon IQ集群包括3到家96個IsilonIQ節點。每個節點2u高,包括12個磁盤,CPU,內存和2KM網絡接口,節點自動配合工作,利用它們的合力形成一個統一的存儲系統.該系統可以承受任何組件故障,包括磁盤,交換機以及整個節點.
圖2 IsilonIQ集群
Isilon采取標準的網絡文件系統,客戶端無需安裝驅動程序,集群內的所有內容創建了一個共享池,一個訪問點,文件系統可以支持高達1000TB的單個網絡驅動器,集群一旦建立,用戶便能夠連接任何存儲節點,并訪問整個文件系統中的每個文件。
1)容錯能力
由于每個存儲節點都存放著數據的一部分副本,而任何一個副本的丟失都將導致數據的完整性被破壞,因此確保任何一個節點出現問題后,數據安全依然有保障,是系統的關鍵。
IP集群存儲一般用2種不同的方式來應對這一問題,其中,Isilon通過REED SOLIMONECC(糾錯碼)、奇偶校驗塊級拆分(從N+I到N+4)的組合,可提供N+I到N+4的不同安全級別。在N+4時(最高安全級別),可以承受驅動器或整個節點的四個同時故障,從而為整個系統提供極高的安全性。
圖3 存儲節點
如圖所示,統在所有節點間做校驗計算,以便當一個節點完全崩潰時,可以由其它節點讀出數據,并結合校驗碼進行逆向運算,恢復出故障節點的數據,保障數據的完整性.
2)容量與性能擴展
集群存儲產品均支持磁盤容量的在線擴展,即可在不停機、不重新格式化卷的情況下,對原有存儲窄間進行擴展。同樣,可通過增加節點的方式實現性能的提升,系統節點數越多,總體性能越好.
2.2 AVID ISIS介紹
AVID ISIS每個存儲儲節點包含32個磁盤,每節點通常選配2個帶8KM以太網端口的交換模塊,節點問通過CX-4進行互聯,最大支持12個節點,ISIS的客戶端需要安裝驅動程序(目前僅提供WINDOWS平臺下的驅動)來訪問文件系統,其文件系統為目錄形式,可根據客戶端的權限對訪問內容,可用容量等進行控制.
1)容錯能力
ISiS通過復制方式實現系統的安全性。也就是說,任何一個文件都會在不同的節點(磁盤)保留一個副本,在磁盤或節點損壞的情況下同,由另外一個副本恢復數據,系統的有效容量為實際容量的一半。如圖所示:
圖4 存儲節點
2)容量與性能擴展
集群存儲產品均支持磁盤容量的在線擴展,即可在不停機,不重新格式化卷的情況下,對原有存儲空間進行擴展,同樣,可通過增加節點的方式實現性能的提升,系統節點數越多。總體性能越好.
3、技術比較
Isilon校驗型集群存儲的代表,Isilon使用標準的CIFS或NFS協議進行了數據傳輸,也就是說任意一臺連接在lsilon網絡中的工作站無需任何配置就能直接訪問存儲:Isilon與Isiion、MediaGrid另一個很大不同是Isilon將元數據與業務數據存放在一起,不再需要單獨的元數據服務器,從用戶角度來看,所有Isilon存儲單元地位完全相同,通過任意節點都可以訪問到存儲在Isilon中的數據。
ISIS和MediaGrid都是數據復制集群存儲,除此以外,它們都需要元數據服務器。
圖5 技術指標一覽表
4、綜合分析
IP集群產品可滿足視音頻編輯應用的要求,其優點在于系統結構相對簡單,部署的復雜程度低。其缺點在于,在超實時應用,如文件遷移,島間數據交換,文件歸檔等應用中,傳輸效率不如FC網絡,特別是媒資歸檔類應用,由于磁帶機本身是FC接口,即便是選擇IP存儲產品,依然需要配置FC結構的客戶端,同時,遷移本身會對IP網絡形成較大的帶寬壓力,在有此方面應用時,需特別注意系統架構的規劃。
綜上所述,我們認為:以IP集群存儲產品為核心的單網結構將會與以高性能FC存儲產品為核心的雙網結構并存,選擇什么樣的結構取決于用戶的最終需求.
核心關注:拓步ERP系統平臺是覆蓋了眾多的業務領域、行業應用,蘊涵了豐富的ERP管理思想,集成了ERP軟件業務管理理念,功能涉及供應鏈、成本、制造、CRM、HR等眾多業務領域的管理,全面涵蓋了企業關注ERP管理系統的核心領域,是眾多中小企業信息化建設首選的ERP管理軟件信賴品牌。
轉載請注明出處:拓步ERP資訊網http://m.hanmeixuan.com/
本文標題:IP集群存儲技術特點