存儲：壓垮企業(yè)的最后一顆稻草
[導(dǎo)讀]身處金融危機(jī)的危局，企業(yè)可謂是四面楚歌，危機(jī)重重，但是來自爆炸性數(shù)據(jù)增長的壓力并不會因此有所減輕。據(jù)IDC統(tǒng)計，用戶每年都會有54%左右的數(shù)據(jù)增長，這等于是18個月用戶的數(shù)據(jù)就會翻一番。長此以往，用戶的存儲系
身處金融危機(jī)的危局，企業(yè)可謂是四面楚歌，危機(jī)重重，但是來自爆炸性數(shù)據(jù)增長的壓力并不會因此有所減輕。據(jù)IDC統(tǒng)計，用戶每年都會有54%左右的數(shù)據(jù)增長，這等于是18個月用戶的數(shù)據(jù)就會翻一番。長此以往，用戶的AN onmouseover=_tipon(this) onmouseout=_tipoff()>存儲 AN>系統(tǒng)很快就會不堪負(fù)荷，形式非常嚴(yán)峻。
對于企業(yè)而言，另外一個需要引起注意的是：今年7月1日，中國將頒布《企業(yè)內(nèi)部控制基本規(guī)范》，相當(dāng)于美國的薩班斯法案，對于企業(yè)有關(guān)商業(yè)數(shù)據(jù)舉證，從法律上進(jìn)行了規(guī)定，這對于企業(yè)的數(shù)據(jù)保護(hù)和存儲都提出了更高的要求。以郵件為例，薩班斯法案中明確規(guī)定，企業(yè)所有電子郵件以及其他電子記錄，必須保留5年或7年以上，同時要求在規(guī)定時間內(nèi)完成高速檢索。如果無法提供所需的電子郵件記錄——或由競爭對手來提供這些記錄——會帶來嚴(yán)重處罰。中國將要實(shí)施的規(guī)范，是否會有這樣嚴(yán)厲，尚不得而知。但是強(qiáng)制加強(qiáng)有關(guān)數(shù)據(jù)的保護(hù)是一個趨勢，需要企業(yè)認(rèn)真加以重視。
應(yīng)對從數(shù)據(jù)分析入手
面臨數(shù)據(jù)爆炸性的增長，單純擴(kuò)容存儲肯定不是一個辦法，僅從成本上就走不通。那么，計從何處?前不久訪華的IBM ProtecTIER全球銷售總監(jiān)Mike Doran，IBM ProtecTIER解決方案亞太區(qū)域銷售總經(jīng)理Justin Hildebrandt在接受本報記者獨(dú)家專訪時，帶來了一些解決問題的思路。
Doran先生指出，根據(jù)IDC的統(tǒng)計，當(dāng)今世界結(jié)構(gòu)化數(shù)據(jù)增長率大概是32%，而非結(jié)構(gòu)化數(shù)據(jù)增長已達(dá)到近兩倍(63%)，也就是說，企業(yè)大量的數(shù)據(jù)增長壓力來自非結(jié)構(gòu)化數(shù)據(jù)，最明顯的例子是E-mail，收到別人發(fā)來的一封電子郵件，隨即轉(zhuǎn)發(fā)，如此就形成了大量的重復(fù)數(shù)據(jù)，如果能夠從技術(shù)上，對此加以鑒別，就可以有效減輕來自數(shù)據(jù)爆炸性成長的壓力。
Hildebrandt指出，最有效的辦法就是采用重復(fù)數(shù)據(jù)刪除技術(shù)。據(jù)他介紹，目前在市場上有兩種重復(fù)數(shù)據(jù)刪除技術(shù)，一種是Post Processing(后處理)，另一種是Inline Processing(在線處理)。其中，后處理是把完整的數(shù)據(jù)1：1備份到存儲設(shè)備上，等所有數(shù)據(jù)全部備份成功，在一個固定時間，進(jìn)行批處理壓縮，實(shí)現(xiàn)重復(fù)數(shù)據(jù)的刪除;其弊端顯而易見，當(dāng)數(shù)據(jù)量過大后，備份窗口過長將導(dǎo)致用戶不堪重負(fù);此外，由于承擔(dān)備份存儲的虛擬帶庫不中斷運(yùn)轉(zhuǎn)，很難完成把虛擬帶庫的數(shù)據(jù)離線克隆到磁帶上。
在線處理能夠解決后處理面臨的問題，但是，對于用戶而言，有些問題也需要加以注意。首先，數(shù)據(jù)的恢復(fù)速度問題，恢復(fù)速度如果太慢，那么采用重復(fù)數(shù)據(jù)刪除技術(shù)將得不償失。此外，有些廠商的系統(tǒng)，其重復(fù)數(shù)據(jù)刪除技術(shù)性能有限，無法處理超過100TB的數(shù)據(jù)。這些問題都會對用戶使用造成障礙。
Diligent的選擇
Diligent是全球著名的從事在線處理重復(fù)數(shù)據(jù)刪除技術(shù)的公司，去年IBM收購了Diligent之后， 由Doran來出任其全球業(yè)務(wù)總監(jiān)，負(fù)責(zé)美國、歐洲、以及大中華的市場。
IBM收購Diligent之后，針對市場需求發(fā)布了IBM System Storage TS7650G ProtecTIER新產(chǎn)品。作為一種在線處理重復(fù)數(shù)據(jù)刪除技術(shù)產(chǎn)品解決方案，它通過一個ProtecTIER服務(wù)器，對虛擬磁帶庫(VTL)提供支持，其中，ProtecTIER提供HyperFactor的在線處理方式的重復(fù)數(shù)據(jù)刪除技術(shù)，它可以提供的壓縮比為25：1，在一些特定的情況下，可以達(dá)到30：1。
據(jù)Hildebrandt介紹，較之市場上其他的在線處理重復(fù)數(shù)據(jù)刪除技術(shù)產(chǎn)品，Diligent有兩大獨(dú)創(chuàng)的技術(shù)：緩存駐留索引和專利精簡算法。其中，緩存駐留索引，使得其索引比可以達(dá)到250000：1，它的價值在于可以確保系統(tǒng)的性能。一方面它可以確保ProtecTIER備份服務(wù)器不成為備份的瓶頸，另外一方面它對于備份數(shù)據(jù)恢復(fù)的性能也直觀重要。此外，由于采用緩存駐留索引的技術(shù)，系統(tǒng)就可以極快的速度計算索引、比較索引，當(dāng)比較結(jié)果相同時，會再度進(jìn)行二進(jìn)制比較，確保數(shù)據(jù)一致性。其專利的精簡算法，可以避免著名的哈希算法(Hashing Algorithms)的不足。
所謂哈希算法，是通過復(fù)雜的哈希算法，計算出一個8K的索引值，再通過該索引值進(jìn)行比較，來確定數(shù)據(jù)是否為重復(fù)數(shù)據(jù)。但是哈希算法畢竟是一種算法，存在所謂的哈希沖突，也就說有可能兩個數(shù)據(jù)雖然完全不同，但計算出的哈希值是一模一樣的。如果重復(fù)數(shù)據(jù)刪除技術(shù)據(jù)此進(jìn)行數(shù)據(jù)刪除，就導(dǎo)致數(shù)據(jù)不一致性，這是一場災(zāi)難。Diligent專利精簡算法，當(dāng)有新的備份數(shù)據(jù)讀入時，在內(nèi)存里先把特征值進(jìn)行定位，然后跟內(nèi)存做比較，如果一旦有相似的特征值，再去從磁盤把相關(guān)的值讀出來，真正做一次二進(jìn)制比較，確保數(shù)據(jù)不會有誤刪除的現(xiàn)象。通過這種計算差異以后，再把新的數(shù)據(jù)，通過2：1的LZH標(biāo)準(zhǔn)壓縮格式存。一方面性能更高，同時可靠性比哈希算法更強(qiáng)，不會出現(xiàn)任何沖突。
尚需努力
針對國內(nèi)市場，Doran指出，數(shù)據(jù)增長主要分為兩部分：一是on site，一是off site。所謂on site是每天在線處理的生產(chǎn)數(shù)據(jù)，而off site是指備份數(shù)據(jù)。在美國，這兩部分?jǐn)?shù)據(jù)增長是相差無幾的;在中國，比較偏重on site。這說明中國的數(shù)據(jù)保護(hù)做得不夠好。他表示，隨著有關(guān)法律、法規(guī)的實(shí)施，中國對于數(shù)據(jù)備份的需求，將會呈現(xiàn)快速成長，而重復(fù)數(shù)據(jù)刪除技術(shù)，將可以有效幫助用戶減緩數(shù)據(jù)存儲的壓力。
針對主存儲系統(tǒng)，也存在著一定的重復(fù)數(shù)據(jù)，對此，Doran表示，IBM也對主存儲的重復(fù)數(shù)據(jù)刪除密切加以注釋，將視用戶的需求，適時推出有關(guān)產(chǎn)品。但是現(xiàn)在的重復(fù)數(shù)據(jù)刪除的重點(diǎn)還主要集中在數(shù)據(jù)備份領(lǐng)域。在這個領(lǐng)域，Diligent ProtecTIER為用戶提供了選擇。
對于企業(yè)而言，另外一個需要引起注意的是：今年7月1日，中國將頒布《企業(yè)內(nèi)部控制基本規(guī)范》，相當(dāng)于美國的薩班斯法案，對于企業(yè)有關(guān)商業(yè)數(shù)據(jù)舉證，從法律上進(jìn)行了規(guī)定，這對于企業(yè)的數(shù)據(jù)保護(hù)和存儲都提出了更高的要求。以郵件為例，薩班斯法案中明確規(guī)定，企業(yè)所有電子郵件以及其他電子記錄，必須保留5年或7年以上，同時要求在規(guī)定時間內(nèi)完成高速檢索。如果無法提供所需的電子郵件記錄——或由競爭對手來提供這些記錄——會帶來嚴(yán)重處罰。中國將要實(shí)施的規(guī)范，是否會有這樣嚴(yán)厲，尚不得而知。但是強(qiáng)制加強(qiáng)有關(guān)數(shù)據(jù)的保護(hù)是一個趨勢，需要企業(yè)認(rèn)真加以重視。
應(yīng)對從數(shù)據(jù)分析入手
面臨數(shù)據(jù)爆炸性的增長，單純擴(kuò)容存儲肯定不是一個辦法，僅從成本上就走不通。那么，計從何處?前不久訪華的IBM ProtecTIER全球銷售總監(jiān)Mike Doran，IBM ProtecTIER解決方案亞太區(qū)域銷售總經(jīng)理Justin Hildebrandt在接受本報記者獨(dú)家專訪時，帶來了一些解決問題的思路。
Doran先生指出，根據(jù)IDC的統(tǒng)計，當(dāng)今世界結(jié)構(gòu)化數(shù)據(jù)增長率大概是32%，而非結(jié)構(gòu)化數(shù)據(jù)增長已達(dá)到近兩倍(63%)，也就是說，企業(yè)大量的數(shù)據(jù)增長壓力來自非結(jié)構(gòu)化數(shù)據(jù)，最明顯的例子是E-mail，收到別人發(fā)來的一封電子郵件，隨即轉(zhuǎn)發(fā)，如此就形成了大量的重復(fù)數(shù)據(jù)，如果能夠從技術(shù)上，對此加以鑒別，就可以有效減輕來自數(shù)據(jù)爆炸性成長的壓力。
Hildebrandt指出，最有效的辦法就是采用重復(fù)數(shù)據(jù)刪除技術(shù)。據(jù)他介紹，目前在市場上有兩種重復(fù)數(shù)據(jù)刪除技術(shù)，一種是Post Processing(后處理)，另一種是Inline Processing(在線處理)。其中，后處理是把完整的數(shù)據(jù)1：1備份到存儲設(shè)備上，等所有數(shù)據(jù)全部備份成功，在一個固定時間，進(jìn)行批處理壓縮，實(shí)現(xiàn)重復(fù)數(shù)據(jù)的刪除;其弊端顯而易見，當(dāng)數(shù)據(jù)量過大后，備份窗口過長將導(dǎo)致用戶不堪重負(fù);此外，由于承擔(dān)備份存儲的虛擬帶庫不中斷運(yùn)轉(zhuǎn)，很難完成把虛擬帶庫的數(shù)據(jù)離線克隆到磁帶上。
在線處理能夠解決后處理面臨的問題，但是，對于用戶而言，有些問題也需要加以注意。首先，數(shù)據(jù)的恢復(fù)速度問題，恢復(fù)速度如果太慢，那么采用重復(fù)數(shù)據(jù)刪除技術(shù)將得不償失。此外，有些廠商的系統(tǒng)，其重復(fù)數(shù)據(jù)刪除技術(shù)性能有限，無法處理超過100TB的數(shù)據(jù)。這些問題都會對用戶使用造成障礙。
Diligent的選擇
Diligent是全球著名的從事在線處理重復(fù)數(shù)據(jù)刪除技術(shù)的公司，去年IBM收購了Diligent之后， 由Doran來出任其全球業(yè)務(wù)總監(jiān)，負(fù)責(zé)美國、歐洲、以及大中華的市場。
IBM收購Diligent之后，針對市場需求發(fā)布了IBM System Storage TS7650G ProtecTIER新產(chǎn)品。作為一種在線處理重復(fù)數(shù)據(jù)刪除技術(shù)產(chǎn)品解決方案，它通過一個ProtecTIER服務(wù)器，對虛擬磁帶庫(VTL)提供支持，其中，ProtecTIER提供HyperFactor的在線處理方式的重復(fù)數(shù)據(jù)刪除技術(shù)，它可以提供的壓縮比為25：1，在一些特定的情況下，可以達(dá)到30：1。
據(jù)Hildebrandt介紹，較之市場上其他的在線處理重復(fù)數(shù)據(jù)刪除技術(shù)產(chǎn)品，Diligent有兩大獨(dú)創(chuàng)的技術(shù)：緩存駐留索引和專利精簡算法。其中，緩存駐留索引，使得其索引比可以達(dá)到250000：1，它的價值在于可以確保系統(tǒng)的性能。一方面它可以確保ProtecTIER備份服務(wù)器不成為備份的瓶頸，另外一方面它對于備份數(shù)據(jù)恢復(fù)的性能也直觀重要。此外，由于采用緩存駐留索引的技術(shù)，系統(tǒng)就可以極快的速度計算索引、比較索引，當(dāng)比較結(jié)果相同時，會再度進(jìn)行二進(jìn)制比較，確保數(shù)據(jù)一致性。其專利的精簡算法，可以避免著名的哈希算法(Hashing Algorithms)的不足。
所謂哈希算法，是通過復(fù)雜的哈希算法，計算出一個8K的索引值，再通過該索引值進(jìn)行比較，來確定數(shù)據(jù)是否為重復(fù)數(shù)據(jù)。但是哈希算法畢竟是一種算法，存在所謂的哈希沖突，也就說有可能兩個數(shù)據(jù)雖然完全不同，但計算出的哈希值是一模一樣的。如果重復(fù)數(shù)據(jù)刪除技術(shù)據(jù)此進(jìn)行數(shù)據(jù)刪除，就導(dǎo)致數(shù)據(jù)不一致性，這是一場災(zāi)難。Diligent專利精簡算法，當(dāng)有新的備份數(shù)據(jù)讀入時，在內(nèi)存里先把特征值進(jìn)行定位，然后跟內(nèi)存做比較，如果一旦有相似的特征值，再去從磁盤把相關(guān)的值讀出來，真正做一次二進(jìn)制比較，確保數(shù)據(jù)不會有誤刪除的現(xiàn)象。通過這種計算差異以后，再把新的數(shù)據(jù)，通過2：1的LZH標(biāo)準(zhǔn)壓縮格式存。一方面性能更高，同時可靠性比哈希算法更強(qiáng)，不會出現(xiàn)任何沖突。
尚需努力
針對國內(nèi)市場，Doran指出，數(shù)據(jù)增長主要分為兩部分：一是on site，一是off site。所謂on site是每天在線處理的生產(chǎn)數(shù)據(jù)，而off site是指備份數(shù)據(jù)。在美國，這兩部分?jǐn)?shù)據(jù)增長是相差無幾的;在中國，比較偏重on site。這說明中國的數(shù)據(jù)保護(hù)做得不夠好。他表示，隨著有關(guān)法律、法規(guī)的實(shí)施，中國對于數(shù)據(jù)備份的需求，將會呈現(xiàn)快速成長，而重復(fù)數(shù)據(jù)刪除技術(shù)，將可以有效幫助用戶減緩數(shù)據(jù)存儲的壓力。
針對主存儲系統(tǒng)，也存在著一定的重復(fù)數(shù)據(jù)，對此，Doran表示，IBM也對主存儲的重復(fù)數(shù)據(jù)刪除密切加以注釋，將視用戶的需求，適時推出有關(guān)產(chǎn)品。但是現(xiàn)在的重復(fù)數(shù)據(jù)刪除的重點(diǎn)還主要集中在數(shù)據(jù)備份領(lǐng)域。在這個領(lǐng)域，Diligent ProtecTIER為用戶提供了選擇。
下載文檔
