HDTV制作中廣泛應用的數(shù)字媒體領(lǐng)域存儲技術(shù)
隨著數(shù)字媒體技術(shù)的發(fā)展,存儲技術(shù)在數(shù)字媒體領(lǐng)域也得到了廣泛應用。特別是數(shù)字技術(shù)的迅猛變革,使存儲數(shù)字媒體的技術(shù)手段也發(fā)生很大變化。在媒體爆炸性增長的同時,廣電界十分關(guān)心數(shù)字技術(shù)的未來發(fā)展,同時也更加關(guān)心數(shù)字媒體資產(chǎn)的管理、使用和存儲。本文圍繞6種常用數(shù)字存儲技術(shù)及在數(shù)字視頻中的應用進行淺析,供同仁參考。
SCSI技術(shù)
SCSI的發(fā)展經(jīng)過三個階段。SCSI協(xié)議的第一版本僅規(guī)定了5MB/s的傳輸速度的總線類型,接口定義、電纜規(guī)格等標準。第二版本作了較大修改。SCSI-2協(xié)議規(guī)定了16位數(shù)據(jù)帶寬。高速的SCSI存儲技術(shù)陸續(xù)成為市場的主流,也使SCSI技術(shù)牢牢地占據(jù)了隨機存儲市場。SCSI-3協(xié)議增加了能滿足特殊設備協(xié)議所需要的命令集,使得它既能適應傳統(tǒng)的并行傳輸設備,又能適應最新出現(xiàn)的一些串行設備的通信需要,如光纖通道協(xié)議(FCP)、串行存儲協(xié)議(SSP)、串行總線協(xié)議等。
由于SCSI技術(shù)兼容性好,市場需求大,其技術(shù)不斷翻新?,F(xiàn)在已從5MB/s傳輸速度的SCSI-1發(fā)展到LVD的160MB/s,近期320 MB/s的SCSI也已投入使用。
SCSI技術(shù)廣泛應用于非線性編輯、字幕機等制作設備。早期的硬盤播出設備采用該技術(shù)構(gòu)建視音頻服務器,但因其可靠性等原因而被新技術(shù)取代。高可靠性的大型存儲系統(tǒng),通常把SCSI技術(shù)與其它技術(shù)結(jié)合來實現(xiàn)故障自恢復,提高安全性,達到系統(tǒng)不間斷工作的目的。
存儲網(wǎng)絡技術(shù)
它是近年高速發(fā)展的技術(shù),具有安全性高、動態(tài)擴展性強的特點。許多基于工業(yè)標準的網(wǎng)絡存儲方案已經(jīng)得到廣泛應用。目前在數(shù)字媒體領(lǐng)域應用最多的是局域網(wǎng)存儲,理論上帶寬可達1Gb/s,實測帶寬可在700Mb/s左右;其次是光纖通道技術(shù),理論上在全雙工的情況下,帶寬可達2Gb/s,單通道達1Gb/s,實測帶寬可在720 Mb/s左右。前者是基于低價位的分布式網(wǎng)絡存儲方案,后者主要架構(gòu)采用專用存儲,并逐漸向中低市場發(fā)展。
Intel公司推動的Infiniband是基于IA-64架構(gòu)的核心存儲技術(shù),第一階段是取代PC,帶寬目標是2.5Gb/s;第二階段達到Cluster應用,帶寬目標是30Gb/s。其目標宏偉,是否可被市場接受,技術(shù)瓶頸能否突破,人們將拭目以待。
存儲網(wǎng)絡技術(shù)近年在視頻領(lǐng)域發(fā)展迅猛。無論是從管理、制作還是播出都得到廣泛應用。但是在目前的技術(shù)條件下,形成大型電視臺的制播一體網(wǎng),全臺媒體資產(chǎn)的中心存儲和統(tǒng)一管理,還有不少的技術(shù)難點需要克服。特別是存儲網(wǎng)絡技術(shù)的帶寬問題是面臨的最大障礙。
RAID技術(shù)
RAID是一種由多塊廉價磁盤構(gòu)成的冗余陣列。雖然RAID包含多塊磁盤,但是在操作系統(tǒng)下是作為一個獨立的大型存儲設備出現(xiàn)。RAID技術(shù)分為幾種不同的等級,可以分別提供不同的速度、安全性和性價比。
RAID0是最簡單的一種形式。RAID0可以把多塊硬盤連接在一起形成一個容量更大的存儲設備。但由于RAID0沒有冗余或錯誤修復能力,其安全性大大降低。因此,在RAID0中配置4塊以上的硬盤,對一般應用是不明智的。如果其中的任何一塊磁盤出現(xiàn)故障,整個系統(tǒng)將會受到破壞,無法繼續(xù)使用。國內(nèi)早期,某些視音頻服務器采用RAID0技術(shù),幾乎沒有幾臺能夠長期、安全使用。
RAID1和RAID0截然不同,其技術(shù)重點全部放在如何能夠在不影響性能的情況下最大限度的保證系統(tǒng)的可靠性和數(shù)據(jù)可修復性上。RAID1又被稱為磁盤鏡像,每一個磁盤都具有一個對應的鏡像盤。RAID1是所有RAID等級中實現(xiàn)成本最高的一種,盡管如此,人們還是選擇RAID1來保存那些關(guān)鍵性的重要數(shù)據(jù)。
RAID3是利用一個專門的磁盤存放所有的校驗數(shù)據(jù),而在剩余的磁盤中創(chuàng)建帶區(qū)集分散數(shù)據(jù)的讀寫操作。RAID3不僅可以像RAID1那樣提供容錯功能,而且整體開銷從RAID1的50%下降為25%(RAID3+1)。隨著所使用磁盤數(shù)量的增多,額外成本開銷會越來越小。在不同情況下,RAID3讀寫操作的復雜程度也不相同。最簡單的情況就是從一個完好的RAID3系統(tǒng)中讀取數(shù)據(jù)。這時,只需要在數(shù)據(jù)存儲盤中找到相應的數(shù)據(jù)塊進行讀取操作即可,不會增加額外的系統(tǒng)開銷。當向RAID3寫入數(shù)據(jù)時,情況會變得復雜一些。即使我們只是向一個磁盤寫入一個數(shù)據(jù)塊,必須計算與該數(shù)據(jù)塊同處一個帶區(qū)的所有數(shù)據(jù)塊的校驗值,并將新值重新寫入到校驗塊中。由此我們可以看出,一個寫入操作事實上包含了數(shù)據(jù)讀取(讀取帶區(qū)中的關(guān)聯(lián)數(shù)據(jù)塊),校驗值計算,數(shù)據(jù)塊寫入和校驗塊寫入4個過程。系統(tǒng)開銷大大增加。我們可以通過適當設置帶區(qū)的大小使RAID系統(tǒng)得到簡化。如果某個寫入操作的長度恰好等于一個完整帶區(qū)的大小(全帶區(qū)寫入),那么我們就不必再讀取帶區(qū)中的關(guān)聯(lián)數(shù)據(jù)塊計算校驗值。我們只需要計算整個帶區(qū)的校驗值,然后直接把數(shù)據(jù)和校驗信息寫入數(shù)據(jù)盤和校驗盤即可。到目前為止,我們所探討的都是正常運行狀況的下的數(shù)據(jù)讀寫。下面,我們再來看一下當硬盤出現(xiàn)故障時,RAID系統(tǒng)在降級模式下的運行情況。
RAID3雖然具有容錯能力,但是系統(tǒng)性能會受到影響。當一塊磁盤失效時,該磁盤上的所有數(shù)據(jù)必須使用校驗信息重新建立。如果我們是從好盤中讀取數(shù)據(jù)塊,不會有任何變化。但是如果我們所要讀取的數(shù)據(jù)塊正好位于已經(jīng)損壞的磁盤,則必須同時讀取同一帶區(qū)中的所有其它數(shù)據(jù)塊,并根據(jù)校驗值重新建丟失的數(shù)據(jù)。當我們更換了損壞的磁盤之后,系統(tǒng)必須一個數(shù)據(jù)塊一個數(shù)據(jù)塊的重建壞盤中的數(shù)據(jù)。整個過程包括讀取帶區(qū)、計算丟失的數(shù)據(jù)塊和向新盤寫入新的數(shù)據(jù)塊,都是在后臺自動進行。重建活動最好是在RAID系統(tǒng)空閑的時候進行,否則整個系統(tǒng)的性能會受到嚴重的影響。
與RAID3不同,RAID5是將校驗數(shù)據(jù)平均分配到每一個磁盤上,各塊硬盤分別獨立進行條帶化分割,相同的條帶區(qū)進行奇偶校驗(異或運算),這樣就可以確保任何對校驗塊進行的讀寫操作都會在所有的RAID磁盤中進行均衡。因此,RAID5具有良好的隨機讀性能,因為在規(guī)定的傳輸塊大小范圍內(nèi)的數(shù)據(jù)只需訪問單個數(shù)據(jù)驅(qū)動器,也克服了RAID3單個冗余盤的局限性。
RAID5的主要缺點是降低寫功能,因為它是一位或一個字節(jié)地寫在磁盤上,經(jīng)過處理后,使數(shù)據(jù)塊1的位或字節(jié)寫在數(shù)據(jù)塊1上,數(shù)據(jù)塊2的位或字節(jié)寫在數(shù)據(jù)塊2上,……因此,在寫數(shù)據(jù)時處理的環(huán)節(jié)比較多,降低了隨機寫功能。
采用IDE硬盤構(gòu)建RAID的技術(shù)是新出現(xiàn)的一個技術(shù)方向。由于IDE設備擴展性和IDE設備支持熱插拔的技術(shù)限制,IDE設備的RAID應用尚不夠廣泛。
在廣電業(yè),使用RAID技術(shù)最多的是視音頻服務器和非線性編輯硬盤塔。其它存儲設備也廣泛應用,但不如上述設備更加引人注目。
SAN技術(shù)
SAN是存儲技術(shù)進入網(wǎng)絡時代的的產(chǎn)物。它一方面能為網(wǎng)絡應用系統(tǒng)提供豐富、快速和簡便的存儲資源;另一方面又能對網(wǎng)上的存儲資源進行集中統(tǒng)一的管理,成為當今理想的存儲管理和應用模式。它即可以作為電視臺業(yè)務管理的結(jié)構(gòu),也可以作為視音頻播出服務器的網(wǎng)絡化構(gòu)架。
NAS技術(shù)
NAS是目前發(fā)展速度最快的數(shù)據(jù)存儲設備之一。在典型的網(wǎng)絡架構(gòu)中,數(shù)據(jù)成為了網(wǎng)絡的中心,NAS設備是直接連接在網(wǎng)絡上的。它具有如下的特點:(1)NAS設備是作為單獨的文件服務器存在的。網(wǎng)絡中所有設備的大多數(shù)據(jù)均存儲在NAS設備上。(2)將NAS設備連接到網(wǎng)絡中非常方便。如通過設置簡單的IP地址等,就可以即插即用地使用NAS設備。(3)NAS設備使用的方便性,可大大降低設備的管理和維護費用。(4)NAS設備可以支持不同的操作系統(tǒng)平臺。同時提供了RAID硬盤、冗余電源和風扇、冗余控制器,可保證7×24小時工作。
該技術(shù)在數(shù)字視頻領(lǐng)域用于中心在線存儲、網(wǎng)絡硬盤服務器和網(wǎng)絡非線性編輯等。
數(shù)據(jù)流磁帶技術(shù)
數(shù)據(jù)流磁帶技術(shù)是一門古老的技術(shù)。伴隨著技術(shù)的不斷發(fā)展和更新,其容量、讀寫速度、可靠性的迅速提高,它在廣電領(lǐng)域的應用也引起重視。常用的磁帶存儲技術(shù)有三類:
1.LTO技術(shù)
LTO即線性磁帶開放協(xié)議,是由HP、IBM和Seagate三家廠商于1997年底聯(lián)合制定的。它是開放式的技術(shù),三家廠商將生產(chǎn)許可證開放給存儲介質(zhì)和磁帶機廠商,使不同廠家的產(chǎn)品兼容。開放性帶來更多的創(chuàng)新,兼容已有設備,降低成本和價格,使用戶受益。LTO結(jié)合了線性多通道、雙向磁帶格式、硬件數(shù)據(jù)壓縮、優(yōu)化的磁道存儲和高效糾錯技術(shù),大大提高磁帶的性能。目前LTO支持Ultrium(高速開放磁帶格式)和Accelis(快速訪問開放磁帶格式)。Ultrium格式具有高可靠性、大容量的特點。特別是能單獨操作,也可以在自動環(huán)境中使用。Accelis則側(cè)重于快速數(shù)據(jù)存儲。它在磁帶盒中裝有雙軌磁帶存儲器用于加快讀寫速度。兩種格式使用同樣的磁頭、介質(zhì)磁道面、通道和服務技術(shù),并共享許多代碼。兩種格式相較而言,大部分用戶更強調(diào)存儲容量,因而Ultrium技術(shù)更引人注目。國內(nèi)廣電業(yè)于2002年開始引用該技術(shù)作媒體資產(chǎn)存儲,這是一個值得重視的技術(shù)走向。
2.DAT技術(shù)
DAT(數(shù)字音頻磁帶技術(shù))最早由HP和Sony開發(fā)。它采用螺旋掃描技術(shù),早期主要用于數(shù)字音頻存儲,后來經(jīng)過改進,用于信息存儲領(lǐng)域,而且種種跡象表明,DAT的優(yōu)勢還將繼續(xù)保持。DAT技術(shù)之所以大受歡迎,很重要的原因是其很高的性價比、高可靠性。另外該技術(shù)全世界都采用,因此世界范圍都可得到該產(chǎn)品的持續(xù)供貨和良好的售后服務。
3.DLT(數(shù)字線性磁帶)技術(shù)
該技術(shù)最早于1985年由DEC公司開發(fā),它主要應用于VAX機。當時是高性能、高價格,僅應用于很少領(lǐng)域。經(jīng)改進后,又重新成為存儲領(lǐng)域的熱門技術(shù)。目前磁帶驅(qū)動器容量為10~35GB,采用硬件壓縮技術(shù),容量可提高一倍。但DLT技術(shù)也存在一定的劣勢。驅(qū)動器和磁介質(zhì)價格高,主系統(tǒng)和網(wǎng)絡之間帶寬窄。非標準的外型設計使內(nèi)部受到很大限制。但該技術(shù)仍可視為未來有前途的產(chǎn)品。目前只被少數(shù)需要高性能備份的用戶采用。
特別值得提及,上述各種數(shù)據(jù)流磁帶機均稱有硬件壓縮技術(shù),可將數(shù)據(jù)無損壓縮一倍或一倍以上。但是在廣電數(shù)字媒體領(lǐng)域,大部分的數(shù)字媒體采用了MPEG-1、MPEG-2和MPEG-4壓縮,當把這些數(shù)據(jù)保存到磁帶機上時,數(shù)據(jù)不能再壓縮。如果再次用磁帶機的硬件壓縮,不但不能壓縮數(shù)據(jù),而且會增加容量,這是由實驗得出的結(jié)果。在考慮數(shù)據(jù)流磁帶庫容量時,如果存儲的是MPEG或JPEG文件,不能按硬件壓縮能力設計容量。
此外,光存儲技術(shù)、Cluster存儲、IP存儲和面向?qū)ο蟮木W(wǎng)絡數(shù)據(jù)庫存儲技術(shù)也是蓬勃向上、值得關(guān)注的熱點,限于篇幅此處略。
實際上,上述技術(shù)并不是孤立存在的,而是綜合應用這些技術(shù)來構(gòu)造系統(tǒng)。例如,GVG公司和Pinnacle公司視音頻服務器的存儲陣列服務器采用RAID3技術(shù),存儲陣列服務器主、備鏡像,視音頻服務器與存儲陣列服務器采用FC的NAS方式。SeaChange公司服務器的存儲陣列采用RAID5技術(shù),服務器之間采用Cluster連接、RAID2故障自恢復方式,對外接口用Local Ethernet互聯(lián)。
在系統(tǒng)選型和設計系統(tǒng)時,要充分考慮存儲及系統(tǒng)的可擴充能力。例如,網(wǎng)絡化的非線性編輯系統(tǒng),如果硬盤存儲陣列采用單通道FC傳輸,理論帶寬是1000Mb/s,實際傳輸有效帶寬約標稱帶寬的70%左右,在這樣的系統(tǒng)上,8個或8個以上精編站同時工作就容易出現(xiàn)等待或死機(容錯功能設計不很完善時)現(xiàn)象。如果你定購時按單通道FC硬盤存儲陣列設計,以后擴充5個以上精編站,而沒有擴充硬盤存儲陣列的結(jié)構(gòu),出現(xiàn)問題也是很正常的。
技術(shù)在發(fā)展,多種存儲技術(shù)在互相競爭,互相促進和共融,適者生存。沒有絕對的先進領(lǐng)先,只有相對的領(lǐng)先。特別是設計數(shù)字媒體應用系統(tǒng)時,要根據(jù)對像、投資、技術(shù)要求來確定選用的存儲技術(shù)和結(jié)構(gòu)類型,缺乏前瞻和過于追求低價格,都會造成不必要的浪費。