存儲內(nèi)處理：存儲和處理器間的平衡

時間：2013-03-07 16:29:34

關(guān)鍵字：處理器應(yīng)用程序存儲系統(tǒng) MDASH

手機看文章

掃描二維碼
隨時隨地手機看文章

[導(dǎo)讀]如果存儲免費，你會把它放在哪里？答案顯然是：“盡量離處理器更近的地方”。不過如果你討論的是大數(shù)據(jù)，那么問題則稍微有些不同：如果所有的處理都是免費的，你會把它放在哪里？答案是“盡量靠近存儲

如果存儲免費，你會把它放在哪里？答案顯然是：“盡量離處理器更近的地方”。

不過如果你討論的是大數(shù)據(jù)，那么問題則稍微有些不同：如果所有的處理都是免費的，你會把它放在哪里？答案是“盡量靠近存儲的地方”。

這差不多就是存儲內(nèi)處理在大數(shù)據(jù)情境下所試圖做的事情。這種技術(shù)不是試圖將TB級從存儲系統(tǒng)遷移到處理器，而是在存儲控制器內(nèi)的處理器上運行應(yīng)用程序。

當(dāng)然，處理能力實際上并不是完全免費的，不過它的價格已經(jīng)大幅下滑。此外，存儲系統(tǒng)也有不再需要專門ASIC(專用集成電路)的趨勢。存儲軟件運行在傳統(tǒng)的行業(yè)標(biāo)準(zhǔn)的服務(wù)器上。這些服務(wù)器有非常強大的處理器，能力遠不止運行存儲軟件。

企業(yè)策略集團(ESG)高級分析師Mark Peters表示：“存儲廠商現(xiàn)在越來越多說的是他們的存儲服務(wù)器有空閑的處理能力。”顯然應(yīng)該將這些處理能力用在存儲以外的事情上——比如運行存儲系統(tǒng)內(nèi)部的應(yīng)用程序。他表示：“我認為存儲廠商是很實際的，他們在建議更加充分地利用處理資源。”

謹慎的做法是在存儲服務(wù)器內(nèi)部運行有限數(shù)量的虛擬機，并允許這些虛擬機運行合適的應(yīng)用程序。這帶來了一個問題：哪些應(yīng)用程序最適合用這種方式運行？

根據(jù)大數(shù)據(jù)存儲廠商DataDirect Networks營銷副總裁Jeff Denworth的說法，相對簡單的應(yīng)用程序最好。DataDirect已經(jīng)在它的存儲系統(tǒng)內(nèi)提供存儲內(nèi)處理能力。Denworth解釋道：“這個環(huán)境下最好的應(yīng)用程序是那些運行預(yù)處理或后處理算法、分析數(shù)據(jù)、篩選數(shù)據(jù)或應(yīng)用元數(shù)據(jù)的應(yīng)用程序。不過你必須記住的是它不能代替超級計算機，因為存儲系統(tǒng)內(nèi)部并沒有很高的處理能力。”

這些應(yīng)用程序還必須運行在得到存儲內(nèi)虛擬機管理器支持的操作系統(tǒng)上——典型的是Linux或Windows。(DDN的系統(tǒng)使用修改后的KVM虛擬化系統(tǒng)來承載虛擬機，同時I/O基礎(chǔ)設(shè)施也被修改為用一組記憶體指針來呈現(xiàn)應(yīng)用程序)顯然這些應(yīng)用程序不能依賴于GPU加速，因為存儲設(shè)備內(nèi)沒有強大的圖形子系統(tǒng)。

存儲內(nèi)處理舉例

實際上，預(yù)處理和后處理算法是大數(shù)據(jù)環(huán)境中典型的需要的應(yīng)用程序。

例如，射電天文學(xué)研究國際中心(ICRAR)的Square Kilometre Array望遠鏡每天都要產(chǎn)生100萬TB數(shù)據(jù)。這是非?？捎^的數(shù)據(jù)量，但是只有一小部分是有意義并需要保留的——其他的是沒用的可以拋棄的“噪音”。問題是如何分析這種數(shù)據(jù)并過濾出噪音。為了做到這一點，ICRAR在DDN存儲系統(tǒng)上存儲進入的數(shù)據(jù)，并在存儲系統(tǒng)內(nèi)置的虛擬機上運行數(shù)據(jù)縮減算法，使用存儲系統(tǒng)的處理資源。

1 2

在美國能源部，超級計算機在運行天氣模擬和其他數(shù)學(xué)模型的時候要產(chǎn)生數(shù)十PB的裸數(shù)據(jù)。這些數(shù)據(jù)以每秒100GB的速度進入存儲系統(tǒng)。能源部科學(xué)數(shù)據(jù)管理SciDAC技術(shù)中心的存儲研究院Rob Ross博士表示在存儲系統(tǒng)上分析數(shù)據(jù)的好處是可以減少成本并提高速度。

他表示：“你一開始將數(shù)據(jù)從存儲遷移到計算機的速度是有限制的。”繞過這個網(wǎng)絡(luò)因素可以減少將數(shù)據(jù)從一個主機總線適配器遷移到交換機并進一步遷移到服務(wù)器進行處理所帶來的開銷，同時由于減少了跳轉(zhuǎn)，延遲時間也更低。應(yīng)用程序可以運行在與存儲系統(tǒng)高速緩存一樣的記憶體地址空間中。

Ross表示：“原來的做法會在遷移數(shù)據(jù)的時候帶來網(wǎng)絡(luò)的成本以及等待數(shù)據(jù)被遷移的成本。現(xiàn)在進行存儲內(nèi)處理是更加聰明的做法。”

即將起飛

存儲內(nèi)處理這個技術(shù)實際上已經(jīng)存在一段時間了——DDN早在2009年就將這技術(shù)引入到它的存儲設(shè)備中——不過這個技術(shù)還沒什么大的影響。比如，Denworth表示只有10%的DDN客戶目前在使用這個技術(shù)。

造成這種情況的原因之一可能是因為大廠商不太情愿引入這個技術(shù)。ESG的Mark Peters解釋道：“所有推出存儲內(nèi)處理技術(shù)的公司都是小一些的公司。”除了DDN外，其他公司還包括Pivot3和Scale Computing。他表示：“我不認為大公司希望用戶了解到他們的存儲可能是運行在標(biāo)準(zhǔn)的X86服務(wù)器上。”

不過，現(xiàn)在大數(shù)據(jù)還只是剛剛嶄露頭角，隨著大規(guī)模數(shù)據(jù)倉庫在企業(yè)中越來越流行，越來越多的廠商可能會擁抱這個技術(shù)。當(dāng)然這只是ESG的Mark Peters的說法：“我認為，未來在存儲系統(tǒng)內(nèi)執(zhí)行處理任務(wù)將肯定會更加流行。”

1 2