IBM四大Power解決方案“進(jìn)擊”大數(shù)據(jù)

大數(shù)據(jù)中有“黃金”如今已經(jīng)成為公認(rèn)的事實(shí)，但從浩瀚的大數(shù)據(jù)中找出“黃金”卻并不簡單。“工欲善其事，必先利其器”，工匠要做出一件漂亮的作品，一套趁手的鋸刨鑿鉆必不可少，而對于應(yīng)用大數(shù)據(jù)來說，一套有效的IT基礎(chǔ)架構(gòu)能大大簡化大數(shù)據(jù)落地的過程，在這方面，IBM有著獨(dú)到之處。

11月21日，IBM在上海召開的Power大數(shù)據(jù)論壇上展示了四類基于Power Systems的大數(shù)據(jù)解決方案，分別面向靜態(tài)大數(shù)據(jù)處理、實(shí)時(shí)大數(shù)據(jù)處理、數(shù)據(jù)倉庫和數(shù)據(jù)集市。這些解決方案的特點(diǎn)是硬件上均采用IBM Power平臺，具有高性能、高可靠、高吞吐等特點(diǎn)，并且集IBM咨詢、服務(wù)、硬件、軟件為一體，以應(yīng)用為導(dǎo)向，面向不同類別的企業(yè)大數(shù)據(jù)應(yīng)用。

不同的大數(shù)據(jù)需要不同的“提煉”方式

云計(jì)算方興未艾，大數(shù)據(jù)又快速興起，如今，大數(shù)據(jù)已經(jīng)成為最為炙手可熱的新興產(chǎn)業(yè)。“中國大數(shù)據(jù)市場未來5年將以51.4%的速度增長”，IBM大中華區(qū)副總裁及系統(tǒng)與科技部Power Systems總經(jīng)理侯淼先生介紹說，據(jù)IDC預(yù)測，中國大數(shù)據(jù)技術(shù)與服務(wù)市場將從2011年的7760萬美元增長到2016年的6.16億美元。

侯淼先生指出，在行業(yè)方面，大數(shù)據(jù)應(yīng)用已經(jīng)從電子商務(wù)、互聯(lián)網(wǎng)、快消品等行業(yè)向金融、政府、公共事業(yè)、能源、交通等行業(yè)擴(kuò)展;而從應(yīng)用場景來看，大數(shù)據(jù)應(yīng)用已經(jīng)從用戶上網(wǎng)行為分析拓展到電力安全監(jiān)控系統(tǒng)、輿情監(jiān)控等等。

IBM大中華區(qū)副總裁及系統(tǒng)與科技部Power Systems總經(jīng)理侯淼先生

對于企業(yè)而言，大數(shù)據(jù)帶來了新的機(jī)會(huì)。“大數(shù)據(jù)與分析能夠幫助企業(yè)實(shí)施創(chuàng)新，成為行業(yè)領(lǐng)導(dǎo)者”，侯淼先生表示，大數(shù)據(jù)與分析能夠從“獲取、擴(kuò)大和保留客戶、改善IT經(jīng)濟(jì)效益、優(yōu)化運(yùn)營和減少欺詐、管理風(fēng)險(xiǎn)、轉(zhuǎn)型財(cái)務(wù)流程、創(chuàng)建新業(yè)務(wù)模式”等方面為企業(yè)帶來新的價(jià)值，故而大數(shù)據(jù)與分析能夠成為當(dāng)前企業(yè)所面臨的一種“顛覆性”力量。

IBM系統(tǒng)與科技部大中華區(qū)Power Systems產(chǎn)品總監(jiān)李紅女士將大數(shù)據(jù)比喻為新型“石油”，未經(jīng)加工的石油沒有什么價(jià)值，而加工過的石油才能助力世界。同樣，如果大數(shù)據(jù)不能有效地加工處理、分析，數(shù)據(jù)就還將是數(shù)據(jù)，不會(huì)產(chǎn)生任何的價(jià)值。“大數(shù)據(jù)需要充分的提煉才能真正服務(wù)于客戶，實(shí)現(xiàn)價(jià)值”，李紅女士強(qiáng)調(diào)說。

“多樣性是大數(shù)據(jù)的一個(gè)典型特征，對于不同的大數(shù)據(jù)類型，需要不同的系統(tǒng)對它進(jìn)行提煉，但作為大數(shù)據(jù)及分析平臺必須要有整體的視角對各類大數(shù)據(jù)進(jìn)行統(tǒng)一管理，避免掉入孤島陷阱，最終獲得完整數(shù)據(jù)價(jià)值”，李紅女士表示，面向不同大數(shù)據(jù)類型，大數(shù)據(jù)應(yīng)用可分為靜態(tài)批量大數(shù)據(jù)處理、實(shí)時(shí)大數(shù)據(jù)處理、數(shù)據(jù)倉庫整合、數(shù)據(jù)集市構(gòu)建四類，IBM面向這四類應(yīng)用都有著專門的解決方案。

四大Power解決方案進(jìn)擊大數(shù)據(jù)

大數(shù)據(jù)的分布式結(jié)構(gòu)讓更多的觀點(diǎn)認(rèn)為“x86+Hadoop”是承載大數(shù)據(jù)的最佳平臺，但I(xiàn)BM有著不同的觀點(diǎn)，IBM所展示的四類大數(shù)據(jù)解決方案均基于Power Systems平臺，IBM認(rèn)為，Power平臺更加適合大數(shù)據(jù)分析：

“Power系統(tǒng)采用Power7+處理器，每處理器核心具有四個(gè)線程，可以同時(shí)進(jìn)行計(jì)算，對并發(fā)計(jì)算有天然的支持;高吞吐，大數(shù)據(jù)要求I/O和內(nèi)存帶寬，Power7+具有非常大的內(nèi)存和I/O帶寬，這也是沃森超級計(jì)算機(jī)成功的關(guān)鍵;對應(yīng)用的優(yōu)化，Power7+提供了高度優(yōu)化的JVM，更適合大數(shù)據(jù)應(yīng)用需求”，李紅女士介紹了Power硬件平臺適合大數(shù)據(jù)應(yīng)用的三大優(yōu)勢。

IBM Power靜態(tài)大數(shù)據(jù)解決方案基于IBM天合應(yīng)用服務(wù)器(PowerLinux)和GPFS-FPO或HDFS并行文件系統(tǒng)，再上面是Platform Symphony管理軟件、InfoSphere BigInsight分析工具或開源Hadoop，形成軟硬一體化的解決方案。“Symphony是同類中最佳的MapReduce執(zhí)行方案，對計(jì)算密集型大數(shù)據(jù)應(yīng)用優(yōu)勢明顯;BigInsight在Hadoop框架上增加了IBM獨(dú)特的技術(shù)優(yōu)勢，如安全管理和工作流等，并融入了IBM獨(dú)特的數(shù)據(jù)分析、機(jī)器學(xué)習(xí)和文本數(shù)據(jù)分析挖掘等技術(shù)。”

IBM系統(tǒng)與科技部大中華區(qū)Power Systems產(chǎn)品總監(jiān)李紅女士介紹大數(shù)據(jù)方案

李紅女士特別提到了GPFS-FPO并行文件系統(tǒng)，它支持1000個(gè)節(jié)點(diǎn)，支持遠(yuǎn)程復(fù)制、支持大規(guī)模的水平擴(kuò)展，支持Symphony和BigInsight，并且經(jīng)過多家數(shù)據(jù)庫廠商認(rèn)證。對于需要先行排序的Sort操作，提供2~3倍Hadoop性能，對于文件檢索等查找工作，提供17倍開源Hadoop的效率，是一個(gè)更加適合大規(guī)模應(yīng)用的并行文件系統(tǒng)。

大數(shù)據(jù)應(yīng)用并不僅僅是靜態(tài)的，還包括GPS、醫(yī)療檢測分析、天氣預(yù)報(bào)、金融交易等實(shí)時(shí)數(shù)據(jù)分析，為此，IBM提供了Power流數(shù)據(jù)解決方案，同樣基于天合應(yīng)用服務(wù)器和GPFS-FPO并行文件系統(tǒng)。“實(shí)時(shí)大數(shù)據(jù)處理對內(nèi)存要求高， Power對大內(nèi)存的支持非常符合;實(shí)時(shí)性大數(shù)據(jù)應(yīng)用中有大量數(shù)據(jù)在流動(dòng)，對網(wǎng)絡(luò)帶寬要求高，這方面Power也有天然優(yōu)勢”，李紅女士表示。

數(shù)據(jù)倉庫是最傳統(tǒng)的數(shù)據(jù)應(yīng)用類型，是文本型關(guān)系型數(shù)據(jù)庫分析，比如經(jīng)營分析系統(tǒng)。在數(shù)據(jù)倉庫方面IBM也有著完善的解決方案。李紅女士介紹說，IBM Power系統(tǒng)采用集中式架構(gòu)，具有強(qiáng)大的向上擴(kuò)展能力，為OLTP和OLAP應(yīng)用提供了性能保障;Power平臺的RAS特性更加適合數(shù)據(jù)庫所要求的苛刻可靠性;DB2 PureScale能夠?qū)崿F(xiàn)對Power集中式架構(gòu)的進(jìn)一步增強(qiáng)，性能及可靠性大幅提高。

在數(shù)據(jù)集市方面，李紅女士介紹了IBM獨(dú)有的DB2 BLU加速器技術(shù)。BLU加速器采用內(nèi)存列式計(jì)算方式，能夠動(dòng)態(tài)移動(dòng)無用數(shù)據(jù)，這就降低了硬件平臺的內(nèi)存要求;無需解壓就能使用壓縮數(shù)據(jù)，更加快速高效。“DB2 BLU+Power的組合，報(bào)告和分析能夠快8~25倍，在一些十余年測試中可能高達(dá)1000倍;客戶測試結(jié)果達(dá)到10倍存儲空間節(jié)省。”

李紅女士認(rèn)為，IBM Power平臺大數(shù)據(jù)解決方案的優(yōu)勢還表現(xiàn)在技術(shù)的傳承和完整性方面：“Power傳承了以前的數(shù)據(jù)倉庫、數(shù)據(jù)挖掘、數(shù)據(jù)集市、業(yè)務(wù)數(shù)據(jù)庫的優(yōu)勢，和以前的系統(tǒng)鏈接可以做平滑無縫的鏈接，還可以拓展新的需求，如開源的、非結(jié)構(gòu)化數(shù)據(jù)、流數(shù)據(jù)分析等，都可以集成到新的方案里。IBM提供的不光是一個(gè)硬件，是一整套的解決方案。”

IBM大中華區(qū)副總裁及系統(tǒng)與科技部Power Systems總經(jīng)理侯淼先生認(rèn)為，IBM Power平臺的另一大優(yōu)勢是長期的投入和對客戶的承諾，今年，IBM聯(lián)合谷歌、NV等廠商成立了OpenPower聯(lián)盟，并宣布投入10億美金投入Linux和Power平臺的開源創(chuàng)新，推出基于PowerLinux的天合應(yīng)用服務(wù)器，并在北京成立Power Systems Linux中心，這些投入為IBM Power大數(shù)據(jù)解決方案提供了有力支撐。

IBM大數(shù)據(jù)方案電信行業(yè)顯身手

電信運(yùn)營商每天要處理大量的數(shù)據(jù)，有著天然的大數(shù)據(jù)“金礦”，故而電信成為中國最早涉足大數(shù)據(jù)分析應(yīng)用的行業(yè)之一，北京電信正是一個(gè)典型的例子。據(jù)介紹，北京電信有著豐富的“數(shù)據(jù)資產(chǎn)”，通過判定用戶的使用習(xí)慣實(shí)現(xiàn)精準(zhǔn)的定向營銷、制定符合用戶習(xí)慣的資費(fèi)政策，或者通過用戶興趣愛好提供有針對性的網(wǎng)絡(luò)便利性服務(wù)，成為北京電信新的利潤增長點(diǎn)。

北京電信選擇了基于IBM PowerLinux天合應(yīng)用服務(wù)器的大數(shù)據(jù)解決方案建立了大數(shù)據(jù)分析平臺，實(shí)現(xiàn)了獨(dú)立的DPI流量即席查詢功能，并開展了有針對性的內(nèi)容與應(yīng)用推薦營銷。負(fù)責(zé)北京電信大數(shù)據(jù)平臺搭建工作的北京信合運(yùn)通科技有限公司華北大區(qū)技術(shù)總監(jiān)徐振介紹說，相比9臺x86服務(wù)器，4臺PowerLinux服務(wù)器在測試中每核加載速度是x86內(nèi)核的11.18倍，每核處理能力是x86內(nèi)核的9.63倍。Symphony提供了可視化界面，簡化了人員的操作。

北京信合運(yùn)通科技有限公司華北大區(qū)技術(shù)總監(jiān)徐振

IBM大數(shù)據(jù)方案的表現(xiàn)獲得了徐振的認(rèn)可，他表示，PowerLinux是性能與成本平衡的硬件平臺，GPFS-FPO并行文件系統(tǒng)要更加成熟可靠，Symphony更加適合計(jì)算密集型應(yīng)用。

PowerLinux天合應(yīng)用服務(wù)器是IBM Power家族中一條獨(dú)特的產(chǎn)品線，將PowerLinux服務(wù)器、Linux操作系統(tǒng)、VAD(增值分銷商)合作伙伴的軟件打包在一起，形成以應(yīng)用為導(dǎo)向的解決方案。據(jù)侯淼先生介紹，天合應(yīng)用服務(wù)器獲得了中國市場的肯定，獲得了高速增長，今年第三季度的銷售額達(dá)到上半年的一倍。

“沃森”：認(rèn)知計(jì)算揭開新篇章

在IBM的大數(shù)據(jù)框架中，著名的“沃森”超級計(jì)算機(jī)是其中一個(gè)特別的系統(tǒng)。眾所周知，誕生于2011年的“沃森”在美國電視節(jié)目《危險(xiǎn)邊緣》中戰(zhàn)勝了人類，成為人工智能發(fā)展史上里程碑似的產(chǎn)品。IBM系統(tǒng)與科技部Power Systems全球?qū)嶒?yàn)室服務(wù)總監(jiān)Ian Jarman先生表示，“沃森”是全新的認(rèn)知計(jì)算的代表，在大數(shù)據(jù)浪潮的推動(dòng)下，“沃森”也將有著新的角色。

IBM系統(tǒng)與科技部Power Systems全球?qū)嶒?yàn)室服務(wù)總監(jiān)Ian Jarman先生介紹“沃森”

IBM“沃森”實(shí)際上并不神秘，它基于90臺Power750服務(wù)器，具有2880顆 Power7內(nèi)核，具有500GBps芯片帶寬、15TB內(nèi)存——看上去和它和很多超級計(jì)算機(jī)沒有什么不同。但I(xiàn)an強(qiáng)調(diào)，“沃森”與眾不同的地方在于它是一種全新的“認(rèn)知系統(tǒng)”，能夠分析和理解人類語言，演示類似于人類的準(zhǔn)確性，運(yùn)行速度比人腦更快、維度更高。

“沃森”的問世標(biāo)志著一個(gè)“認(rèn)知計(jì)算”時(shí)代的來臨，Ian解釋說：“回顧過去100年中計(jì)算機(jī)的發(fā)展歷史，可以分為三個(gè)階段，第一個(gè)是列表式，第二個(gè)是編程式，第三個(gè)叫做認(rèn)知計(jì)算，沃森是其中的代表。沃森的獨(dú)特之處是能夠理解自然語言，人類的交流，并以證據(jù)為基礎(chǔ)，作出最好的選擇。另外一個(gè)特點(diǎn)是適應(yīng)和學(xué)習(xí)，能夠進(jìn)行人機(jī)對話，能夠進(jìn)行學(xué)習(xí)，對結(jié)果進(jìn)行修改和改進(jìn)。”

“沃森”的這種能力正好符合大數(shù)據(jù)及分析的需求，Ian先生介紹說，過去“沃森”的應(yīng)用僅限于電視節(jié)目或者實(shí)驗(yàn)室，就像一個(gè)“演示系統(tǒng)”，隨著大數(shù)據(jù)應(yīng)用需求的推動(dòng)，“沃森”的應(yīng)用領(lǐng)域更加廣泛，如今已經(jīng)應(yīng)用于醫(yī)療、金融、呼叫中心的服務(wù)。“德克薩斯有一個(gè)癌癥中心，沃森在其中對醫(yī)生提供建議，以助于治療復(fù)雜的疾病和癌癥。”

“沃森”能夠從不同的信息來源采集數(shù)據(jù)并進(jìn)行提煉，通過證據(jù)得出正確的結(jié)論，并能夠進(jìn)行認(rèn)知和學(xué)習(xí)，Ian先生認(rèn)為這代表了大數(shù)據(jù)應(yīng)用的發(fā)展方向：“沃森不只是一個(gè)應(yīng)用，它在推動(dòng)計(jì)算機(jī)或者是信息技術(shù)的發(fā)展。借助非結(jié)構(gòu)信息管理架構(gòu)(UIMA)平臺，沃森可以和Hadoop 、InfoSphere 、Symphony結(jié)合起來，提供更好、更有價(jià)值的結(jié)論。所以我們認(rèn)為沃森作為認(rèn)知計(jì)算的一個(gè)代表，代表著我們大數(shù)據(jù)的未來。”

目前“沃森”主要應(yīng)用在三個(gè)領(lǐng)域：醫(yī)療、金融和呼叫中心。未來，“沃森”將會(huì)應(yīng)用在更多的領(lǐng)域。Ian先生介紹說，為此IBM推出了一個(gè)“沃森”生態(tài)系統(tǒng)，向ISV提供技術(shù)、工具和API編程接口，已進(jìn)行認(rèn)知應(yīng)用的自助服務(wù)培訓(xùn)、開發(fā)和測試，希望借助云服務(wù)和訪問工具，利用沃森幫助合作伙伴開發(fā)他們的認(rèn)知計(jì)算軟件及系統(tǒng)。

另外，IBM建立了一個(gè)“沃森”內(nèi)容庫，供應(yīng)商可以為沃森提供內(nèi)容，包括通用和專用的信息，如醫(yī)療保健等。Ian預(yù)計(jì)在未來通過生態(tài)系統(tǒng)，沃森能夠幫助其他的行業(yè)研發(fā)新的業(yè)務(wù)和應(yīng)用，如旅游和零售，因?yàn)檫@些行業(yè)有著大量的數(shù)據(jù)，有著潛在的應(yīng)用需求。