未來十年大數(shù)據(jù)分析的發(fā)展趨勢 AI、IoT也離不開它

今天的大數(shù)據(jù)分析市場與幾年前的市場截然不同，正是由于海量數(shù)據(jù)的暴增，未來十年，全球各行各業(yè)都將發(fā)生變革、創(chuàng)新和顛覆。

在最近Wikibon分析機構(gòu)發(fā)布的市場研究報告發(fā)現(xiàn)，全球大數(shù)據(jù)分析市場在2017年相比前一年增長24.5%，主要是由于公有云的部署和應(yīng)用強于預(yù)期，以及加速平臺、工具及其它解決方案的融合。此外，不少企業(yè)正在通過大數(shù)據(jù)分析更快脫離實驗和驗證階段，并從部署中獲得更高的商業(yè)價值。

展望未來，Wikibon預(yù)測2027年整體大數(shù)據(jù)分析市場的年增長率將以11%的速度增長，全球?qū)⑦_1030億美元。其主要市場來源于物聯(lián)網(wǎng)、移動端和邊緣計算等中采用大數(shù)據(jù)分析技術(shù)。

正如Wikibon的研究所證實，未來十年將推動大數(shù)據(jù)分析行業(yè)發(fā)展的主要趨勢如下：

公有云供應(yīng)商正擴大其影響力。大數(shù)據(jù)行業(yè)正圍繞三大主要公有云供應(yīng)商，即AWS、微軟Azure和谷歌云平臺，大部分軟件供應(yīng)商正在構(gòu)建可以在這些平臺運行的解決方案。除此之外，數(shù)據(jù)庫供應(yīng)商正在提供托管的IaaS和PaaS數(shù)據(jù)湖，鼓勵客戶和合作伙伴開發(fā)新的應(yīng)用程序，并將其遷移到其中的舊應(yīng)用程序中。因此，純數(shù)據(jù)平臺、NoSQL供應(yīng)商在日益被多元化的公有云供應(yīng)商的大型數(shù)據(jù)領(lǐng)域逐漸陷入邊緣化。

公有云優(yōu)于私有云的優(yōu)勢繼續(xù)擴大。公有云正逐步成為客戶群的首選大數(shù)據(jù)分析平臺。這是因為公有云解決方案比內(nèi)部部署堆棧更為成熟，增加了更豐富的功能，且成本日益增加。另外，公有云正在增加其應(yīng)用程度編程接口生態(tài)系統(tǒng)，并加快開發(fā)管理工具的速度。

加速融合以企業(yè)實現(xiàn)商業(yè)價值。用戶開始加快將孤立的大數(shù)據(jù)資產(chǎn)融合到公有云的速度。而公有云廠商也在優(yōu)化困擾私有大數(shù)據(jù)架構(gòu)的跨業(yè)務(wù)孤島。同樣重要的是，云數(shù)據(jù)和本地數(shù)據(jù)解決方案正融合到集成產(chǎn)品中，旨在降低復(fù)雜性并加快實現(xiàn)業(yè)務(wù)價值。更多的解決方案提供商正在提供標準化的API，以簡化訪問，加速開發(fā)，并在整個大數(shù)據(jù)解決方案堆棧中實現(xiàn)更全面的管理。

大數(shù)據(jù)初創(chuàng)公司將越來越復(fù)雜的AI注意應(yīng)用程序推向市場。過去幾年來，許多新的數(shù)據(jù)庫，流處理和數(shù)據(jù)初創(chuàng)公司加入到市場中。不少公司也開始通過AI的解決方案加入到市場競爭中。其中大部分創(chuàng)新方案都是為公有云或混合云部署而設(shè)計的。

新興解決方案逐漸替代傳統(tǒng)方法。越來越多的大數(shù)據(jù)平臺供應(yīng)商將涌現(xiàn)出融合物聯(lián)網(wǎng)、區(qū)塊鏈和流計算的下一代方法。這些大數(shù)據(jù)平臺主要針對機器學(xué)習(xí)、深度學(xué)習(xí)和人工智能管理端到端devops管理進行優(yōu)化。此外，不少大數(shù)據(jù)分析平臺正在為AI微服務(wù)架構(gòu)設(shè)計邊緣設(shè)備。

Hadoop 地位屹立不倒。Hadoop 現(xiàn)今更多的跡象表明，市場將Hadoop視為傳統(tǒng)大數(shù)據(jù)技術(shù)，而不是顛覆性業(yè)務(wù)應(yīng)用程序的戰(zhàn)略平臺。不過，Hadoop作為一種成熟技術(shù)，被廣泛用于用戶的IT組織的關(guān)鍵用例，并且在許多組織中仍然有很長的使用壽命?？紤]到這一前景，供應(yīng)商通過在獨立開發(fā)的硬件和軟件組件之間實現(xiàn)更平滑的互操作性，不斷提高產(chǎn)品性能。

打包的大數(shù)據(jù)分析應(yīng)用程序正變得越來越廣泛。未來十年，更多服務(wù)將自動調(diào)整其嵌入式機器學(xué)習(xí)、深度學(xué)習(xí)和AI模型，以持續(xù)提供最佳業(yè)務(wù)成果。這些服務(wù)將納入預(yù)先訓(xùn)練的模式，客戶可以調(diào)整和擴展到自己的特定需求。

雖然大數(shù)據(jù)分析采用的預(yù)測看起來很好，但仍存在許多障礙：

復(fù)雜度過高。大數(shù)據(jù)分析環(huán)境和應(yīng)用程序仍然過于復(fù)雜。因此，廠商需要繼續(xù)簡化這些環(huán)境接口、體系結(jié)構(gòu)、功能和工具。以將復(fù)雜的大數(shù)據(jù)分析功能應(yīng)用于主流用戶和開發(fā)人員。

成本高昂且效率低下。對于許多IT專業(yè)人員來說，大數(shù)據(jù)分析管理和治理流理仍然過于孤立，成本高昂且效率低下。供應(yīng)商需要構(gòu)建預(yù)先打包的流程，幫助大型專業(yè)人員團隊更有效、快速和準備的管理數(shù)據(jù)及分析。

缺乏自動化功能。大數(shù)據(jù)分析應(yīng)用程序的開發(fā)和運營仍然過于耗時且需要手動。供應(yīng)商需要加強其的自動化功能，以確保提高用戶技術(shù)人員的生產(chǎn)力，同時確保即使是低技能人員也能處理復(fù)雜業(yè)務(wù)。

對于企業(yè)IT來說，Wikibon的主要建議是開始將更多的大數(shù)據(jù)分析開發(fā)工作遷移到公有云環(huán)境中，這也將加速AWS，微軟，谷歌等云廠商提供的快速成熟且低成本產(chǎn)品的能力。