大數(shù)據(jù)時代帶來了哪些時代大變革
近來,“大數(shù)據(jù)時代”的來臨己成為媒體關注的熱門話題。大數(shù)據(jù)也似乎在一夜之間闖入了任何一個關于互聯(lián)網(wǎng)未來的討論,成為一個炙手可熱無所不包的概念。最近剛結束的大連2013夏季達沃斯世界經(jīng)濟論壇還為“大數(shù)據(jù)時代” 的來臨作了專題討論。無論人們對此持有何種觀點,但下列結論是共同的:“大數(shù)據(jù)時代”的來臨己成為不爭的事實,大數(shù)據(jù)作為一種新的資源,己對人們生活、企業(yè)商業(yè)活動以及政府公共管理帶來了深遠的變革。
大數(shù)據(jù)時代的來臨,帶給我們眾多的沖擊,每個人都應當與時俱進、不斷提升,放棄殘缺的守舊思想,大膽接受新的挑戰(zhàn)。
什么是大數(shù)據(jù)?國際數(shù)據(jù)公司定義了大數(shù)據(jù)的四大特征:海量的數(shù)據(jù)規(guī)模(vast)、快速的數(shù)據(jù)流轉和動態(tài)的數(shù)據(jù)體系(velocity)、多樣的數(shù)據(jù)類型(variety)和巨大的數(shù)據(jù)價值(value)。僅從海量的數(shù)據(jù)規(guī)模來看,全球IP流量達到1EB所需的時間,在2001年需要1年,在2013年僅需1天,到2016年則僅需半天。全球新產(chǎn)生的數(shù)據(jù)年增40%,全球信息總量每兩年就可翻番。
而根據(jù)2012年互聯(lián)網(wǎng)絡數(shù)據(jù)中心發(fā)布的《數(shù)字宇宙2020》報告,2011年全球數(shù)據(jù)總量已達到1.87ZB(1ZB=10萬億億字節(jié)),如果把這些數(shù)據(jù)刻成DVD,排起來的長度相當于從地球到月亮之間一個來回的距離,并且數(shù)據(jù)以每兩年翻一番的速度飛快增長。預計到2020年,全球數(shù)據(jù)總量將達到35~40ZB,10年間將增長20倍以上。
需要強調的是:所謂大數(shù)據(jù)并不僅僅是指海量數(shù)據(jù),而更多的是指這些數(shù)據(jù)都是非結構化的、殘缺的、無法用傳統(tǒng)的方法進行處理的數(shù)據(jù)。也正是因為應用了大數(shù)據(jù)技術,美國谷歌公司才能比政府的公共衛(wèi)生部門早兩周時間預告2009 年甲型H1N1流感的暴發(fā)。
大數(shù)據(jù)的產(chǎn)生以及特點
當今世界大數(shù)據(jù)時代己經(jīng)來臨。什么是大數(shù)據(jù)?就像當今世界涌現(xiàn)出來的能描述大變局的概念一樣,大都率先出現(xiàn)在歐美社會,進而傳播到全世界。“大數(shù)據(jù)” 的概念出現(xiàn)與流行也是如此。
顧名思義,大數(shù)據(jù)就是大量的數(shù)據(jù)或者說海量的數(shù)據(jù)?,F(xiàn)代社會從1941年誕生第一臺電子計算機以來,信息技術得到空前迅猛地發(fā)展。這種發(fā)展的內在驅動力是將陽光下所有的事物都“數(shù)據(jù)化”。 目前,伴隨著互聯(lián)網(wǎng)Web2.0、物聯(lián)網(wǎng)、手機、GPS和光電感應器等技術和硬件出現(xiàn),數(shù)據(jù)如井噴一樣大量涌現(xiàn)。有資料顯示,1998年全球網(wǎng)民平均每月使用流量是1MB(兆字節(jié)),2000年是10MB,2008年是1GB(1GB等于1024MB),2014年將是10GB。我國網(wǎng)民數(shù)居世界之首,3G手機擁有者達4.2億,每天產(chǎn)生的數(shù)據(jù)量居世界前列。
當然,僅僅從量的角度來理解大數(shù)據(jù)是遠遠不夠的。麥肯錫全球研究所報告《大數(shù)據(jù):創(chuàng)新、競爭和生產(chǎn)力的下一個前沿》對“大數(shù)據(jù)”的含義進行了界定:大數(shù)據(jù)是指大小超出了傳統(tǒng)數(shù)據(jù)庫軟件工具的抓取、存儲、管理和分析能力的數(shù)據(jù)群。對于這樣一個定義,我們還可以從大數(shù)據(jù)4V特點加以理解。所謂4V(Volume 、Variety、 Velocity 、Value)是由描述大數(shù)據(jù)特性的四個英文詞的字首字母所形成的:
一是數(shù)據(jù)量巨大(Volume),數(shù)據(jù)已從 TB 級別躍升至 PB 級別;
二是數(shù)據(jù)類型多樣化(Variety),有網(wǎng)絡數(shù)據(jù)、企事業(yè)單位數(shù)據(jù)、政府數(shù)據(jù),網(wǎng)絡數(shù)據(jù)又有媒體數(shù)據(jù)(比如社交網(wǎng)絡、博客、微博等)、日志數(shù)據(jù)(比如搜索引擎,大家上網(wǎng)等等都會留下很多足跡)、還有富媒體數(shù)據(jù)(視頻、音頻等等),類型紛繁,已無規(guī)律可循,其中非結構化數(shù)據(jù)所占比例逐年增大;
三是密度低而價值大(Value),以視頻為例,在連續(xù)不間斷監(jiān)控過程中,可能有用的數(shù)據(jù)也許只有一兩秒,即所謂密度低,是對大量的數(shù)據(jù)通過“沙里淘金” 的數(shù)據(jù)挖掘,可是里面又藏著巨大的價值;
四是處理速度快(Velocity),及時分析對某些應用才更有意義,及時處理已經(jīng)成為趨勢之一,業(yè)內的“一秒定律”認為,各種處理必須在1秒鐘內完成高速實時處理。
從大數(shù)據(jù)的本質上來說,“大數(shù)據(jù)”所代表的是當今社會所獨有的一種新型的能力,通過對海量數(shù)據(jù)進行分析,獲得有巨大價值的產(chǎn)品和服務,獲取更深刻的洞察力。在大數(shù)據(jù)時代,數(shù)據(jù)已經(jīng)成為一種新的經(jīng)濟資產(chǎn)類別,就像貨幣或黃金一樣。