大數(shù)據(jù)的這些用途也行會超乎你的想象！

2011年，時任商業(yè)智能開發(fā)商Pentaho公司首席技術官的James Dixon創(chuàng)造了“數(shù)據(jù)湖”這一術語。他將數(shù)據(jù)湖與當時流行的數(shù)據(jù)集市的典型信息孤島進行了對比：如果將數(shù)據(jù)集市視為銷售瓶裝水的商店(經過清潔和包裝處理以便于飲用)，那么數(shù)據(jù)湖就是處于更自然狀態(tài)的大片水體。數(shù)據(jù)湖的內容從一個源頭流入，填滿湖泊。采用數(shù)據(jù)湖，用戶可以來檢查、潛入或采集樣本。

從那時起，數(shù)據(jù)湖技術不斷發(fā)展，現(xiàn)在正在與數(shù)據(jù)倉庫爭奪大數(shù)據(jù)存儲和分析的市場份額。各種工具和產品支持數(shù)據(jù)湖中更快的SQL查詢，而全球三個主要云計算提供商都提供了數(shù)據(jù)湖存儲和分析。甚至還推出了將治理、安全性和分析與成本更低的存儲結合起來的數(shù)據(jù)湖屋的概念。本文將深入探討數(shù)據(jù)湖是什么、如何使用數(shù)據(jù)湖以及如何確保數(shù)據(jù)湖不會成為數(shù)據(jù)沼澤。

數(shù)據(jù)湖vs數(shù)據(jù)倉庫

問題不在于是否需要數(shù)據(jù)湖或數(shù)據(jù)倉庫。很可能兩者都需要，但其目的不同，也可以將它們組合起來。首先了解數(shù)據(jù)湖和數(shù)據(jù)倉庫之間的主要區(qū)別：

數(shù)據(jù)源：數(shù)據(jù)湖的典型數(shù)據(jù)源包括日志文件、來自點擊流的數(shù)據(jù)、社交媒體帖子以及來自互聯(lián)網(wǎng)連接設備的數(shù)據(jù)。數(shù)據(jù)倉庫通常存儲從事務數(shù)據(jù)庫、業(yè)務線應用程序和操作數(shù)據(jù)庫中提取的數(shù)據(jù)以供分析。

模式策略：數(shù)據(jù)湖的數(shù)據(jù)庫模式通常在分析時應用，稱之為讀模式。企業(yè)數(shù)據(jù)倉庫的數(shù)據(jù)庫模式通常在創(chuàng)建數(shù)據(jù)存儲之前設計，并在數(shù)據(jù)導入時應用于數(shù)據(jù)，這稱之為寫模式。

存儲基礎設施：數(shù)據(jù)倉庫通常采用大量價格高昂的內存和SSD硬盤，以便快速提供查詢結果。數(shù)據(jù)湖通常在計算機集群上使用價格較低的機械硬盤進行存儲。數(shù)據(jù)倉庫和數(shù)據(jù)湖都使用大規(guī)模并行處理(MPP)來加速SQL查詢。

技術驅動倍增數(shù)據(jù)價值 · 場景化應用解決“痛點”

2020年4月中共中央、國務院發(fā)布《關于構建更加完善的要素市場化配置體制機制的意見》，數(shù)據(jù)已然被定義為繼土地、勞動力、資本、技術之后的生產要素。2021年3月，《中華人民共和國國民經濟和社會發(fā)展第十四個五年規(guī)劃和2035年遠景目標綱要》提出推進要素市場化配置改革，發(fā)展技術和數(shù)據(jù)要素市場，健全要素市場運行機制，完善交易規(guī)則和服務體系。

2022年政府工作報告指出，“促進數(shù)字經濟發(fā)展。加強數(shù)字中國建設整體布局?！睌?shù)據(jù)顯示，2020年，我國數(shù)字經濟總量躍居世界第二，數(shù)字經濟規(guī)模達到39.2萬億元，占GDP比重達38.6%，增速達9.7%。不可否認，以數(shù)字經濟為代表的新經濟新動能正在加速孕育形成。

“如果說建設數(shù)據(jù)交易的第三方市場是數(shù)據(jù)要素流通和交易產業(yè)1.0的話，我們已經走到了2.0。基于多源多模態(tài)數(shù)據(jù)融合認知計算技術賦能行業(yè)場景的智能決策平臺，在具體的應用場景中也可以融合其它數(shù)據(jù)智能技術解決企業(yè)、產業(yè)的應用痛點問題，有了這些價值應用，數(shù)據(jù)要素流通和交易才能打通了‘任督二脈’，疏通這些數(shù)字經濟場景中的‘毛細血管’才是這個產業(yè)的機會點。”武漢東湖大數(shù)據(jù)交易中心股份有限公司負責人杜小軍說。

能科數(shù)智科技有限公司總經理助理付思思說：“我們依托于先進的工業(yè)軟件以及電力電子信息技術，助力區(qū)域優(yōu)化升級和產業(yè)鏈的完善，這一塊也為客戶提供了以工業(yè)互聯(lián)網(wǎng)為核心的數(shù)字化、網(wǎng)絡化、智能化的解決方案。”

據(jù)悉，能科數(shù)智是北京能科科技股份有限公司在貴州成立的子公司，主要致力于工業(yè)互聯(lián)網(wǎng)領域的開拓。目前，公司擁有工業(yè)建模和大數(shù)據(jù)分析、數(shù)據(jù)管理、應用開發(fā)及邊緣層處理等多項核心技術，可實現(xiàn)全流程的數(shù)字孿生，為工業(yè)企業(yè)數(shù)字化轉型升級、助力我省工業(yè)高質量發(fā)展提供新動能。