大數據常用術語都了解嗎?如何處理大數據中的冷數據?

在這篇文章中，小編將對大數據的相關內容和情況加以介紹以幫助大家增進對它的了解程度，和小編一起來閱讀以下內容吧。

一、大數據常用術語

1.ETL

ETL 指的是提取，轉換和加載。具體指的是“提取”原始數據的過程，通過清理、豐富數據將其“轉換”成適合使用的，并“加載”到適當的存儲庫中以供系統(tǒng)使用。雖然它源于數據倉庫，但ETL過程也被用來從大數據系統(tǒng)的外部資源中獲取和吸收數據。

2.Hadoop

當想到大數據時，人們立即會想到 Hadoop 。Hadoop(具有可愛的大象標志)是一個開源軟件框架，由所謂的 Hadoop 分布式文件系統(tǒng)(HDFS)組成，并允許使用分布式硬件對非常大的數據集進行存儲，檢索和分析。如果你真的想給別人留下深刻的印象，還可以談談 YARN，顧名思義，這是一種資源調度程序。取名字的人真太有才了。Apache 基金會還推出了 Hadoop，Pig，Hive 以及 Spark(是的，這些都是各種軟件的名稱)。真是服了這些名字。

3.內存計算(In-memory computing)

一般來說，任何可以在不訪問 I / O 的情況下完成的計算都是很快的。內存計算是一種將工作數據集完全放在集群的集體內存中，避免將中間計算寫入磁盤的技術。Apache Spark 是一個內存計算系統(tǒng)，它在速度超過 I / O 綁定系統(tǒng)(如 Hadoop 的MapReduce)方面擁有巨大的優(yōu)勢。

4.物聯(lián)網(IoT)

最新的流行語是物聯(lián)網(IOT)。IOT 通過互聯(lián)網將嵌入式對象(傳感器，可穿戴設備，汽車，冰箱等)中的計算設備進行互連，并且能夠發(fā)送以及接收數據。IOT 生成大量數據，提供了大量大數據分析的機會。

5.機器學習(Machine learning)

機器學習是指通過提供的數據，使系統(tǒng)能夠學習，調整和改進。通過預測和統(tǒng)計算法，他們不斷學習“正確”的行為和洞察力，隨著更多的數據流通過該系統(tǒng)，得以不斷地改進。

6.MapReduce

MapReduce 可能會有點難懂。MapReduce 是一個編程模型，為了更好的理解，需注意 Map 和 Reduce 其實是兩個獨立的部分。在這種情況下，編程模型首先將大數據數據集分解成多個部分(在技術術語中稱為“元組”)，因此可以分布在不同位置的不同計算機上(即前面所述的集群計算)，這基本上就是 Map 部分。然后，該模型收集結果并將其“減少”為一個報告。MapReduce 的數據處理模式與Hadoop 的分布式文件系統(tǒng)緊密相關。

二、如何處理大數據中的冷數據

1、使用便宜但可靠的冷存儲

對于很少使用或存檔的數據，慢速硬盤驅動器和磁帶是最常用的存儲介質。重要的是定期測試磁盤和磁帶，以確保它們工作正常。另外，要避免將舊的驅動器和磁帶降級為歸檔和數據備份功能——這些資源仍然有使用壽命，如果它們太舊，則更有可能出現(xiàn)故障。

2.考慮基于云的冷存儲

如果您不想在現(xiàn)場或物理外部設施中存儲大數據，則可以選擇使用云?；谠频睦浯鎯τ泻芏噙x擇，您可能會找到一種存儲所有冷數據最合適的選擇。

3.對冷數據進行年度評估

即使您已經有存儲冷數據的方法，也并不意味著您應該存儲所有數據。如果您還沒有，您可以與管理層和法律部門商議確定應該保留哪些數據、丟棄哪些數據，每年評估一次即可。

4. 使用數據/存儲自動化

大多數存儲提供商提供分層的數據存儲，這種存儲是通過人工智能實現(xiàn)的。人工智能會采用您定義的存儲數據的規(guī)則，并自動應用它們來確定數據的存儲位置。

數據存儲的主要層是內存存儲或固態(tài)驅動器，您經常訪問的數據存儲就在其中。不常訪問的數據可以存儲在更便宜的硬盤存儲的二級數據層上。

很少使用的數據或冷數據將被分配給速度較慢的磁盤驅動器或磁帶，這些磁盤或磁帶是您最便宜的存儲介質。通過利用這種自動化，您可以確保經常以最低的成本存儲冷數據的同時，始終可以將大量熱數據提供給用戶。

最后，小編誠心感謝大家的閱讀。你們的每一次閱讀，對小編來說都是莫大的鼓勵和鼓舞。希望大家對大數據已經具備了初步的認識，最后的最后，祝大家有個精彩的一天。