基于Hadoop的葡萄種植大數(shù)據(jù)處理系統(tǒng)設(shè)計

引言

葡萄作為一種健康食品,普遍受到消費(fèi)者的喜愛。隨著生活水平的提高,葡萄的食用品質(zhì)及質(zhì)量安全越來越受關(guān)注。葡萄品質(zhì)受到溫度、降水量、日照時數(shù)、海拔高度、晝夜溫差、土壤性狀等環(huán)境因素的影響,另外也受到品種、管理技術(shù)的影響。影響葡萄質(zhì)量安全的主要因素是環(huán)境污染和農(nóng)藥、化肥、有機(jī)肥、生長調(diào)節(jié)劑的不規(guī)范應(yīng)用。

面對目前的葡萄種植、消費(fèi)狀況,如何提升葡萄質(zhì)量,增加效益,成為當(dāng)前我國葡萄產(chǎn)業(yè)必須面對的問題。提升葡萄品質(zhì)及安全需要從影響葡萄品質(zhì)及安全的諸多因素入手,利用互聯(lián)網(wǎng)、傳感技術(shù)、物聯(lián)網(wǎng)技術(shù)、遙感技術(shù),收集這些影響因素數(shù)據(jù),并進(jìn)行儲存、挖掘、分析、決策,這是解決問題的基本思路。但由于影響葡萄品質(zhì)及安全的因素復(fù)雜,其數(shù)據(jù)來源廣泛、類型多樣、結(jié)構(gòu)復(fù)雜,難以應(yīng)用通常的方法處理和分析。而數(shù)據(jù)倉庫技術(shù)的成熟及大數(shù)據(jù)技術(shù)的出現(xiàn),為處理葡萄種植的龐雜數(shù)據(jù)提供了條件。本文基于傳統(tǒng)的數(shù)據(jù)倉庫以及成熟的Hadoop大數(shù)據(jù)技術(shù)框架,通過對葡萄種植大數(shù)據(jù)需求進(jìn)行詳細(xì)分析,設(shè)計出了葡萄種植大數(shù)據(jù)處理系統(tǒng),可實(shí)現(xiàn)葡萄種植大數(shù)據(jù)的實(shí)時快速處理。

1技術(shù)概述

Hadoop是一個開發(fā)和運(yùn)行處理大規(guī)模數(shù)據(jù)的開源分布式軟件平臺?；贖adoop平臺,可編寫和運(yùn)行分布式應(yīng)用處理的大規(guī)模數(shù)據(jù),實(shí)現(xiàn)在大量計算機(jī)組成的集群中對海量數(shù)據(jù)進(jìn)行分布式計算。Hadoop主要由HDFs和MapReduce兩個核心部分組成,HDFs提供了對數(shù)據(jù)的海量存儲,而MapReduce提供了對數(shù)據(jù)的計算。Hadoop可處理任何格式的數(shù)據(jù)源,在處理半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)上,與關(guān)系型數(shù)據(jù)庫相比有更好的性能,具有更靈活的處理能力。

spark是基于內(nèi)存計算的大數(shù)據(jù)并行計算框架,在大數(shù)據(jù)環(huán)境下,它既可以提高數(shù)據(jù)處理的實(shí)時性,又可以保證高容錯性和高可伸縮性,并且允許用戶將spark部署在大量廉價硬件之上,形成集群。spark擁有HadoopMapReduce所具有的優(yōu)點(diǎn),與HadoopMapReduce相比,spark基于內(nèi)存的運(yùn)算要快l00倍以上,基于硬盤的運(yùn)算也要快l0倍以上。spark實(shí)現(xiàn)了高效的DAG執(zhí)行引擎功能,可以通過基于內(nèi)存來高效處理數(shù)據(jù)流。

項目來源:南寧市科學(xué)研究與技術(shù)開發(fā)計劃項目"基于大數(shù)據(jù)的葡萄智能化生產(chǎn)系統(tǒng)及配套標(biāo)準(zhǔn)化種植農(nóng)藝管理技術(shù)研究與生產(chǎn)示范"(20l7ll24一7)

數(shù)據(jù)倉庫(Datawarehouse)是一個面向主題的集成的相對穩(wěn)定的反映歷史變化的數(shù)據(jù)集合,其目的是構(gòu)建面向分析的集成化數(shù)據(jù)環(huán)境,為企業(yè)提供決策支持。數(shù)據(jù)倉庫中的數(shù)據(jù)包括元數(shù)據(jù)、粒度數(shù)據(jù)、當(dāng)前詳細(xì)數(shù)據(jù)、歷史數(shù)據(jù)、檔案數(shù)據(jù),其數(shù)據(jù)應(yīng)用主要有報表展示、即時查詢、數(shù)據(jù)分析以及數(shù)據(jù)挖掘。根據(jù)數(shù)據(jù)倉庫所管理的數(shù)據(jù)類型和它們所解決的企業(yè)問題范圍,一般可將數(shù)據(jù)倉庫分為下列3種類型:操作型數(shù)據(jù)庫(oDs)、數(shù)據(jù)倉庫(Dw)和數(shù)據(jù)集市(DM)。

2葡萄種植大數(shù)據(jù)處理系統(tǒng)的分析與設(shè)計

企業(yè)的經(jīng)營活動會產(chǎn)生大量的原始數(shù)據(jù),這些數(shù)據(jù)經(jīng)過數(shù)據(jù)倉庫的清洗、提純、匯總,最終才能發(fā)揮它的效用,隨著企業(yè)應(yīng)用數(shù)據(jù)倉庫技術(shù)的日漸深入,企業(yè)數(shù)據(jù)在實(shí)際應(yīng)用中發(fā)揮了巨大的生產(chǎn)效益,但企業(yè)數(shù)據(jù)的不斷增長最終會讓數(shù)據(jù)倉庫的數(shù)據(jù)量突破PB量級,由此引起的數(shù)據(jù)倉庫硬件及維護(hù)成本在增加,而效率卻在降低。Hadoop技術(shù)的出現(xiàn),彌補(bǔ)了傳統(tǒng)數(shù)據(jù)倉庫的缺陷,它能讓數(shù)據(jù)倉庫無限擴(kuò)展且對硬件要求不高,因此將傳統(tǒng)的數(shù)據(jù)倉庫融入Hadoop技術(shù)框架是一種解決問題的方法。

對于葡萄種植來說,要提升葡萄的質(zhì)量、增加效益,采用溫室大棚種植不失是一個好辦法。通過溫室大棚調(diào)節(jié)溫室氣候,可以讓葡萄的生長達(dá)到最佳狀態(tài)。在溫室大棚中安置傳感器,可對葡萄的生長環(huán)境進(jìn)行多方位多點(diǎn)的精確采集和實(shí)時控制。通過傳感器實(shí)時采集農(nóng)業(yè)大棚內(nèi)的空氣溫度、濕度、光照、土壤溫度、土壤水分等環(huán)境參數(shù),然后利用葡萄種植大數(shù)據(jù)處理系統(tǒng),根據(jù)葡萄生長情況進(jìn)行實(shí)時智能決策、預(yù)警預(yù)測。

葡萄種植大數(shù)據(jù)處理系統(tǒng)在設(shè)計上可分為4層,包括數(shù)據(jù)收集層、數(shù)據(jù)存儲與計算層、數(shù)據(jù)服務(wù)層以及數(shù)據(jù)應(yīng)用層。其框架圖如圖1所示。

圖1葡萄種植大數(shù)據(jù)處理系統(tǒng)框架圖

2.1數(shù)據(jù)收集層

該層主要通過設(shè)備接口獲取葡萄種植園區(qū)傳感器、監(jiān)控設(shè)備、移動設(shè)備收集的數(shù)據(jù),通過網(wǎng)絡(luò)爬蟲獲取農(nóng)業(yè)類科學(xué)網(wǎng)網(wǎng)頁數(shù)據(jù),通過ETL獲取業(yè)務(wù)系統(tǒng)關(guān)系數(shù)據(jù)庫數(shù)據(jù)。由于這些數(shù)據(jù)包含結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化特征,且可能存在錯誤、冗余、無用數(shù)據(jù),所以需要進(jìn)行清洗,以便可以得到干凈可用的數(shù)據(jù),為數(shù)據(jù)存儲提供保障。

2.2數(shù)據(jù)存儲與計算層

數(shù)據(jù)存儲與計算層包括企業(yè)數(shù)據(jù)倉庫、Hadoop平臺以及spark分布式計算框架。企業(yè)數(shù)據(jù)倉庫主要存儲結(jié)構(gòu)化數(shù)據(jù),而Hadoop平臺既可以存儲結(jié)構(gòu)化數(shù)據(jù),也可以存儲非結(jié)構(gòu)化數(shù)據(jù)。數(shù)據(jù)倉庫存儲的數(shù)據(jù)可轉(zhuǎn)存于Hadoop平臺。由于數(shù)據(jù)倉庫和Hadoop平臺互為補(bǔ)充,可滿足客戶在不同使用場景下的業(yè)務(wù)需求。spark分布式計算框架與Hadoop平臺結(jié)合可為數(shù)據(jù)查詢、數(shù)據(jù)分析和數(shù)據(jù)挖掘提供平臺支撐。

2.3數(shù)據(jù)服務(wù)層

該層基于spark分布式計算框架及Hadoop平臺,可提供數(shù)據(jù)的管理、分析、挖掘功能:基于數(shù)據(jù)倉庫可實(shí)現(xiàn)數(shù)據(jù)統(tǒng)計及報表功能。為了方便數(shù)據(jù)的共享,數(shù)據(jù)服務(wù)層還提供統(tǒng)一的服務(wù)接口,供平臺應(yīng)用及其他應(yīng)用使用。

2.4數(shù)據(jù)應(yīng)用層

該層可利用數(shù)據(jù)服務(wù)層的接口,可實(shí)現(xiàn)預(yù)警預(yù)測、知識發(fā)現(xiàn)、決策支持等應(yīng)用。

3結(jié)語

目前,傳統(tǒng)的數(shù)據(jù)倉庫已經(jīng)非常成熟,而大數(shù)據(jù)技術(shù)還在逐漸完善,這兩種技術(shù)都有優(yōu)缺點(diǎn)且互補(bǔ),傳統(tǒng)的數(shù)據(jù)倉庫和Hadoop適用于不同的任務(wù),因此Hadoop不應(yīng)該視為企業(yè)數(shù)據(jù)倉庫的替代品。傳統(tǒng)的數(shù)據(jù)倉庫用來保存結(jié)構(gòu)化的輔助數(shù)據(jù),而Hadoop用來存儲非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)。企業(yè)級數(shù)據(jù)倉庫可以專門保存對于業(yè)務(wù)用戶具有重要價值的數(shù)據(jù)。兩者結(jié)合可以豐富并創(chuàng)造各自所含數(shù)據(jù)的價值,幫助企業(yè)建立無法通過其他方式得到的戰(zhàn)略優(yōu)勢。