基于Hadoop的葡萄種植大數(shù)據(jù)處理系統(tǒng)設(shè)計(jì)

引言

葡萄作為一種健康食品,普遍受到消費(fèi)者的喜愛。隨著生活水平的提高,葡萄的食用品質(zhì)及質(zhì)量安全越來(lái)越受關(guān)注。葡萄品質(zhì)受到溫度、降水量、日照時(shí)數(shù)、海拔高度、晝夜溫差、土壤性狀等環(huán)境因素的影響,另外也受到品種、管理技術(shù)的影響。影響葡萄質(zhì)量安全的主要因素是環(huán)境污染和農(nóng)藥、化肥、有機(jī)肥、生長(zhǎng)調(diào)節(jié)劑的不規(guī)范應(yīng)用。

面對(duì)目前的葡萄種植、消費(fèi)狀況,如何提升葡萄質(zhì)量,增加效益,成為當(dāng)前我國(guó)葡萄產(chǎn)業(yè)必須面對(duì)的問(wèn)題。提升葡萄品質(zhì)及安全需要從影響葡萄品質(zhì)及安全的諸多因素入手,利用互聯(lián)網(wǎng)、傳感技術(shù)、物聯(lián)網(wǎng)技術(shù)、遙感技術(shù),收集這些影響因素?cái)?shù)據(jù),并進(jìn)行儲(chǔ)存、挖掘、分析、決策,這是解決問(wèn)題的基本思路。但由于影響葡萄品質(zhì)及安全的因素復(fù)雜,其數(shù)據(jù)來(lái)源廣泛、類型多樣、結(jié)構(gòu)復(fù)雜,難以應(yīng)用通常的方法處理和分析。而數(shù)據(jù)倉(cāng)庫(kù)技術(shù)的成熟及大數(shù)據(jù)技術(shù)的出現(xiàn),為處理葡萄種植的龐雜數(shù)據(jù)提供了條件。本文基于傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)以及成熟的Hadoop大數(shù)據(jù)技術(shù)框架,通過(guò)對(duì)葡萄種植大數(shù)據(jù)需求進(jìn)行詳細(xì)分析,設(shè)計(jì)出了葡萄種植大數(shù)據(jù)處理系統(tǒng),可實(shí)現(xiàn)葡萄種植大數(shù)據(jù)的實(shí)時(shí)快速處理。

1技術(shù)概述

Hadoop是一個(gè)開發(fā)和運(yùn)行處理大規(guī)模數(shù)據(jù)的開源分布式軟件平臺(tái)?；贖adoop平臺(tái),可編寫和運(yùn)行分布式應(yīng)用處理的大規(guī)模數(shù)據(jù),實(shí)現(xiàn)在大量計(jì)算機(jī)組成的集群中對(duì)海量數(shù)據(jù)進(jìn)行分布式計(jì)算。Hadoop主要由HDFs和MapReduce兩個(gè)核心部分組成,HDFs提供了對(duì)數(shù)據(jù)的海量存儲(chǔ),而MapReduce提供了對(duì)數(shù)據(jù)的計(jì)算。Hadoop可處理任何格式的數(shù)據(jù)源,在處理半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)上,與關(guān)系型數(shù)據(jù)庫(kù)相比有更好的性能,具有更靈活的處理能力。

spark是基于內(nèi)存計(jì)算的大數(shù)據(jù)并行計(jì)算框架,在大數(shù)據(jù)環(huán)境下,它既可以提高數(shù)據(jù)處理的實(shí)時(shí)性,又可以保證高容錯(cuò)性和高可伸縮性,并且允許用戶將spark部署在大量廉價(jià)硬件之上,形成集群。spark擁有HadoopMapReduce所具有的優(yōu)點(diǎn),與HadoopMapReduce相比,spark基于內(nèi)存的運(yùn)算要快l00倍以上,基于硬盤的運(yùn)算也要快l0倍以上。spark實(shí)現(xiàn)了高效的DAG執(zhí)行引擎功能,可以通過(guò)基于內(nèi)存來(lái)高效處理數(shù)據(jù)流。

項(xiàng)目來(lái)源:南寧市科學(xué)研究與技術(shù)開發(fā)計(jì)劃項(xiàng)目"基于大數(shù)據(jù)的葡萄智能化生產(chǎn)系統(tǒng)及配套標(biāo)準(zhǔn)化種植農(nóng)藝管理技術(shù)研究與生產(chǎn)示范"(20l7ll24一7)

數(shù)據(jù)倉(cāng)庫(kù)(Datawarehouse)是一個(gè)面向主題的集成的相對(duì)穩(wěn)定的反映歷史變化的數(shù)據(jù)集合,其目的是構(gòu)建面向分析的集成化數(shù)據(jù)環(huán)境,為企業(yè)提供決策支持。數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)包括元數(shù)據(jù)、粒度數(shù)據(jù)、當(dāng)前詳細(xì)數(shù)據(jù)、歷史數(shù)據(jù)、檔案數(shù)據(jù),其數(shù)據(jù)應(yīng)用主要有報(bào)表展示、即時(shí)查詢、數(shù)據(jù)分析以及數(shù)據(jù)挖掘。根據(jù)數(shù)據(jù)倉(cāng)庫(kù)所管理的數(shù)據(jù)類型和它們所解決的企業(yè)問(wèn)題范圍,一般可將數(shù)據(jù)倉(cāng)庫(kù)分為下列3種類型:操作型數(shù)據(jù)庫(kù)(oDs)、數(shù)據(jù)倉(cāng)庫(kù)(Dw)和數(shù)據(jù)集市(DM)。

2葡萄種植大數(shù)據(jù)處理系統(tǒng)的分析與設(shè)計(jì)

企業(yè)的經(jīng)營(yíng)活動(dòng)會(huì)產(chǎn)生大量的原始數(shù)據(jù),這些數(shù)據(jù)經(jīng)過(guò)數(shù)據(jù)倉(cāng)庫(kù)的清洗、提純、匯總,最終才能發(fā)揮它的效用,隨著企業(yè)應(yīng)用數(shù)據(jù)倉(cāng)庫(kù)技術(shù)的日漸深入,企業(yè)數(shù)據(jù)在實(shí)際應(yīng)用中發(fā)揮了巨大的生產(chǎn)效益,但企業(yè)數(shù)據(jù)的不斷增長(zhǎng)最終會(huì)讓數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)量突破PB量級(jí),由此引起的數(shù)據(jù)倉(cāng)庫(kù)硬件及維護(hù)成本在增加,而效率卻在降低。Hadoop技術(shù)的出現(xiàn),彌補(bǔ)了傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)的缺陷,它能讓數(shù)據(jù)倉(cāng)庫(kù)無(wú)限擴(kuò)展且對(duì)硬件要求不高,因此將傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)融入Hadoop技術(shù)框架是一種解決問(wèn)題的方法。

對(duì)于葡萄種植來(lái)說(shuō),要提升葡萄的質(zhì)量、增加效益,采用溫室大棚種植不失是一個(gè)好辦法。通過(guò)溫室大棚調(diào)節(jié)溫室氣候,可以讓葡萄的生長(zhǎng)達(dá)到最佳狀態(tài)。在溫室大棚中安置傳感器,可對(duì)葡萄的生長(zhǎng)環(huán)境進(jìn)行多方位多點(diǎn)的精確采集和實(shí)時(shí)控制。通過(guò)傳感器實(shí)時(shí)采集農(nóng)業(yè)大棚內(nèi)的空氣溫度、濕度、光照、土壤溫度、土壤水分等環(huán)境參數(shù),然后利用葡萄種植大數(shù)據(jù)處理系統(tǒng),根據(jù)葡萄生長(zhǎng)情況進(jìn)行實(shí)時(shí)智能決策、預(yù)警預(yù)測(cè)。

葡萄種植大數(shù)據(jù)處理系統(tǒng)在設(shè)計(jì)上可分為4層,包括數(shù)據(jù)收集層、數(shù)據(jù)存儲(chǔ)與計(jì)算層、數(shù)據(jù)服務(wù)層以及數(shù)據(jù)應(yīng)用層。其框架圖如圖1所示。

圖1葡萄種植大數(shù)據(jù)處理系統(tǒng)框架圖

2.1數(shù)據(jù)收集層

該層主要通過(guò)設(shè)備接口獲取葡萄種植園區(qū)傳感器、監(jiān)控設(shè)備、移動(dòng)設(shè)備收集的數(shù)據(jù),通過(guò)網(wǎng)絡(luò)爬蟲獲取農(nóng)業(yè)類科學(xué)網(wǎng)網(wǎng)頁(yè)數(shù)據(jù),通過(guò)ETL獲取業(yè)務(wù)系統(tǒng)關(guān)系數(shù)據(jù)庫(kù)數(shù)據(jù)。由于這些數(shù)據(jù)包含結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化特征,且可能存在錯(cuò)誤、冗余、無(wú)用數(shù)據(jù),所以需要進(jìn)行清洗,以便可以得到干凈可用的數(shù)據(jù),為數(shù)據(jù)存儲(chǔ)提供保障。

2.2數(shù)據(jù)存儲(chǔ)與計(jì)算層

數(shù)據(jù)存儲(chǔ)與計(jì)算層包括企業(yè)數(shù)據(jù)倉(cāng)庫(kù)、Hadoop平臺(tái)以及spark分布式計(jì)算框架。企業(yè)數(shù)據(jù)倉(cāng)庫(kù)主要存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù),而Hadoop平臺(tái)既可以存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù),也可以存儲(chǔ)非結(jié)構(gòu)化數(shù)據(jù)。數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)的數(shù)據(jù)可轉(zhuǎn)存于Hadoop平臺(tái)。由于數(shù)據(jù)倉(cāng)庫(kù)和Hadoop平臺(tái)互為補(bǔ)充,可滿足客戶在不同使用場(chǎng)景下的業(yè)務(wù)需求。spark分布式計(jì)算框架與Hadoop平臺(tái)結(jié)合可為數(shù)據(jù)查詢、數(shù)據(jù)分析和數(shù)據(jù)挖掘提供平臺(tái)支撐。

2.3數(shù)據(jù)服務(wù)層

該層基于spark分布式計(jì)算框架及Hadoop平臺(tái),可提供數(shù)據(jù)的管理、分析、挖掘功能:基于數(shù)據(jù)倉(cāng)庫(kù)可實(shí)現(xiàn)數(shù)據(jù)統(tǒng)計(jì)及報(bào)表功能。為了方便數(shù)據(jù)的共享,數(shù)據(jù)服務(wù)層還提供統(tǒng)一的服務(wù)接口,供平臺(tái)應(yīng)用及其他應(yīng)用使用。

2.4數(shù)據(jù)應(yīng)用層

該層可利用數(shù)據(jù)服務(wù)層的接口,可實(shí)現(xiàn)預(yù)警預(yù)測(cè)、知識(shí)發(fā)現(xiàn)、決策支持等應(yīng)用。

3結(jié)語(yǔ)

目前,傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)已經(jīng)非常成熟,而大數(shù)據(jù)技術(shù)還在逐漸完善,這兩種技術(shù)都有優(yōu)缺點(diǎn)且互補(bǔ),傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)和Hadoop適用于不同的任務(wù),因此Hadoop不應(yīng)該視為企業(yè)數(shù)據(jù)倉(cāng)庫(kù)的替代品。傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)用來(lái)保存結(jié)構(gòu)化的輔助數(shù)據(jù),而Hadoop用來(lái)存儲(chǔ)非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)。企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)可以專門保存對(duì)于業(yè)務(wù)用戶具有重要價(jià)值的數(shù)據(jù)。兩者結(jié)合可以豐富并創(chuàng)造各自所含數(shù)據(jù)的價(jià)值,幫助企業(yè)建立無(wú)法通過(guò)其他方式得到的戰(zhàn)略優(yōu)勢(shì)。