百度路況數(shù)據(jù)

基于Hadoop的卡口，百度路況等海量數(shù)據(jù)分析研判平臺研究設(shè)計

摘要:利用卡口數(shù)據(jù)、百度路況數(shù)據(jù)等海量交管數(shù)據(jù),基于Hadoop中間件平臺對海量數(shù)據(jù)分析研判平臺進行了研究與設(shè)計。針對卡口數(shù)據(jù)、百度路況數(shù)據(jù)等海量數(shù)據(jù)特點,結(jié)合基于Hadoop平臺的數(shù)據(jù)挖掘技術(shù),解決了異構(gòu)數(shù)據(jù)實時存儲分析、復雜網(wǎng)絡(luò)環(huán)境下數(shù)據(jù)丟失、重復等問題,實現(xiàn)了中間件平臺的設(shè)計及海量數(shù)據(jù)分析研判平臺總體框架設(shè)計,有效提高了大粒度、長周期數(shù)據(jù)的深度挖掘能力和數(shù)據(jù)處理存儲效率,滿足對數(shù)據(jù)深度挖掘、數(shù)據(jù)碰撞和應(yīng)用的需求。