基于科技情報(bào)Hadoop平臺(tái)的系統(tǒng)研究

引 言

大數(shù)據(jù)擁有數(shù)據(jù)量巨大；數(shù)據(jù)類型多樣；數(shù)據(jù)中富含價(jià)值； 在盡可能短的時(shí)間內(nèi)挖掘出數(shù)據(jù)的真實(shí)性等典型特征[1]。

數(shù)據(jù)挖掘技術(shù) [2]（Data Mining）可在大型數(shù)據(jù)庫中自動(dòng)發(fā)現(xiàn)有用信息，具有聚類分析，預(yù)測建模，關(guān)聯(lián)分析，異常檢測等功能，既可以獨(dú)立運(yùn)行，也可以聯(lián)合操作。聚類分析實(shí)用的技術(shù)包括 K 均值、凝聚層次聚類、dbscan、簇評(píng)估等，主要目的在于通過基于原型、密度、圖像等的聚類，發(fā)現(xiàn)其間關(guān)系。預(yù)測建模更多的是一種可視化角度分析方法，利用分類、回歸等方法建立模型以解決問題。數(shù)據(jù)挖掘技術(shù)分為統(tǒng)計(jì)方法、機(jī)器學(xué)習(xí)方法、神經(jīng)網(wǎng)絡(luò)方法和數(shù)據(jù)庫方法。

計(jì)算機(jī)機(jī)器人專業(yè)博士鄧侃 [3] 表示，大數(shù)據(jù)不是忽悠， 關(guān)鍵要能夠發(fā)現(xiàn)其中的價(jià)值，而數(shù)據(jù)挖掘的算法、云計(jì)算和并行計(jì)算就是發(fā)現(xiàn)數(shù)據(jù)價(jià)值的工具。

科技情報(bào)服務(wù)平臺(tái)維護(hù)的公益類科技服務(wù)平臺(tái)，是為順應(yīng)情報(bào)系統(tǒng)的網(wǎng)絡(luò)化、智能化、集成化和決策化的未來發(fā)展要求而構(gòu)建的自動(dòng)化情報(bào)收集與服務(wù)體系，可從每日涌現(xiàn)在互聯(lián)網(wǎng)上的海量信息中快速、準(zhǔn)確地獲取有用信息，并完成對情報(bào)資料的自動(dòng)篩選、分類、分析工作，為政府部門、科研人員和企業(yè)提供具有前瞻性、時(shí)效性和專業(yè)化的情報(bào)服務(wù)。它采用知識(shí)管理的理念和技術(shù)對科技信息資源進(jìn)行深度挖掘和戰(zhàn)略優(yōu)化，通過強(qiáng)化科技信息的智能采集和深度加工、發(fā)布和共享機(jī)制，構(gòu)建科技情報(bào)創(chuàng)新服務(wù)體系。

1 數(shù)據(jù)挖掘簡介

數(shù)據(jù)挖掘的主要任務(wù)是關(guān)聯(lián)分析、聚類分析、分類、預(yù)測、時(shí)序模式和偏差分析等[4]。

(1) 關(guān)聯(lián) 分 析（AssociationAnalysis）。 關(guān)聯(lián) 規(guī) 則由 RakeshApwal 等人率先提出。兩個(gè)或兩個(gè)以上變量取值之間存在的規(guī)律稱為關(guān)聯(lián)，使得所挖掘的規(guī)則更符合需求。

(2) 聚類分析（Clustering）。聚類是把數(shù)據(jù)按照相似性歸納成若干類別，同一類中的數(shù)據(jù)彼此相似，不同類中的數(shù)據(jù)相異。

(3) 分類（Classification）。分類即找出一個(gè)類別的概念描述，它代表了這類數(shù)據(jù)的整體信息，即該類的內(nèi)涵描述，并用這種描述來構(gòu)造模型，一般用規(guī)則或決策樹模式表示。

(4) 預(yù)測（Predication）。預(yù)測是利用歷史數(shù)據(jù)找出變化規(guī)律，建立模型，并由此模型預(yù)測未來數(shù)據(jù)的種類及特征。

(5) 時(shí)序模式（Time-SeriesPattern）。時(shí)序模式是指通過時(shí)間序列搜索出重復(fù)發(fā)生概率較高的模式。

(6) 偏差分析（Deviation）。在偏差中包括很多有價(jià)值的知識(shí)，數(shù)據(jù)庫中的數(shù)據(jù)存在諸多異常情況，而發(fā)現(xiàn)數(shù)據(jù)庫中數(shù)據(jù)存在的異常情況非常重要。

2 科技信息采集與存儲(chǔ)系統(tǒng)

使用垂直搜索技術(shù)在互聯(lián)網(wǎng)擴(kuò)大信息搜集途徑，實(shí)現(xiàn)了科技信息的采集與存儲(chǔ)[5]。智能情報(bào)加工系統(tǒng)運(yùn)用信息抽取、機(jī)器學(xué)習(xí)、自然語言理解、信息檢索等技術(shù)對文本進(jìn)行處理， 實(shí)現(xiàn)對海量信息的數(shù)據(jù)挖掘，完成數(shù)據(jù)的自動(dòng)分類、聚類、去除重復(fù)信息、發(fā)現(xiàn)關(guān)聯(lián)規(guī)則、自動(dòng)文摘的生成等?？萍夹畔l(fā)布與共享平臺(tái)通過將門戶型科技信息發(fā)布平臺(tái)作為情報(bào)發(fā)布、信息共享、交流互動(dòng)的窗口與載體，可提供情報(bào)簡報(bào)的自動(dòng)生成、定題服務(wù)等功能。

該平臺(tái)是集情報(bào)收集、存儲(chǔ)、處理和分析于一體的新一代綜合性信息系統(tǒng)。其主要功能是協(xié)助情報(bào)人員制定情報(bào)計(jì)劃， 系統(tǒng)地收集信息，并對收集到的信息進(jìn)行分析和加工，生成情報(bào)產(chǎn)品并提交給用戶，為用戶提供公益情報(bào)服務(wù)。

3 科技信息采集與存儲(chǔ)體系

科技信息采集與存儲(chǔ)體系的主要功能在于可完成情報(bào)信息分類體系規(guī)劃與情報(bào)信息源規(guī)劃。采用垂直網(wǎng)站抓取技術(shù)， 通過設(shè)置關(guān)鍵詞、數(shù)據(jù)源、重要程度等抓取策略，自動(dòng)發(fā)現(xiàn)互聯(lián)網(wǎng)相關(guān)內(nèi)容，并對頁面進(jìn)行抓取。通過索引技術(shù)對抓取到的文檔進(jìn)行全文索引，為用戶提供全局文檔信息搜索結(jié)果； 搜索結(jié)果以知識(shí)樹的方式展現(xiàn)，并實(shí)現(xiàn)對抓取內(nèi)容的管理。

抓取器由 URL 搜索引擎、頁面抓取引擎 [6]（頁面抓取器） 組成，用以實(shí)現(xiàn) URL 發(fā)現(xiàn)。抓取器需要對頁面中的目錄頁面、 列表頁面等非描述性內(nèi)容頁面進(jìn)行剔除。URL 搜索引擎首先 對全互聯(lián)網(wǎng)相關(guān)內(nèi)容的 URL 進(jìn)行搜索，并執(zhí)行去重檢測，以 保證相同頁面只被抓取一次。 頁面抓取引擎抓取頁面后，對其內(nèi)容進(jìn)行分析，剔除其中 的非正文內(nèi)容頁面。抓取器內(nèi)含定時(shí)抓取策略，可按一定時(shí)間 周期和抓取策略進(jìn)行循環(huán)抓取，以確保我們能夠及時(shí)獲取互 聯(lián)網(wǎng)更新的內(nèi)容。

4 數(shù)據(jù)聚類算法

聚類，即一些給定的元素或者對象分散存儲(chǔ)在數(shù)據(jù)庫中， 根據(jù)我們感興趣的對象屬性對其進(jìn)行聚集，同類對象之間相似度高，不同類之間差異較大。其最大的特點(diǎn)是事先不確定類別。這其中最經(jīng)典的算法非 KMeans 算法[7] 莫屬，而這也是最常用的聚類算法。在給定 K 值和 K 個(gè)初始類簇中心點(diǎn)的情況下，把每個(gè)點(diǎn)（亦即數(shù)據(jù)記錄）分到離其最近的類簇中心點(diǎn)所代表的類簇中，待所有點(diǎn)分配完畢后，根據(jù)類簇內(nèi)的所有點(diǎn)重新計(jì)算該類簇的中心點(diǎn)（取平均值），然后迭代進(jìn)行分配點(diǎn)和更新類簇中心點(diǎn)的步驟，直至類簇中心點(diǎn)變化微小，或達(dá)到指定的迭代次數(shù)為止。KMeans 算法雖然思想比較簡單，但合理確定 K 值和 K 個(gè)初始類簇的中心點(diǎn)對于聚類效果而言有很大影響。

5 信息抓取管理平臺(tái)

信息抓取管理平臺(tái) 是控制抓取的后臺(tái)工具，分為 關(guān)鍵詞抓取 和 深度抓取 。

關(guān)鍵詞抓取 [8] 是指在互聯(lián)網(wǎng)上抓取具有特定關(guān)鍵詞的網(wǎng)頁，每 24 小時(shí)抓取一次，于夜晚進(jìn)行，以保證抓取網(wǎng)頁與互聯(lián)網(wǎng)上的信息同步更新。

深度抓取 [9] 是指一次性獲取某個(gè)網(wǎng)站的全部信息，以快速積累初始數(shù)據(jù)。深度抓取是一次性的抓取，不會(huì)更新。

5.1 關(guān)鍵內(nèi)容抓取

根據(jù)北京科技信息網(wǎng)的需求，確定數(shù)據(jù)搜索內(nèi)容包括科技政策科技動(dòng)態(tài)等頻道內(nèi)容。抓取器通過設(shè)定依內(nèi)容抓取的策略，對全網(wǎng)內(nèi)容進(jìn)行抓取。并通過后端的內(nèi)容聚 合進(jìn)行內(nèi)容的后處理，以便實(shí)現(xiàn)關(guān)鍵內(nèi)容的抓取。如圖 1 所示， 當(dāng)標(biāo)簽位置為“普通抓取”時(shí)，可實(shí)現(xiàn)對關(guān)鍵內(nèi)容的抓取

5.2 深度抓取

北京市科技信息網(wǎng) 對一些特定網(wǎng)站設(shè)定了全站內(nèi)容抓取，對全站內(nèi)容進(jìn)行一次性內(nèi)容獲取，并實(shí)時(shí)對其更新的內(nèi)容進(jìn)行監(jiān)控，同步抓取。如圖 2 所示，當(dāng)標(biāo)簽位置為 深度抓取時(shí)，可以實(shí)現(xiàn)對全站內(nèi)容的抓取。

圖 2 控制臺(tái)的深度抓取界面

5.3 工作狀況的實(shí)時(shí)監(jiān)控與回溯查詢

實(shí)時(shí)監(jiān)控終端對引擎運(yùn)行的各項(xiàng)指標(biāo)進(jìn)行實(shí)時(shí)監(jiān)控，以隨時(shí)掌握引擎的運(yùn)行狀態(tài)。 回溯查詢平臺(tái) 可查看已抓取的網(wǎng)頁和網(wǎng)頁去噪情況?；厮莶樵兤脚_(tái)界面如圖 3 所示。

圖 3 回溯查詢平臺(tái)界面

6 分詞功能介紹

分詞程序主要包含 4 大模塊，分別為數(shù)據(jù)輸入模塊、基本前向后向分詞、數(shù)量詞識(shí)別以及歧義消解模塊。

7 去重功能介紹

該模塊可對網(wǎng)頁進(jìn)行去重操作[10]。

8 分類功能介紹

實(shí)現(xiàn)中文信息自動(dòng)分門別類 [11] 是一項(xiàng)及其復(fù)雜的工作。本系統(tǒng)根據(jù)中文智能分詞技術(shù)[12] 實(shí)現(xiàn)了分類功能，即根據(jù)文本內(nèi)容的特點(diǎn)分別歸類。通過人工對其進(jìn)行簡單的 訓(xùn)練 后， 可對文本進(jìn)行高速智能的自動(dòng)分類。分類可實(shí)現(xiàn)多層的樹狀結(jié)構(gòu)，允許一篇文檔同時(shí)屬于多個(gè)分類。分類過程主要包括文本預(yù)處理，抽取特征項(xiàng)，分類算法等。

9 結(jié) 語

系統(tǒng)擁有的網(wǎng)絡(luò)化情報(bào)自動(dòng)采集、智能加工、發(fā)布共享體系架構(gòu)等功能使得該體系能夠利用先進(jìn)的科技信息采集工具， 實(shí)現(xiàn)異構(gòu)信息資源的采集、轉(zhuǎn)變、整理、合成，以統(tǒng)一的模版格式實(shí)現(xiàn)科技情報(bào)信息資源服務(wù)，去除科技信息資源種類、架構(gòu)等無關(guān)信息，實(shí)現(xiàn)用戶的透明操作；采用統(tǒng)一的信息采集、加工處理、管理平臺(tái)，實(shí)現(xiàn)采集、加工處理過程的個(gè)性化流程個(gè)性化定制；實(shí)現(xiàn)了科技情報(bào)信息資源面向不同種類用戶和不同種類應(yīng)用的科技信息發(fā)布服務(wù)；基于網(wǎng)絡(luò)的自動(dòng)化情報(bào)收集、加工與發(fā)布體系是公益性情報(bào)服務(wù)平臺(tái)的發(fā)展趨勢。