hadoop開(kāi)發(fā)環(huán)境搭建

Hadoop是一個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架。 Hadoop 以一種可靠、高效、可伸縮的方式進(jìn)行數(shù)據(jù)處理。Hadoop 是可靠的，因?yàn)樗僭O(shè)計(jì)算元素和存儲(chǔ)會(huì)失敗，因此它維護(hù)多個(gè)工作數(shù)據(jù)副本，確保能夠針對(duì)失敗的節(jié)點(diǎn)重新分布處理。Hadoop 是高效的，因?yàn)樗圆⑿械姆绞焦ぷ?，通過(guò)并行處理加快處理速度。Hadoop 還是可伸縮的，能夠處理 PB 級(jí)數(shù)據(jù)。此外，Hadoop 依賴(lài)于社區(qū)服務(wù)，因此它的成本比較低，任何人都可以使用。

hadoop開(kāi)發(fā)環(huán)境

一、在windows上安裝linux雙系統(tǒng)

hadoop是運(yùn)行在linux下的并行計(jì)算框架，在windows上搭建也是通過(guò)cygwin模擬linux的環(huán)境來(lái)運(yùn)行，所以個(gè)人覺(jué)得直接在windows下搭建hadoop幾乎沒(méi)有任何好處，還不如在windows上安裝linux的虛擬機(jī)，通過(guò)虛擬機(jī)中的linux系統(tǒng)來(lái)運(yùn)行hadoop。所以安裝linux雙系統(tǒng)還是很有必要的。

二、在linux上安裝jdk，并配置java環(huán)境

0.下載jdk8

登錄網(wǎng)址：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

選擇對(duì)應(yīng)jdk版本下載。(可在Windows下下載完成后，通過(guò)文件夾共享到Linux上)

1.登錄Linux，切換到root用戶(hù)

su 獲取root用戶(hù)權(quán)限，當(dāng)前工作目錄不變(需要root密碼)

2.在usr目錄下建立java安裝目錄

mkdir usr/java

3.將jdk-8u60-linux-x64.tar.gz拷貝到j(luò)ava目錄下并解壓

cp /mnt/hgfs/linux/jdk-8u60-linux-x64.tar.gz /usr/java/

tar -zxvf jdk-8u60-linux-x64.tar.gz得到文件夾jdk1.8.0_60

4.編輯配置文件，配置環(huán)境變量

vi /etc/profile

添加如下內(nèi)容：

JAVA_HOME=/usr/java/jdk1.8.0_60

CLASSPATH=$JAVA_HOME/lib/

PATH=$PATH：$JAVA_HOME/bin

exportPATH JAVA_HOME CLASSPATH

5.重啟機(jī)器或執(zhí)行命令：source/etc/profile

查看安裝情況：

java-version

javaversion “1.8.0_60”

Java(TM)SE RunTIme Environment (build 1.8.0_60-b27)

JavaHotSpot(TM) Client VM (build 25.60-b23， mixed mode)

三、配置SSH免密碼登錄

1.確認(rèn)已經(jīng)連上互聯(lián)網(wǎng)，輸入命令

sudo apt-get install ssh

2.配置為可以無(wú)密碼登錄本機(jī)

首先查看在hewei(對(duì)應(yīng)自己用戶(hù))用戶(hù)下是否存在.ssh文件夾(注意ssh前面有“。”，表示這

是一個(gè)隱藏文件夾)，輸入命令：

ls -a /home/hewei

一般來(lái)說(shuō)，安裝SSH時(shí)會(huì)自動(dòng)在當(dāng)前用戶(hù)下創(chuàng)建這個(gè)隱藏文件夾，如果沒(méi)有，可以手動(dòng)創(chuàng)建

一個(gè)。接下來(lái)，輸入命令：

ssh-keygen -t dsa -P ‘’ -f ~/.ssh/id_dsa

這個(gè)命令會(huì)在.ssh文件夾下創(chuàng)建兩個(gè)文件id_dsa及id_dsa.pub，這是SSH的一對(duì)私鑰和公鑰，

類(lèi)似于鑰匙及鎖，把id_dsa.pub(公鑰)追加到授權(quán)的key里面去。

輸入命令：

cat ~/.ssh/id_dsa.pub 》》 ~/.ssh/authorized_keys

這條命令是把公鑰加到用于認(rèn)證的公鑰文件中，這里的authorized_keys是用于認(rèn)證的公鑰文件。

3.驗(yàn)證SSH是否已安裝成功，以及是否可以無(wú)密碼登錄本機(jī)

輸入命令：

ssh -version

顯示結(jié)果：

1

顯示SSH已經(jīng)安裝成功了。

輸入命令：

ssh localhost

顯示結(jié)果：

2

說(shuō)明安裝成功。

四、安裝并運(yùn)行hadoop ——偽分布式配置

1.進(jìn)入conf文件夾，修改配置文件：

a.指定JDK的安裝位置：

在Hadoop-env.sh中：

exportJAVA_HOME=”你的JDK安裝位置”

b.配置HDFS的地址和端口號(hào)：

在conf/core-site.xml中：

《configuraTIon》

《property》

《name》fs.default.name《/name》

《value》hdfs://localhost:9000《/value》

《/property》

《/configuraTIon》

c.配置HDFS的備份方式：

在conf/hdfs-site.xml中：

《configuraTIon》

《property》

《name》dfs.replication《/name》

《value》1《/value》

《/property》

《property》

《name》dfs.permissions《/name》

《value》false《/value》

《/property》

《/configuration》

d.配置MapReduce中JobTracker的地址和端口：

在conf/mapred-site.xml中：

《configuration》

《property》

《name》mapred.job.tracker《/name》

《value》localhost:9001《/value》

《/property》

《/configuration》

f.格式化Hadoop并啟動(dòng)驗(yàn)證：

格式化Hadoop：

。/bin/hadoop namenode-format

啟動(dòng)Hadoop：

。/bin/start-all.sh(全部啟動(dòng))

驗(yàn)證Hadoop是否安裝成功，打開(kāi)瀏覽器，分別輸入網(wǎng)址：

http://localhost:50030(MapReduce的web頁(yè)面)

http://localhost:50070(HDFS的web頁(yè)面)

若都能查看，說(shuō)明Hadoop已經(jīng)安裝成功。

五、在linux上安裝Eclipse

1.安裝eclipse：

(1)到http://www.eclipse.org/downloads/，下載eclipsefor linux版本，我下載后文件的完整名稱(chēng)為：

eclipse-java-galileo-SR1-linux-gtk.tar.gz

解壓縮后，可以查看根目錄下的

(2)將eclipse-SDK-3.2.1-linux-gtk.tar.gz這一個(gè)文件放到/opt目錄下面(用root執(zhí)行mv_ _語(yǔ)句才能移進(jìn)opt文件夾)

(3)在shell中進(jìn)入/opt/，執(zhí)行：tar -zxvf eclipse-SDK-4.2.1-linux-gtk.tar.gz語(yǔ)句，解壓縮下載文件

(4)在shell中，進(jìn)入到eclipse目錄，cd/opt/eclipse設(shè)置文件eclipse執(zhí)行權(quán)：chown-R root：你的用戶(hù)名eclipse[!--empirenews.page--]

(5)創(chuàng)建桌面連接

sudogedit /usr/share/applications/eclipse.desktop

加入以下內(nèi)容：

[DesktopEntry]Encoding=UTF-8Name=EclipseComment=EclipseSDKExec=/home/hewei/App/Eclipse/eclipseIcon=/home/hewei/App/Eclipse/icon.xpmTerminal=falseType=ApplicationCategories=Application;Development;2.在eclipse中添加hadoop插件

(1)找eclipse安裝目錄

安裝目錄：/home/App/Eclipse/eclipse/plugins

把/home/hewei/下載/eclipse-plugin/hadoop-1.0.1-eclipse-plugin.jar

復(fù)制到plugins中，就有加載hadoop插件

(2)配置hadoop安裝目錄

window -》preference -》 hadoop Map/Reduce -》 Hadoopinstallation

directory:/home/grid/hadoop-1.0.1 -》點(diǎn)擊“OK”

(3)配置Map/Reduce視圖

window -》Open Perspective -》 Map/Reduce -》 點(diǎn)擊“OK”

window -》Show View -》 搜索“map/reduceLocations”視圖選上-》點(diǎn)擊“OK”

在eclipse下方就出現(xiàn)了一個(gè)“Map/ReduceLocations選項(xiàng)卡”-》空白地方右鍵選“New

Hadoop Location”

Location name：Mymapred

Map/Reduce Master ： host -》 localhost

DFSMaster ： host -》 localhost

(4)在左邊projectexplorer列表框中找到“DFSLocations”右鍵refresh，就會(huì)看到

一個(gè)目錄樹(shù)，eclipse提供了一個(gè)目錄樹(shù)來(lái)管理HDFS系統(tǒng)，右鍵可以創(chuàng)建/刪除目錄，上傳/

查看文件，操作起來(lái)很簡(jiǎn)單，內(nèi)容與命令hadoopdfs -ls 結(jié)果一致