Hadoop環境安裝設置
Hadoop由GNU/Linux平臺支持(建議)。因此，需要安裝一個Linux操作系統並設置Hadoop環境。如果有Linux操作系統等，可以把它安裝在VirtualBox(要具備在 VirtualBox內安裝Linux經驗，沒有裝過也可以學習試着來)。
安裝前設置
在安裝Hadoop之前，需要進入Linux環境下，連接Linux使用SSH(安全Shell)。按照下面提供的步驟設立Linux環境。
創建一個用
在開始時，建議創建一個單獨的用戶Hadoop以從Unix文件系統隔離Hadoop文件系統。按照下面給出的步驟來創建用戶：
- 使用 「su」 命令開啓root .
- 創建用戶從root帳戶使用命令 「useradd username」.
- 現在，可以使用命令打開一個現有的用戶帳戶「su username」.
打開Linux終端，輸入以下命令來創建一個用戶。
$ su
password:
useradd hadoop
passwd hadoop
New passwd:
Retype new passwd
SSH設置和密鑰生成
SSH設置需要在集羣上做不同的操作，如啓動，停止，分佈式守護shell操作。認證不同的Hadoop用戶，需要一種用於Hadoop用戶提供的公鑰/私鑰對，並用不同的用戶共享。
下面的命令用於生成使用SSH鍵值對。複製公鑰形成 id_rsa.pub 到authorized_keys 文件中，並提供擁有者具有authorized_keys文件的讀寫權限。
$ ssh-keygen -t rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys
安裝Java
Java是Hadoop的主要先決條件。首先，應該使用命令「java-version」驗證 java 存在在系統中。 Java version 命令的語法如下。
$ java -version
如果一切順利，它會給下面的輸出。
java version "1.7.0_71"
Java(TM) SE Runtime Environment (build 1.7.0_71-b13)
Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)
如果Java還未安裝在系統中，那麼按照下面的給出的步驟來安裝Java。
第1步
下載Java(JDK<最新版> - X64.tar.gz)通過訪問以下鏈接 http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads1880260.html.
然後JDK-7u71-linux-x64.tar.gz將被下載到系統。
第2步
一般來說，在下載文件夾中的Java文件。使用下面的命令提取 jdk-7u71-linux-x64.gz文件。
$ cd Downloads/
$ ls
jdk-7u71-linux-x64.gz
$ tar zxf jdk-7u71-linux-x64.gz
$ ls
jdk1.7.0_71 jdk-7u71-linux-x64.gz
第3步
爲了使Java提供給所有用戶，將它移動到目錄 「/usr/local/」。打開根目錄，鍵入以下命令。
$ su
password:
mv jdk1.7.0_71 /usr/local/
exit
第4步
用於設置PATH和JAVA_HOME變量，添加以下命令到~/.bashrc文件。
export JAVA_HOME=/usr/local/jdk1.7.0_71
export PATH=PATH:$JAVA_HOME/bin
現在從終端驗證 java -version 命令如上述說明。
下載Hadoop
下載來自Apache基金會軟件，使用下面的命令提取 Hadoop2.4.1。
$ su
password:
cd /usr/local
wget http://apache.claz.org/hadoop/common/hadoop-2.4.1/
hadoop-2.4.1.tar.gz
tar xzf hadoop-2.4.1.tar.gz
mv hadoop-2.4.1/* to hadoop/
exit
Hadoop操作模式
下載 Hadoop 以後，可以操作Hadoop集羣以以下三個支持模式之一：
本地/獨立模式：下載Hadoop在系統中，默認情況下之後，它會被配置在一個獨立的模式，用於運行Java程序。
模擬分佈式模式：這是在單臺機器的分佈式模擬。Hadoop守護每個進程，如 hdfs, yarn, MapReduce 等，都將作爲一個獨立的java程序運行。這種模式對開發非常有用。
完全分佈式模式：這種模式是完全分佈式的最小兩臺或多臺計算機的集羣。我們使用這種模式在未來的章節中。
在單機模式下安裝Hadoop
在這裏，將討論 Hadoop2.4.1在獨立模式下安裝。
有單個JVM運行任何守護進程一切都運行。獨立模式適合於開發期間運行MapReduce程序，因爲它很容易進行測試和調試。
設置Hadoop
可以通過附加下面的命令到 ~/.bashrc 文件中設置 Hadoop 環境變量。
export HADOOP_HOME=/usr/local/hadoop
在進一步討論之前，需要確保Hadoop工作正常。發出以下命令：
$ hadoop version
如果設置的一切正常，那麼應該看到以下結果：
Hadoop 2.4.1
Subversion https://svn.apache.org/repos/asf/hadoop/common -r 1529768
Compiled by hortonmu on 2013-10-07T06:28Z
Compiled with protoc 2.5.0
From source with checksum 79e53ce7994d1628b240f09af91e1af4
這意味着Hadoop在獨立模式下工作正常。默認情況下，Hadoop被配置爲在非分佈式模式的單個機器上運行。
示例
讓我們來看看Hadoop的一個簡單例子。 Hadoop安裝提供了下列示例 MapReduce jar 文件，它提供了MapReduce的基本功能，並且可以用於計算，像PI值，字計數在文件等等
$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar
有一個輸入目錄將推送幾個文件，要求計算那些文件的單詞總數。要計算單詞總數，並不需要寫MapReduce，提供的.jar文件包含了實現字數。可以嘗試其他的例子使用相同的.jar文件; 發出以下命令通過Hadoop hadoop-mapreduce-examples-2.2.0.jar 文件檢查支持MapReduce功能的程序。
$ hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduceexamples-2.2.0.jar
第1步
創建輸入臨時目錄的內容文件。可以在任何地方創建此輸入目錄用來工作。
$ mkdir input
$ cp $HADOOP_HOME/*.txt input
$ ls -l input
它會在輸入目錄中的給出以下文件：
total 24
-rw-r--r-- 1 root root 15164 Feb 21 10:14 LICENSE.txt
-rw-r--r-- 1 root root 101 Feb 21 10:14 NOTICE.txt
-rw-r--r-- 1 root root 1366 Feb 21 10:14 README.txt
這些文件已從Hadoop安裝主目錄被複制。爲了實驗，可以有不同大型的文件集。
第1步
讓我們啓動Hadoop進程計數在所有在輸入目錄中可用的文件的單詞總數，具體如下：
$ hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduceexamples-2.2.0.jar wordcount input ouput
第3步
步驟2 將做必要的處理並保存輸出在output/part-r00000文件中，可以通過查詢使用：
$cat output/*
它會列出了所有的單詞以及它們在所有輸入目錄中的文件提供總計數。
"AS 4
"Contribution" 1
"Contributor" 1
"Derivative 1
"Legal 1
"License" 1
"License"); 1
"Licensor" 1
"NOTICE」 1
"Not 1
"Object" 1
"Source」 1
"Work」 1
"You" 1
"Your") 1
"[]" 1
"control" 1
"printed 1
"submitted" 1
(50%) 1
(BIS), 1
(C) 1
(Don't) 1
(ECCN) 1
(INCLUDING 2
(INCLUDING, 2
.............
模擬分佈式模式安裝Hadoop
按照下面給出的在僞分佈式模式下安裝Hadoop2.4.1的步驟。
第1步：設置Hadoop
可以通過附加下面的命令到~/.bashrc文件中設置Hadoop環境變量。
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_INSTALL=$HADOOP_HOME
現在，提交所有更改到當前正在運行的系統。
$ source ~/.bashrc
第2步：Hadoop配置
可以找到位置「$HADOOP_HOME/etc/hadoop」下找到所有Hadoop配置文件。這是需要根據Hadoop基礎架構進行更改這些配置文件。
$ cd $HADOOP_HOME/etc/hadoop
爲了使用Java開發Hadoop程序，必須用java在系統中的位置替換JAVA_HOME值並重新設置hadoop-env.sh文件的java環境變量。
export JAVA_HOME=/usr/local/jdk1.7.0_71
以下是必須編輯配置Hadoop的文件列表。
core-site.xml
core-site.xml文件中包含如讀/寫緩衝器用於Hadoop的實例的端口號的信息，分配給文件系統存儲，用於存儲所述數據存儲器的限制和大小。
打開core-site.xml 並在
hdfs-site.xml
hdfs-site.xml 文件中包含如複製數據的值，NameNode路徑的信息，，本地文件系統的數據節點的路徑。這意味着是存儲Hadoop基礎工具的地方。
讓我們假設以下數據。
dfs.replication (data replication value) = 1
(In the below given path /hadoop/ is the user name.
hadoopinfra/hdfs/namenode is the directory created by hdfs file system.)
namenode path = //home/hadoop/hadoopinfra/hdfs/namenode
(hadoopinfra/hdfs/datanode is the directory created by hdfs file system.)
datanode path = //home/hadoop/hadoopinfra/hdfs/datanode
打開這個文件，並在這個文件中的
注：在上面的文件，所有的屬性值是用戶定義的，可以根據自己的Hadoop基礎架構進行更改。
yarn-site.xml
此文件用於配置成yarn在Hadoop中。打開 yarn-site.xml文件，並在文件中的
mapred-site.xml
此文件用於指定正在使用MapReduce框架。缺省情況下，包含Hadoop的模板yarn-site.xml。首先，它需要從mapred-site.xml複製。獲得mapred-site.xml模板文件使用以下命令。
$ cp mapred-site.xml.template mapred-site.xml
打開mapred-site.xml文件，並在此文件中的
驗證Hadoop安裝
下面的步驟用來驗證Hadoop安裝。
第1步：名稱節點設置
使用命令「hdfs namenode -format」如下設置名稱節點。
$ cd ~
$ hdfs namenode -format
預期的結果如下
10/24/14 21:30:55 INFO namenode.NameNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG: host = localhost/192.168.1.11
STARTUP_MSG: args = [-format]
STARTUP_MSG: version = 2.4.1
...
...
10/24/14 21:30:56 INFO common.Storage: Storage directory
/home/hadoop/hadoopinfra/hdfs/namenode has been successfully formatted.
10/24/14 21:30:56 INFO namenode.NNStorageRetentionManager: Going to
retain 1 images with txid >= 0
10/24/14 21:30:56 INFO util.ExitUtil: Exiting with status 0
10/24/14 21:30:56 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at localhost/192.168.1.11
************************************************************/
第2步：驗證Hadoop的DFS
下面的命令用來啓動DFS。執行這個命令將啓動Hadoop文件系統。
$ start-dfs.sh
期望的輸出如下所示：
10/24/14 21:37:56
Starting namenodes on [localhost]
localhost: starting namenode, logging to /home/hadoop/hadoop
2.4.1/logs/hadoop-hadoop-namenode-localhost.out
localhost: starting datanode, logging to /home/hadoop/hadoop
2.4.1/logs/hadoop-hadoop-datanode-localhost.out
Starting secondary namenodes [0.0.0.0]
第3步：驗證Yarn 腳本
下面的命令用來啓動yarn腳本。執行此命令將啓動yarn守護進程。
$ start-yarn.sh
預期輸出如下：
starting yarn daemons
starting resourcemanager, logging to /home/hadoop/hadoop
2.4.1/logs/yarn-hadoop-resourcemanager-localhost.out
localhost: starting nodemanager, logging to /home/hadoop/hadoop
2.4.1/logs/yarn-hadoop-nodemanager-localhost.out
第4步：在瀏覽器訪問Hadoop
訪問Hadoop默認端口號爲50070，使用以下網址獲得瀏覽器Hadoop的服務。
第5步：驗證所有應用程序的集羣
訪問集羣中的所有應用程序的默認端口號爲8088。使用以下URL訪問該服務。
