[ Big Data 研究 ] 05 初步建置 Hadoop 分散式運算平台 - Part2

下載及安裝 JDK 套件 
要運行 Hadoop 的主機, 都需要安裝 Java 的 JDK 套件 (OpenJDK, Oracle JDK etc), 才能使用 Hadoop 系統來做運算. 這裡示範 OpenJDK 安裝流程: 

// 目前在實體主機內
# apt-cache search jdk // 搜尋 JDK 相關套件
...
openjdk-7-jdk - OpenJDK Development Kit (JDK)
...
# apt-get install openjdk-7-jdk // Start install JDK7
# which java // Check binary java path
/opt/jdk/bin/java
# vi ~/.bashrc // Add environment JAVA_HOME

view plaincopy to clipboardprint?

1. ...  
2. export JAVA_PATH='/opt/jdk'  
3. export PATH=$JAVA_PATH/bin:$PATH  
4. ...  

# java -version
java version "1.7.0_79"
Java(TM) SE Runtime Environment (build 1.7.0_79-b15)
Java HotSpot(TM) 64-Bit Server VM (build 24.79-b02, mixed mode)

下載及安裝 Hadoop 套件 
接著來安裝 Hadoop 套件 (這邊使用版本 2.5.2): 

# wget http://ftp.twaren.net/Unix/Web/apache/hadoop/commo...doop-2.5.2/hadoop-2.5.2.tar.gz
# tar -xvf hadoop-2.5.2.tar.gz -C /opt/ // 解壓縮到 /opt 路徑下
# ls -hl /opt/
total 4.0K
drwxr-xr-x 9 10021 10021 4.0K Nov 14 2014 hadoop-2.5.2

至此 LXC 核心模組的技術能夠讓多台運算主機共用實體的同一個目錄, 不必重複上述下載及解壓縮動作. 可直接使用實體主機上的 Hadoop 與 JDK 套件. 我們只需將實體主機的 /opt目錄掛載到運算的主機上, 就可以共用實體主機的目錄! 不過掛載前還需要在運算主機的 fstab 檔案中做適當設定. 

在掛載前務必先將運算主機關閉, 才能進行掛載的動作, 使用下面指令確認 myHDP2 模板主機的運行狀態: 
 
(-f, --fancy:use fancy output) 

確認運算主機已經關閉後, 在實體主機終端機輸入以下命令, 開啟 myHDP2 模板主機的 "fstab" 檔案: 

# vi /var/lib/lxc/myHDP2/fstab

view plaincopy to clipboardprint?

1. /opt    /var/lib/lxc/myHDP2/rootfs/opt  none    bind    0   0  

接著使用下面命令啟動並登入 myHDP2 模板主機: 

# lxc-start -n myHDP2 -d
# lxc-console -n myHDP2
ubuntu@myHDP2:~$ ls /opt/ // 確認掛載成功
hadoop-2.5.2 jdk ...

LXC 核心模組技術可以讓多台虛擬主機共享實體主機的同一目錄. 

設定 Hadoop 環境變數 
雖然在 myHDP2 模板運算主機可以看到運作 Hadoop 系統所需的基礎套件, 不過還要再設定 PATH 環境變數, 才能順利使用這兩個套件: 

ubuntu@myHDP2:~$ vi .bashrc

view plaincopy to clipboardprint?

1. export JAVA_HOME='/opt/jdk'  
2. export HADOOP_HOME='/opt/hadoop-2.5.2'  
3. export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH  

ubuntu@myHDP2:~$ . ~/.bashrc // 讓設定生效
ubuntu@myHDP2:~$ java -version
java version "1.7.0_79"
Java(TM) SE Runtime Environment (build 1.7.0_79-b15)
Java HotSpot(TM) 64-Bit Server VM (build 24.79-b02, mixed mode)
ubuntu@myHDP2:~$ hadoop version
Hadoop 2.5.2
Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r cc72e9b000545b86b75a61f4835eb86d57bfafc0
Compiled by jenkins on 2014-11-14T23:45Z
Compiled with protoc 2.5.0
From source with checksum df7537a4faa4658983d397abf4514320
This command was run using /opt/hadoop-2.5.2/share/hadoop/common/hadoop-common-2.5.2.jar

Supplement 
* Stackovereflow - How to install JDK on Ubuntu (Linux)? 
* 鳥哥 - Linux 磁碟與檔案系統管理 - 設定開機掛載