[ Big Data 研究 ] 05 初步建置 Hadoop 分散式運算平台 - Part3

開始建立多部運算主機
myHDP2 模板運算主機有了基礎設定, 也安裝了運算 Hadoop 系統所需的基礎套件, 現在我們可以來建立多台運算主機. 在開始之前, 為了簡化設定步驟將採取複製模板運算主機的方式架設 Hadoop 分散式運算平台, 複製出來的主機, ubuntu 帳號將會擁有完全相同的公鑰與私鑰, 你可以根據需求針對每台重新建立. 一樣在開始複製前須停止 myHDP2 模板運算主機:

# lxc-stop -n myHDP2 // 目前在實體主機下停止虛擬主機
# df -h / // 檢視目前硬碟空間
Filesystem Size Used Avail Use% Mounted on
/dev/sda1 18G 9.2G 7.5G 56% /
# lxc-clone myHDP2 nn
Created container nn as copy of myHDP2
# df -h /
Filesystem Size Used Avail Use% Mounted on
/dev/sda1 18G 11G 6.3G 63% /
# lxc-clone myHDP2 rm // 建立 Resource Manager Node
# lxc-clone myHDP2 dn01 // Data Node1
# lxc-clone myHDP2 dn02 // Data Node2

設置多台運算主機的共用資料夾
這邊將所有建立的虛擬主機 nn/rm/dn01/dn02 都掛載上實體主機的 /opt 目錄後, 使用下面指令啟動這四台虛擬主機:

# lxc-start -n nn -d
# lxc-start -n rm -d
# lxc-start -n dn01 -d
# lxc-start -n dn02 -d
# lxc-ls -f // 確認四台虛擬主機已經啟動
NAME STATE IPV4 IPV6 AUTOSTART
------------------------------------------------
dn01 RUNNING 172.16.1.222 - NO
...

設定多部運算主機的網路架構
為了讓這四台虛擬主機可以互相溝通, 我們接著要替這四台虛擬主機進行網路設置.

設定虛擬主機的固定 IP 位址
首先進入 nn (Name Node) 虛擬主機:

# lxc-console -n nn // 使用 console server 登入 虛擬主機 nn
...
ubuntu@nn:~$ sudo vi /etc/network/interfaces // 讓 nn 使用 IP=172.16.1.200

view plaincopy to clipboardprint?

1. ...  
2. iface eth0 inet static  
3.     address 172.16.1.200  
4.     netmask 255.255.255.0  
5.     gateway 172.16.1.1  
6.     dns-nameservers 168.95.1.1  
7. ...  

ubuntu@nn:~$ sudo ifdown eth0 && sudo ifup eth0 // 重啟網路卡 eth0
ubuntu@nn:~$ sudo ip addr show eth0 // 檢視設定是否生效
4: eth0: mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
link/ether 00:16:3e:7c:34:c2 brd ff:ff:ff:ff:ff:ff
inet 172.16.1.200/24 brd 172.16.1.255 scope global eth0
valid_lft forever preferred_lft forever
inet6 fe80::216:3eff:fe7c:34c2/64 scope link
valid_lft forever preferred_lft forever

可以使用 Ctrl+a then 'q' 來離開虛擬主機到實體主機. 接著依序設置其他虛擬主機的 IP:

* nn: 172.16.1.200
* rm: 172.16.1.201
* dn01: 172.16.1.210
* dn02: 172.16.1.211

SSH 遠端連線測試
因為這四台是相同虛擬主機 myHDP2 的複製品, 故上面有相同的金鑰. 任一台都可以不用密碼登入另外三台:

ubuntu@nn:~$ ssh rm // 登入虛擬主機 rm
Welcome to Ubuntu 14.04.3 LTS (GNU/Linux 3.19.0-26-generic x86_64)

* Documentation: https://help.ubuntu.com/
Last login: Fri Sep 4 03:17:08 2015 from nn
ubuntu@rm:~$ ssh dn01
Warning: Permanently added 'dn01,172.16.1.210' (ECDSA) to the list of known hosts.
Welcome to Ubuntu 14.04.3 LTS (GNU/Linux 3.19.0-26-generic x86_64)

* Documentation: https://help.ubuntu.com/
Last login: Fri Sep 4 03:17:14 2015 from nn
ubuntu@dn01:~$ ssh dn02
Warning: Permanently added 'dn02,172.16.1.211' (ECDSA) to the list of known hosts.
Welcome to Ubuntu 14.04.3 LTS (GNU/Linux 3.19.0-26-generic x86_64)

* Documentation: https://help.ubuntu.com/
Last login: Fri Sep 4 03:17:24 2015 from nn
ubuntu@dn02:~$

Supplement
* [ Big Data 研究 ] 06 設定與初始化 HDFS 分散式檔案系統 - Part1
* [ Big Data 研究 ] 05 初步建置 Hadoop 分散式運算平台 - Part1
* [ Big Data 研究 ] 05 初步建置 Hadoop 分散式運算平台 - Part2
* [ Big Data 研究 ] 05 初步建置 Hadoop 分散式運算平台 - Part3

This message was edited 18 times. Last update was at 09/09/2015 01:25:40