程式扎記: [ Big Data 研究 ] 05 初步建置 Hadoop 分散式運算平台 - Part3

標籤

2015年9月4日 星期五

[ Big Data 研究 ] 05 初步建置 Hadoop 分散式運算平台 - Part3

開始建立多部運算主機
myHDP2 模板運算主機有了基礎設定, 也安裝了運算 Hadoop 系統所需的基礎套件, 現在我們可以來建立多台運算主機. 在開始之前, 為了簡化設定步驟將採取複製模板運算主機的方式架設 Hadoop 分散式運算平台, 複製出來的主機, ubuntu 帳號將會擁有完全相同的公鑰與私鑰, 你可以根據需求針對每台重新建立. 一樣在開始複製前須停止 myHDP2 模板運算主機:
# lxc-stop -n myHDP2 // 目前在實體主機下停止虛擬主機
# df -h / // 檢視目前硬碟空間
Filesystem Size Used Avail Use% Mounted on
/dev/sda1 18G 9.2G 7.5G 56% /

# lxc-clone myHDP2 nn
Created container nn as copy of myHDP2
# df -h /
Filesystem Size Used Avail Use% Mounted on
/dev/sda1 18G 11G 6.3G 63% /

# lxc-clone myHDP2 rm // 建立 Resource Manager Node
# lxc-clone myHDP2 dn01 // Data Node1
# lxc-clone myHDP2 dn02 // Data Node2

設置多台運算主機的共用資料夾
這邊將所有建立的虛擬主機 nn/rm/dn01/dn02 都掛載上實體主機的 /opt 目錄後, 使用下面指令啟動這四台虛擬主機:
# lxc-start -n nn -d
# lxc-start -n rm -d
# lxc-start -n dn01 -d
# lxc-start -n dn02 -d
# lxc-ls -f // 確認四台虛擬主機已經啟動
NAME STATE IPV4 IPV6 AUTOSTART
------------------------------------------------
dn01 RUNNING 172.16.1.222 - NO
...

設定多部運算主機的網路架構
為了讓這四台虛擬主機可以互相溝通, 我們接著要替這四台虛擬主機進行網路設置.

設定虛擬主機的固定 IP 位址
首先進入 nn (Name Node) 虛擬主機:
# lxc-console -n nn // 使用 console server 登入 虛擬主機 nn
...
ubuntu@nn:~$ sudo vi /etc/network/interfaces // 讓 nn 使用 IP=172.16.1.200
  1. ...  
  2. iface eth0 inet static  
  3.     address 172.16.1.200  
  4.     netmask 255.255.255.0  
  5.     gateway 172.16.1.1  
  6.     dns-nameservers 168.95.1.1  
  7. ...  
ubuntu@nn:~$ sudo ifdown eth0 && sudo ifup eth0 // 重啟網路卡 eth0
ubuntu@nn:~$ sudo ip addr show eth0 // 檢視設定是否生效
4: eth0: mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
link/ether 00:16:3e:7c:34:c2 brd ff:ff:ff:ff:ff:ff
inet 172.16.1.200/24 brd 172.16.1.255 scope global eth0
valid_lft forever preferred_lft forever
inet6 fe80::216:3eff:fe7c:34c2/64 scope link
valid_lft forever preferred_lft forever

可以使用 Ctrl+a then 'q' 來離開虛擬主機到實體主機. 接著依序設置其他虛擬主機的 IP:
* nn: 172.16.1.200
* rm: 172.16.1.201
* dn01: 172.16.1.210
* dn02: 172.16.1.211

SSH 遠端連線測試
因為這四台是相同虛擬主機 myHDP2 的複製品, 故上面有相同的金鑰. 任一台都可以不用密碼登入另外三台:
ubuntu@nn:~$ ssh rm // 登入虛擬主機 rm
Welcome to Ubuntu 14.04.3 LTS (GNU/Linux 3.19.0-26-generic x86_64)

* Documentation: https://help.ubuntu.com/
Last login: Fri Sep 4 03:17:08 2015 from nn

ubuntu@rm:~$ ssh dn01
Warning: Permanently added 'dn01,172.16.1.210' (ECDSA) to the list of known hosts.
Welcome to Ubuntu 14.04.3 LTS (GNU/Linux 3.19.0-26-generic x86_64)

* Documentation: https://help.ubuntu.com/
Last login: Fri Sep 4 03:17:14 2015 from nn

ubuntu@dn01:~$ ssh dn02
Warning: Permanently added 'dn02,172.16.1.211' (ECDSA) to the list of known hosts.
Welcome to Ubuntu 14.04.3 LTS (GNU/Linux 3.19.0-26-generic x86_64)

* Documentation: https://help.ubuntu.com/
Last login: Fri Sep 4 03:17:24 2015 from nn

ubuntu@dn02:~$

Supplement
[ Big Data 研究 ] 06 設定與初始化 HDFS 分散式檔案系統 - Part1
[ Big Data 研究 ] 05 初步建置 Hadoop 分散式運算平台 - Part1
[ Big Data 研究 ] 05 初步建置 Hadoop 分散式運算平台 - Part2
[ Big Data 研究 ] 05 初步建置 Hadoop 分散式運算平台 - Part3

This message was edited 18 times. Last update was at 09/09/2015 01:25:40

沒有留言:

張貼留言

網誌存檔

關於我自己

我的相片
Where there is a will, there is a way!