Kişisel Bilgisayara Gerçek Bir Hadoop Big Data Clusterı Kurmak-10: Cluster Planı

Hadoop clusterında bulunacak servislerin sunuculara dağıtımına cluster planlaması diyoruz. Hangi servis hangi sunucuda çalışacak, master nodelar hangileri, slave nodelar hangileri, edge server hangisi olacak, meta data tutan ilişkisel veritabanlarını nereye kuracağız, local repository nerede olacak bunların planlamasını bu aşamada yapıyoruz. Aşağıdaki şekilde plana göz atılabilir. Şeklin anlaşılır kılmak adına ayrıntılara yer vermedik.

Biz burada basit bir cluster kuracağımız için çok önemli değil ancak canlı ortamda şirket veya kurum için yapılacak kurulumlarda şirket/kurum ihtiyaçları göz önüne alınmalıdır. Bu ihtiyaca göre sunucu, disk, işlemci ve ağ bileşenleri seçilmelidir. Örneğin beklenti hesaplama yönünde ise daha güçlü işlemci ve hızlı ağ cihazları (dağıtık hesaplamanın tabiatı gereği), veri soğuk ve seyrek arişilecek ancak hacim çok büyük ise düşük performanslı ama hacimli diskler gibi. Cluster planımıza göre makinelere ana bellek ve işlemci çekirdeği planlaması yapalım:

Benim ortamımda toplam 8 çekirdek ve 32 GB ana bellek var. Ben bunun 6 çekirdeğini ve 26 GB RAM’i cluster için ayırıyorum. Kalan 2 çekirdek ve 6 GB bellek de ana makine için olsun.

node1: NameNode – 1 çekirdek, 4 GB RAM

  • NameNode
  • Zookeper1

node2: ResourManager – 1 çekirdek 4 GB RAM

  • ResourceManager
  • Standby NameNode
  • Zookeper2

node3: Edge Node – 2 çekirdek 6 GB RAM

  • Ambari Server
  • Cluster Local repository
  • Zookeper
  • JobHistory Server
  • MySQL Database
  • Zookeper3

node4: DataNode1 – 1 çekirdek 4 GB RAM

node5: DataNode2 – 1 çekirdek 4 GB RAM

node6: DataNode3 – 1 çekirdek 4 GB RAM

Tüm makineleri kapattıktan sonra RAM ayarlamasını yapabiliriz. İşlemci zaten birer çekirdek verebilmiştik.

Bir sonraki yazımızda node3 Edge Server’ı hazırlayacağız.

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir