Apache Oozie Nedir? Nasıl Kullanılır? Örnek Java Uygulaması Bölüm-3/3

İkinci yazımızın hemen ardından Apache Oozie yazımızın üçüncüsüne devam ediyoruz.

Yazı uzayınca hafıza körelmiş olabilir Önce hangi dizindeyiz pwd ile bakalım:

[cloudera@quickstart java-main]$ pwd
/home/cloudera/oozie_ornekler/examples/apps/java-main
Job.properties dosyasını düzenlemek

Şimdi nano editörü ile job.properties dosyasının içine girip değişikliklerimizi yapalım. (Siz vi, vim vb. başka editör kullanabilirsiniz)

[cloudera@quickstart java-main]$ sudo nano job.properties
nameNode=hdfs://quickstart.cloudera:8020
jobTracker=quickstart.cloudera:8032
queueName=default
examplesRoot=examples

oozie.wf.application.path=${nameNode}/user/${user.name}/${examplesRoot}/apps/java-main

Beşinci özelliğimiz olan en alt satırdaki oozie.wf.application.path dan bahsetmek istiyorum. Bu beşinci özellik aslında diğer dört özelliği kullanarak dosya yolu oluşturuyor.

${nameNode}/user/${user.name}/${examplesRoot}/apps/java-main

Bu özellik mevcut konfigürasyona göre şu şekilde bir değer alacaktır:

hdfs://quickstart.cloudera:8020/user/cloudera/examples/apps/java-main

Buradan herhalde hazırladığımız bu dosyaları HDFS’e kopyalamamız gerektiğini anlamışsınızdır 🙂

Examples klasörünü HDFS’e kopyalamak

Öncelikle hdfs://quickstart.cloudera:8020/user/cloudera/examples adresi var mı yok mu kontrol edelim.

[cloudera@quickstart java-main]$ hdfs dfs -ls /user/cloudera/examples
ls: `/user/cloudera/examples': No such file or directory

Beklediğimiz gibi “böyle bir dizin yok” diyor. Öyleyse lokal dizinde examples klasörünün dışına çıkalım ve examples klasörünü olduğu gibi hdfs’de /user/cloudera/examples adresine kopyalayalım. Burada farklı bir adres verme şansımız yok çünkü job.properties dosyasında işaret edilen hdfs adresi budur. Aksi halde oozie görevi hata verecektir.

[cloudera@quickstart java-main]$ cd ..
[cloudera@quickstart apps]$ cd ..
[cloudera@quickstart examples]$ cd ..
[cloudera@quickstart oozie_ornekler]$ hdfs dfs -put examples/ /user/cloudera/examples

kopyalama başarılı mı? kontrol edelim:

[cloudera@quickstart oozie_ornekler]$ hdfs dfs -ls /user/cloudera/examples
Found 3 items
drwxr-xr-x   - cloudera cloudera          0 2017-08-26 05:22 /user/cloudera/examples/apps
drwxr-xr-x   - cloudera cloudera          0 2017-08-26 05:22 /user/cloudera/examples/input-data
drwxr-xr-x   - cloudera cloudera          0 2017-08-26 05:22 /user/cloudera/examples/src

Başarılı bir şekilde kopyalanmış.
Evet şimdi herşey tamam görünüyor.

İlk Oozie görevini başlatmak

Şimdi geldi görevi çalıştırmaya.
Lokal dizinde oozie_ornekler kalsörünün de dışına çıkıp görevimizi çalıştıralım.

[cloudera@quickstart oozie_ornekler]$ cd ..
[cloudera@quickstart ~]$ pwd
/home/cloudera
[cloudera@quickstart ~]$ oozie job -oozie http://quickstart.cloudera:11000/oozie -config /home/cloudera/oozie_ornekler/examples/apps/java-main/job.properties -run
job: 0000000-170825203534617-oozie-oozi-W

Adress; oozie rolünün bulunduğu sunucunun adres ve portu, -config; lokal dizindeki job.properties dosyası, en son -run ise icraata geç, görevi başlat parametresidir.
Sonuç olarak bize job: 0000000-170825203534617-oozie-oozi-W görev numarası döndürdü. Bu görev numarası ile görev hakkında bilgi alabiliriz.

Oozie görevinin sonucunu görme
[cloudera@quickstart ~]$ oozie job -oozie http://quickstart.cloudera:11000/oozie -info 0000000-170825203534617-oozie-oozi-W
Job ID : 0000000-170825203534617-oozie-oozi-W
------------------------------------------------------------------------------------------------------------------------------------
Workflow Name : java-main-wf
App Path      : hdfs://quickstart.cloudera:8020/user/cloudera/examples/apps/java-main
Status        : SUCCEEDED
Run           : 0
User          : cloudera
Group         : -
Created       : 2017-08-26 12:35 GMT
Started       : 2017-08-26 12:35 GMT
Last Modified : 2017-08-26 12:35 GMT
Ended         : 2017-08-26 12:35 GMT
CoordAction ID: -

Actions
---------------------------------------------------------------------------------
ID                         Status    Ext ID                 Ext Status Err Code
---------------------------------------------------------------------------------
0000000-170825203534617
-oozie-oozi-W@:start:       OK        -                      OK         -
---------------------------------------------------------------------------------
0000000-170825203534617
-oozie-oozi-W@java-node     OK        job_1502609949360_0001 SUCCEEDED  -
---------------------------------------------------------------------------------
0000000-170825203534617
-oozie-oozi-W@end           OK        -                      OK         -
---------------------------------------------------------------------------------
Oozie görevlerini web arayüzünden izlemek

Yukarıdaki bilgilerden görevin başarıyla tamamlandığını görebiliyoruz. Resource manager web arayüzünden bu görev ile bilgi alabiliriz. quickstart.cloudera:8088 adresine gidelim.

Ayrıca http://quickstart.cloudera:11000/oozie/ adresinden Done Jobs sekmesinden az önceki görev hakkında da bilgi alabiliriz.

Evet şimdi diyeceksiniz ki üç yazıda baya uğraştık ama çalıştırdığımız bu iş ne yaptı. Bu “hello world” tarzında basit bir java uygulamasıydı. Müteakip Oozie yazılarında başka türden görevlerin örneklerini de yapacağız. Bir sonraki sefere kadar veriyle kalın…

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir

Fazla kilolardan mı şikayetçisiniz? O halde neden mide küçültme ameliyatı nı denemiyorsunuz. mide küçültme ameliyatı, zayıflamak isteyenler için kesin bir çözüm sunuyor. Üstelik çok kısa bir süre içersinde hayal ettiğiniz kilolara kavuşabilirsiniz.
Caminin önünde ve iki yanında geniş cami halısı dış avlusu olup bunun çevresi pencereli duvarlarla çevrilidir. Bu avulya 3 ü cephede olmak üzere, 8 kapıdan girilir. Şadırvan avlusu, 26 adet granit mermer ve porfir sütuna oturtulmuş, 30 kubbeyle çevrili geniş alandır. Mermer döşemeli bu geniş sahanın ortasında 6 mermer sütunlu şadırvan, sahanın azametini gösterir. Şadırvanın kemerleri, kabartma olarak Rumi geçmelerle ve köşebentleri, kabartma, lale ve karanfil motifleriyle bezelidir. İç avluya, biri cepheden ikisi yandan olmak üzere herbiri merdivenli 3 kapıdan girilmektedir. Bu kapılarla dış avlunun cümle kapısı, ozamana kadar benzeri görülmemiş bronz kapılardır. Kubbeden aşağı doğru indikçe mekan yayılmaktadır. Bu piramidel yükselme ve yayılma sonucunda göz yanlara ve yukarıya doğru aynı mesafelere ulaşmaktadır. Bu özelliklerden dolayı, mekanın neresinde olursanız olun, bütün mekana hakim görüş sağlarsınız. Kubbe yaklaşık olarak 43 metre yükseklikte ve köşeleri pandantifle doldurulmuş 4 muazzam kemer üzerine oturtulmaktadır. Caminin su basmanı üzerinde olması ve kubbe yüksekliği nedeniyle pencereleri oldukça fazladır. Böylece caminin içini süsleyen binlerce çini ve kalem işleri tatlı ışık altında görülmektedir. Caminin içindeki en önemli unsur, ince işçilikle yontulmuş mermerden yapılma mihraptır. Bitişik duvarları, seramik çinilerle kaplanmıştır fakat çevresindeki çok sayıdaki pencere onu daha az ihtişamlı gösterir. Mihrabın sağında, Caminin en kalabalık halinde dahi olsa, herkesin imamı rahatça duyabileceği şekilde dekore edilmiş mimber bulunur. Caminin içi her katında alçak düzeyde olmak üzere 50 farklı lale deseninden üretilmiş 20binden fazla çini ile döşenmiştir. Alt seviyelerdeki çiniler, geleneksel galerideki çinilerin desenleri çiçekler meyveler ve servilerle gösterişli ve ihtişamlıdır.