Cara Install
dan Konfigurasi Apache Oozie Workflow Scheduler Untuk CDH 4.x
di CentOS 7
Tutorial Linux Indonesia -- Ozzie merupakan
aplikasi java berbasis web
open source. Untuk
menjadwalkan apache hadoop
jobs di lingkungan
terdistribusi.
Ini dapat menggabungkan
beberapa pekerjaan yang
rumit untuk di jalankan
secara berurutan untuk mencapai tugas
yang lebih besar.
Dengan urutan
tugas dua atau
lebih pekerjaan dapat
di program untuk
berjalan secara bersamaan
atau secara bergantian
satu sama lain.
Ini merupakan
tugas untuk penjadwalan
alur kerja untuk hadoop.
Terintegrasi hadoop stacks
dengan Yarn sebagai
pusat Arsitektual dan mendukung pekerjaan
Apache Map Reduce, Apache PIG
dan Apache Sqoop.
Ini menjadwalkan
Job Khusus seperti
Java Programs dan
Shell Sripting.
Pelajari lebih
lanjut tentang Big
Data Hadoop dalam
tutorial Big Data
Hadoop yang lengkap
sekarang.
Arsitekturs :
Apache Oozie
terdapat dua komponen
terdiri dari
Work Flow engine:
Berfungsi
untuk menyimpan dan
menjalankan alur kerja
dari pekerjaan hadoop.
Misalnya; Pig, Hive dan
Map reduce.
Coordinator Engine :
Berfungsi untuk
menjalankan pekerjaan alur
kerja bedasarkan waktu
yang telah di tentukan
dan ketersediaan data.
Perlu kamu
tau Apache Ozzie
sangat fleksibel dalam
melakukan tugasnya.
Seorang Big
Data Enginner dapat
denga mudah memulai, menghentikan dan
menanguhkan pekerjaan. Apache
Ozzie memiliki fleksibilitas untuk
memulai, menghentikan dan
menjalankan kembali pekerjaanya.
Membuatnya sangat mudah untuk mengulangi pekerjaan yang gagal, bahkan anda dapat melewati node gagal terntentu.
Baca Juga : Daftar perintah dasar Apache Hadoop
Install Apache
Oozie di CentOS /
Redhat
Download CDH repository dari website resmi. Atau anda dapat menggunakan alternative, dengan mengikuti panduan di bawah ini.
[root@master ~]# wget
http://archive.cloudera.com/cdh4/one-click-install/redhat/6/x86_64/cloudera-cdh-4-0.x86_64.rpm
Setelah
berhasil download rpm
package CDH, install menggunakan
command di bawah
ini.
[root@master ~]# yum
--nogpgcheck localinstall cloudera-cdh-4-0.x86_64.rpm
Sekarang
install Ozzie.
[root@master ~]# yum install
oozie -
Konfigurasi
Oozie CentOS / Redhat
Install Mysql untuk Database server dan buat database untuk Oozie. Jangan lupa untuk berikan ijin dan hak akses terhadap database Ozzie. Menggunakan command di bawah ini.
[root@master ~]# mysql -u root
-p
Enter password:
Welcome to the MariaDB
monitor. Commands end with ; or \g.
Your MariaDB connection id is 3
Server version: 5.5.60-MariaDB
MariaDB Server
Copyright (c) 2000, 2018,
Oracle, MariaDB Corporation Ab and others.
Type 'help;' or '\h' for help.
Type '\c' to clear the current input statement.
MariaDB [(none)]>
MariaDB [(none)]>create
database oozie;
MariaDB [(none)]>grant
all privileges on oozie.* to 'oozie'@'localhost' identified by 'oozie';
MariaDB [(none)]>grant
all privileges on oozie.* to 'oozie'@'%' identified by 'oozie';
MariaDB [(none)]>exit
Jalankan
perintah di bawah
ini untuk download
dan sambungkan koneksi
Mysql Connector ke
Ozzie.
[root@master ~]# cd /tmp/
[root@mastertmp]# wget
http://dev.mysql.com/get/Downloads
/Connector-J/mysql-connector-java-5.1.31.tar.gz
Lakukan
extract dan copy
file mysql connector
ke folder oozie.
[root@master tmp]# tar -zxf
mysql-connector-java-5.1.31.tar.gz
[root@master tmp]# cd
mysql-connector-java-5.1.31
[root@master mysql-connector-java-5.1.31]#
cp mysql-connector-java-5.1.31-bin.jar /var/lib/oozie/
Jalankan
perintah di bawah
ini untuk membuat
database schema oozie.
[root@master ~]# sudo -u oozie
/usr/lib/oozie/bin/ooziedb.sh create -run
setting OOZIE_CONFIG=/etc/oozie/conf
setting OOZIE_DATA=/var/lib/oozie
setting OOZIE_LOG=/var/log/oozie
.
.
.
setting CATALINA_OPTS=" $CATALINA_OPTS
-Doozie.https.keystore.pass=${OOZIE_HTTPS_KEYSTORE_PASS}"
Validate DB Connection
DONE
Check DB schema does not exist
DONE
Check OOZIE_SYS table does not
exist
DONE
Create SQL schema
DONE
Create OOZIE_SYS table
DONE
Aktifkan
Ozzie Console berbasis
Web Based, jalankan perintah
di bawah ini
untuk download Ozzie
Web Based dan
extract File yang
sudah berhasill anda
download.
Pindahkan
file yang sudah
berhasil anda extract
ke folder oozie.
[root@master ~]# cd /tmp/
[root@master tmp]# wget
http://archive.cloudera.com/gplextras/misc/ext-2.2.zip
[root@master tmp]# unzip ext-2.2.zip
[root@master tmp]# mv ext-2.2
/var/lib/oozie/
Lakukan
restart services oozie menggunakan command
di bawah ini.
[root@master tmp]# service
oozie status
not running
[root@master tmp]# service
oozie start
running
[root@master tmp]#
Pastikan
web console oozie
sudah berhasil running.
[root@master tmp]# oozie admin
-oozie http://localhost:11000/oozie -status
System mode: NORMAL
[root@master tmp]#
Anda dapat mengakses Apache Ozzie Dashboard, menggunakan tautan link
http://alamatipanda:11000/oozie
http://domainanda:11000/oozie
Akan terlihat tampilan dashboard Apache Ozzie seperti gambar di bawah ini.
Anda sudah berhasil instalasi dan Konfigurasi Apache Oozie, nantikan panduan Big Data lainya. JIka artikel ini bermanfaat untuk anda, silahkan share ke teman-teman anda.