Cara Buat Snapshot di Hadoop

Cara  Buat  Snapshot  di  Hadoop

Tutorial Linux  Indonesia  ---  Snapshot  HDFS  merupakan fitur hadoop  yang  digunakan untuk melindungi  data   yang sudah  tersimpan  di hadoop.

Dapat  melindungi  data  perusahan  yang  sangat  penting dari kesalahan pengguna  atau   aplikasi. 

Apabila  data  perusahaan anda  hilang atau  rusak  di  HDFS  Hadoop, jangan  khawatir sekarang  fitur   snapshot  dapat memulihkan data  yang  hilang.

Dalam  Tutorial  Hadoop ini,  kita  akan  membahas  “ Cara Buat  Snapshot  di  hadoop  ? “

Mengizinkan  snapshot  dari  direktory   yang akan dibuat. 

hdfs dfsadmin -allowSnapshot  /pathdirektory

Misalnya  direktory  /bagol69_com/   yang  diberikan  ijin  untuk melakukan snapshot file  di dalam  folder tersebut.

[hadoop@localhost ~]$ hdfs dfsadmin -allowSnapshot /bagol69_com/

Allowing snaphot on /bagol69_com/ succeeded 

Jika  sudah berhasil mengizinkan direktory  untuk melakukan snapshot, akan  terlihat direktory  tersebut.

[hadoop@localhost ~]$ hdfs lsSnapshottableDir

drwxr-xr-x 0 hadoop supergroup 0 2019-03-28 04:06 0 65536 /bagol69_com

Langsung anda  buat  snapshot untuk   folder   tersebut.

[hadoop@localhost ~]$ hdfs dfs -createSnapshot /bagol69_com/

Created snapshot /bagol69_com/.snapshot/s20190328-132241.547

Anda  dapat  melihat  snapshot  yang  sudah  berhasil di buat, menggunakan  web  manager Hadoop, seperti  gambar di bawah ini.

Baca  Juga  :  Apa itu BIG DATA  ? 

PENGETESAN

Anda  dapat  melakukan pengetesan terhadap snapshot  yang  sudah  dibuat  sebelumnya.

Baca  Juga  :  Instalasi Apache Flink di Centos 7 

Dengan  cara  hapus  salah satu file  di dalam direktory /bagol69_com/ seperti dibawah ini.

[hadoop@localhost ~]$ hdfs dfs -rm -r -skipTrash /bagol69_com/README.txt

Deleted /bagol69_com/README.txt

[hadoop@localhost ~]$

Wah  sekarang sudah  tidak  ada   file  readme.txt  di folder bagol69_com.  Jangan khawatir, file  tersebut  akan  balik  lagi, karena kita  sudah  backup  menggunakan  fitur  snapshot  hadoop.

Sekarang,  kita  melakukan  restore  hasil dari  snapshot, untuk membalikan  file  README.txt  ke  folder  bagol69_com.

Baca Juga :  Instalasi  Apache Hadoop  di Centos 7

[hadoop@localhost bagol69_com]$ hadoop fs -cp /bagol69_com/.snapshot/s20190328-132241.547/README.txt /bagol69_com/

[hadoop@localhost bagol69_com]$

Alhamdulilah sudah  kembali  lagi  file   README.txt ke folder  bagol69_com

Kesimpulan.

Anda  dapat  menggunakan   fitur  snapshot  hadoop, untuk  melakukan backup  data  perusahaan anda. 

Tapi jangan  terlalu  sering-sering melakukan snapshot, karena  akan  mengurangi kemampuan hadoop  untuk menyimpan  data.

Cara  Install  dan  Konfigurasi  Apache Oozie Workflow Scheduler Untuk   CDH 4.x  di CentOS 7

 

Tutorial  Linux Indonesia --   Ozzie  merupakan    aplikasi java    berbasis    web  open  source.  Untuk   menjadwalkan  apache  hadoop  jobs  di  lingkungan   terdistribusi. 

Ini dapat  menggabungkan   beberapa  pekerjaan   yang  rumit   untuk  di jalankan  secara  berurutan   untuk mencapai  tugas     yang  lebih  besar. 

Dengan  urutan  tugas  dua  atau  lebih  pekerjaan    dapat  di  program   untuk  berjalan   secara  bersamaan  atau  secara  bergantian  satu  sama  lain. 

Ini   merupakan  tugas   untuk  penjadwalan   alur  kerja  untuk  hadoop.  Terintegrasi  hadoop  stacks  dengan  Yarn  sebagai  pusat  Arsitektual  dan mendukung   pekerjaan  Apache  Map  Reduce, Apache  PIG  dan  Apache  Sqoop.

 

Ini  menjadwalkan  Job  Khusus   seperti  Java  Programs   dan  Shell  Sripting. 

 

Pelajari  lebih  lanjut  tentang   Big  Data  Hadoop    dalam  tutorial    Big   Data  Hadoop  yang  lengkap  sekarang. 

 

Arsitekturs  : 

Apache   Oozie  terdapat  dua  komponen    terdiri  dari

Work Flow engine:

 Berfungsi  untuk  menyimpan  dan  menjalankan  alur  kerja   dari  pekerjaan  hadoop.  Misalnya; Pig,  Hive  dan  Map  reduce. 

Coordinator Engine : 

Berfungsi  untuk  menjalankan pekerjaan alur  kerja   bedasarkan  waktu  yang telah  di  tentukan  dan   ketersediaan  data. 

 

Perlu  kamu  tau  Apache Ozzie   sangat   fleksibel  dalam  melakukan  tugasnya. 

Seorang  Big  Data  Enginner  dapat  denga  mudah  memulai, menghentikan  dan  menanguhkan  pekerjaan.   Apache  Ozzie   memiliki  fleksibilitas    untuk  memulai,  menghentikan   dan  menjalankan  kembali  pekerjaanya. 

Membuatnya  sangat  mudah    untuk mengulangi  pekerjaan  yang  gagal, bahkan    anda  dapat  melewati  node  gagal  terntentu.

 Baca  Juga  :   Daftar perintah dasar Apache Hadoop

Install  Apache   Oozie  di  CentOS /  Redhat 

Download CDH repository   dari     website  resmi.  Atau  anda  dapat   menggunakan  alternative, dengan  mengikuti  panduan di  bawah  ini. 

[root@master ~]# wget http://archive.cloudera.com/cdh4/one-click-install/redhat/6/x86_64/cloudera-cdh-4-0.x86_64.rpm

Setelah  berhasil   download   rpm  package   CDH, install  menggunakan  command  di  bawah  ini. 

[root@master ~]# yum --nogpgcheck localinstall cloudera-cdh-4-0.x86_64.rpm

Sekarang  install   Ozzie.

[root@master ~]# yum  install   oozie  -

Konfigurasi   Oozie   CentOS / Redhat

Install  Mysql  untuk  Database  server  dan    buat    database  untuk  Oozie.  Jangan  lupa  untuk  berikan  ijin  dan  hak  akses  terhadap  database Ozzie.  Menggunakan   command  di  bawah  ini.

[root@master ~]# mysql -u  root  -p

Enter password:

Welcome to the MariaDB monitor.  Commands end with ; or \g.

Your MariaDB connection id is 3

Server version: 5.5.60-MariaDB MariaDB Server

Copyright (c) 2000, 2018, Oracle, MariaDB Corporation Ab and others.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

MariaDB [(none)]>

MariaDB [(none)]>create database oozie;

MariaDB [(none)]>grant all privileges on oozie.* to 'oozie'@'localhost' identified by 'oozie';

MariaDB [(none)]>grant all privileges on oozie.* to 'oozie'@'%' identified by 'oozie';

MariaDB [(none)]>exit

Jalankan  perintah  di  bawah  ini  untuk  download  dan  sambungkan  koneksi  Mysql  Connector  ke    Ozzie.  

[root@master ~]# cd /tmp/

[root@mastertmp]# wget http://dev.mysql.com/get/Downloads

/Connector-J/mysql-connector-java-5.1.31.tar.gz

Lakukan   extract   dan   copy   file  mysql  connector  ke   folder  oozie.

[root@master tmp]# tar -zxf mysql-connector-java-5.1.31.tar.gz

[root@master tmp]# cd mysql-connector-java-5.1.31

[root@master mysql-connector-java-5.1.31]# cp mysql-connector-java-5.1.31-bin.jar /var/lib/oozie/

Jalankan  perintah  di  bawah  ini  untuk    membuat    database  schema   oozie. 

[root@master ~]# sudo -u oozie /usr/lib/oozie/bin/ooziedb.sh create -run

  setting OOZIE_CONFIG=/etc/oozie/conf

  setting OOZIE_DATA=/var/lib/oozie

  setting OOZIE_LOG=/var/log/oozie

.

.

.

  setting CATALINA_OPTS=" $CATALINA_OPTS -Doozie.https.keystore.pass=${OOZIE_HTTPS_KEYSTORE_PASS}"

Validate DB Connection

DONE

Check DB schema does not exist

DONE

Check OOZIE_SYS table does not exist

DONE

Create SQL schema

DONE

Create OOZIE_SYS table

DONE

Aktifkan  Ozzie  Console  berbasis  Web  Based, jalankan  perintah  di  bawah  ini  untuk  download  Ozzie  Web  Based  dan  extract  File  yang  sudah  berhasill  anda  download.  

Baca  Juga  :  Cara Menginstall dan Konfigurasi Apache Hadoop on single node di Centos 7

Pindahkan   file   yang  sudah  berhasil  anda    extract  ke  folder   oozie.

[root@master ~]# cd  /tmp/

[root@master tmp]# wget http://archive.cloudera.com/gplextras/misc/ext-2.2.zip

[root@master tmp]#  unzip ext-2.2.zip

[root@master tmp]# mv ext-2.2 /var/lib/oozie/

Lakukan    restart   services   oozie menggunakan  command  di bawah  ini.

[root@master tmp]# service oozie status

not running

[root@master tmp]# service oozie  start

running

[root@master tmp]#

Pastikan     web  console  oozie   sudah    berhasil   running. 

[root@master tmp]# oozie admin -oozie http://localhost:11000/oozie -status

System mode: NORMAL

[root@master tmp]#

 Anda  dapat  mengakses   Apache  Ozzie  Dashboard, menggunakan  tautan  link  

http://alamatipanda:11000/oozie 

atau  

http://domainanda:11000/oozie

Akan  terlihat    tampilan  dashboard  Apache  Ozzie  seperti  gambar  di  bawah ini. 

                            

Anda  sudah  berhasil  instalasi   dan  Konfigurasi  Apache  Oozie,  nantikan   panduan   Big  Data  lainya.  JIka  artikel  ini  bermanfaat  untuk  anda,  silahkan  share  ke teman-teman  anda. 

Daftar perintah dasar Apache Hadoop

Daftar  perintah  dasar  Apache Hadoop

Tutorial  Linux  Indonesia  -  Apache  Hadoop  salah  satu  perangkat  lunak  open  source  yang  digunakan  untuk   Big Data  Storage  dengan  skala  data  besar. 

Sudah banyak  perusahaan  besar   menggunakan  Apache  Hadoop untuk  Data  Storage  mereka seperti, google.com, yahoo.com dan  facebook.com.

Mereka  menggunakan  apache  hadoop  untuk  cluster  data  storage untuk layanan  mereka.

Dalam  panduan  ini,  akan  membahas  perintah  dasar   apache  hadoop  yang  sering  digunakan.

HDFS  DFS –MKDIR

Perintah  di  bawah  ini  digunakan  untuk  buat  dierektory  di system HDFS.

[hadoop@master ~]$ hdfs dfs  -mkdir /www_bagol69_com

HDFS DFS –PUT

Perintah  ini   digunakan  untuk  menyalin  data  dari  system  local  ke   system HDFS.

[hadoop@master ~]$ hdfs dfs  -put  coba2 /www_bagol69_com

HDFS DFS – CAT

Digunakan  untuk   melihat  isi   file  yang  sudah  berhasil  di  upload  ke  directory HADOOP  yang  sudah  di  buat   sebelumnya.

[hadoop@master ~]$ hdfs dfs  -cat /bagol69adi/coba

coba  push  ke   HADOOP   HDFS SALAM  BAGOL69.COM

[hadoop@master ~]$

HDFS  DFS  -GET

Digunakan  untuk   menampilkan  directory  HADOOP di system  linux  anda.

[hadoop@master ~]$ hdfs dfs -get /www_bagol69_com/ ./

[hadoop@master ~]$ ls

bagol69adi   coba   hdfstest.txt  libexec      my_storage  sbin

bagol69_com  coba2  include       LICENSE.txt  NOTICE.txt  share

bin          etc    lib           logs         README.txt  www_bagol69_com

BACA   JUGA  :   Cara Menginstall dan Konfigurasi Apache Hadoop on single node di Centos 7

HDFS  DFS –LS

Perintah  ini  digunakan untuk  melihat   jumlah   isi  file, pemilik   file,  hak  akses  file  di  directory.

[hadoop@master ~]$ hdfs dfs -ls  /my_storage

Found 2 items

-rw-r--r--   3 hadoop supergroup     106210 2018-10-29 02:24 /my_storage/LICENSE.txt

-rw-r--r--   3 hadoop supergroup         50 2018-10-29 14:22 /my_storage/coba

[hadoop@master ~]$

HDFS DFS -RM 

Digunakan  untuk  menghapus  file  atau direktory  yang  sudah  tidak  terpakai. 

[hadoop@master my_storage]$ hdfs dfs -rm  /my_storage/LICENSE.txt

Deleted /my_storage/LICENSE.txt

[hadoop@master my_storage]$ hdfs  dfs  -rm  -r  /my_storage

Deleted /my_storage

 Untuk  artikel  Daftar  Perintah  Dasar Apache  Hadoop sudah  selesai. Nanti  masih  membahas   Apache  Hadoop sampai  tuntas.  Silahkan  di  share  supaya banyak  teman  yang  tau  tentang  apache  hadoop.