Install Hadoop Single Node di Windows 10

Yuk kita lanjutkan dari postingan sebelumnya. Setelah kita sudah berhasil menginstall Java Development Kit, kali ini kita belajar menginstall hadoop. Tetapi dikarenakan komputer yang saya gunakan sistem operasinya Windows 10, maka saya akan mencoba menginstall hadoopnya di Windows 10 ya 🙂 .

Langsung aja kita download file master hadoop single node cluster disini dan bin masternya disini. Setelah selesai download lalu kita copy file “hadoop-2.7.3.tar.gz” dan “bin-master.zip” ke dalam suatu folder. Saya menyimpannya di “C:/opt”. Lalu kita download GNU On WinOS dan install file tersebut.

GNU on WinOS (GOW)

Jika sudah selesai install, kita bisa memeriksa kembali dengan membuka command prompt dan menjalankan perintah gow –list Jika muncul seperti diatas maka install GOW telah berhasil. Setelah itu kita menginstall JDK, disini saya sudah menjelaskan cara menginstallnya dan setting environment-nya. Nah sekarang saatnya kita install hadoopnya.

Install Hadoop

Buka cmd dan arahkan direktori folder tempat kita menyimpan file master hadoop tadi. Lalu unzip file hadoop-2.7.3.tar.gz dan ekstrak filenya dengan menjalankan perintah seperti gambar dibawah ini. Tunggu sampai prosesnya selesai ya.

Konfigurasi Environment Variables

Selanjutnya kita akan melakukan konfigurasi pada environment hadoopnya. mari kita buka Control Panel\System and Security\System, lalu pilih Advanced system >> Environment Variables dan akan muncul layar baru seperti gambar di bawah . Pada System variables, klik New.

Isi variable name dengan HADOOP_HOME dan variable value dengan folder home dari hadoop teman – teman, saya di “C:\opt\hadoop-2.7.3” pada value, lalu klik OK. Setelah itu System variables, pada Variable “Path” klik Edit. Pada Variable “Path”, tambahkan path folder bin dan sbin dari hadoop anda, misal di “C:\opt\hadoop-2.7.3\bin;C:\opt\hadoop2.7.3\sbin”. Setelah itu klik OK

Konfigurasi Hadoop

  • Buka file “C:\opt\hadoop-2.7.3\etc\hadoop\hadoop-env.cmd” dengan aplikasi notepad++ atau yang lainnya, ganti
set JAVA_HOME=%JAVA_HOME%

menjadi

set JAVA_HOME=C:\Java\jdk1.8.0_181

  • Buka file “C:\opt\hadoop-2.7.3\etc\hadoop\core-site.xml” dengan aplikasi notepad++ atau yang lainnya, ganti
<configuration></configuration> 

menjadi

<configuration>
<property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value>
</property> </configuration> 
  • Buka file “C:\opt\hadoop-2.7.3\etc\hadoop\hdfs-site.xml” dengan aplikasi notepad++ atau yang lainnya, ganti
<configuration></configuration> 

menjadi

<configuration>
<property>
<name>dfs.replication</name> 
<value>1</value> 
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/C:/opt/hadoop-2.7.3/hdfs/namenode</value>
</property>
<property> 
<name>dfs.datanode.data.dir</name> 
<value>/C:/opt/hadoop-2.7.3/hdfs/datanode</value> 
</property> 
</configuration>
  • Pada directory “C:\opt\hadoop-2.7.3” buat folder hdfs dan didalamnya buat folder namenode dan datanode

  • Rename file “mapred-site.xml.template” menjadi “mapred-site.xml”  dan buka file “C:\opt\hadoop-2.7.3\etc\hadoop\mapred-site.xml” dengan notepad++ atau aplikasi lainnya, ganti
<configuration></configuration>

menjadi

<configuration>
<property>
<name>mapreduce.framework.name</name> 
<value>yarn</value> 
</property> 
</configuration>
  • Buka file “C:\opt\hadoop-2.7.3\etc\hadoop\yarn-site.xml” dengan notepad++ atau aplikasi lainnya, ganti
<configuration></configuration>

menjadi

<configuration> 
<property> 
<name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> 
</property> 
<property> <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name> 
<value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> 
<property> 
<name>yarn.resourcemanager.resource-tracker.address</name> <value>localhost:8025</value> 
</property> 
<property> <name>yarn.resourcemanager.scheduler.address</name> <value>localhost:8030</value> 
</property> 
<property> 
<name>yarn.resourcemanager.address</name> <value>localhost:8050</value> 
</property> 
</configuration>
  • Delete semua file di “C:\opt\hadoop-2.7.3\bin”, lalu copy semua file dari “C:\opt\bin-master” ke “C:\opt\hadoop-2.7.3\bin”

  • Konfigurasi selesai 🙂 .

Cek Versi Hadoop & Format Namenode

Buka cmd, jalankan perintah seperti gambar dibawah ini untuk mengetahui versi hadoop yang sudah terinstall.

Setelah itu kita format namenodenya dengan perintah hadoop namenode -format dan hasilnya akan muncul seperti dibawah ini

Menjalankan Hadoop

Setelah semuanya berhasil, sekarang kita bisa menjalankan hadoopnya dengan cara menjalankan perintah start-all.cmd di command prompt dan hasilnya akan muncul seperti gambar dibawah ini. Lalu kita bisa cek pada browser dengan membuka alamat “http://localhost:8088” dan “http://localhost:50070

Jika berhasil maka hadoop siap untuk digunakan dan selesai juga postingan hari ini. Semoga bermanfaat ya.

Tinggalkan Balasan

%d blogger menyukai ini: