Big Data & Hadoop

Setelah saya bertanya – tanya “Big Data itu apa sih?” dan sudah mendapatkan jawabannya, kali ini saya akan melanjutkan postingan blog saya yang sebelumnya membahas tentang big data dan sejarahnya. Bagi teman – teman yang belum sempat membacanya bisa dibaca dulu ya πŸ™‚ . Ternyata ngobrolin Big Data itu tak akan terlepas dengan yang namanya hadoop loh.

What? Hadoop?

Ya benar. Hadoop dengan logo si gajah kuning. Pertama saya melihatnya memiliki pemikiran bahwa gajah itu bentuknya besar dan warna kuning mengingatkan saya untuk berhati – hati meskipun tidak ada kaitannya sama sekali. Bahkan, saya mulai mencoba menyukai logonya yang mirip dengan majalah yang sering dibeli oleh Ibu untuk saya sewaktu sekolah dasar πŸ™‚ . Pada akhirnya saya penasaran dengan yang namanya hadoop.

Apa sih Hadoop itu?

Hadoop merupakan framework software yang bersifat open source untuk menyimpan data dalam jumlah yang besar dan beragam jenisnya serta menjalankan aplikasi dengan pemrosesan yang sangat besar secara bersamaan tanpa batas dari sekelompok hardware.

Bagaimana sejarah Hadoop?

Asal mula hadoop muncul karena terinspirasi dari makalah tentang Google MapReduce dan Google File System (GFS) yang ditulis oleh ilmuwan dari Google, Jeffrey Dean dan Sanjay Ghemawat pada tahun 2003. Proses development dimulai pada saat proyek Apache Nutch, yang kemudian baru dipindahkan menjadi sub-proyek hadoop pada tahun 2006. Penamaan menjadi hadoop adalah diberikan oleh Doug Cutting, yaitu berdasarkan nama dari mainan gajah anaknya.
Hadoop sejak tanggal 23 Januari 2008 telah menjadi proyek tingkat atas di lingkungan Apache Software Foundation dan dikembangkan secara terbuka oleh komunitas kontributor secara global. Pengguna Hadoop adalah, termasuk Facebook, a9.com, AOL, Baidu, IBM, ImageShack, dan Yahoo. Hadoop tersedia bebas menyandang lisensi Apache License 2.0.

Apa manfaat Hadoop?

Big data memiliki 3 tantangan utama sehingga Hadoop sangat dibutuhkan, yaitu karena:

  1. Volume, keperluan menyimpan dan mengelola data dalam jumlah yang sangat besar, dan data tersebut selalu tambah besar setiap saat.
  2. Velocity, begitu cepat data yang muncul dan keperluan untuk bisa mengakses data besar tersebut dengan cepat.
  3. Variety, semakin bervariasinya data saat ini sehingga dengan teknologi relational database (RDBMS) saat ini sudah tidak bisa ditangani lagi.

Hadoop optimal digunakan untuk menangani data dalam jumlah besar baik data Structured, Semi-structured, maupun Unstructured. Hadoop mereplikasi data di beberapa komputer (Clustering), sehingga jika salah satu komputer mati/bermasalah maka data dapat diproses dari salah satu komputer lainnya yang masih hidup.
Proses Hadoop adalah berupa operasi batch menangani sejumlah data yang sangat besar, sehingga waktu respon tidak serta-merta. Mengenai pemrosesan, jika dihubungkan dengan solusi Relational Database System (RDBMS), Hadoop memiliki limitasi sebagai berikut :

  1. Tidak cocok untuk OLTP (Online Transaction Processing), di mana data dapat diakses secara random ke Relational Database.
  2. Tidak cocok untuk OLAP (Online Analytic Processing).
  3. Tidak cocok untuk DSS (Decission Support System).

Berdasarkan beberapa limitasi tersebut, untuk saat ini dapat disimpulkan Hadoop cocok untuk menangani Big Data, menjadi pelengkap OLTP, OLAP,dan DSS, jadi Hadoop tidak untuk menggantikan RDBMS. Namun bisa jadi suatu saat Hadoop bisa lepas dari limitasi tersebut.

Nah itu sih yang bisa saya bagikan dariΒ  sumber yang saya baca tentang hadoop. Bagaimana teman – teman, sudah pada pusing belum? saya aja ngetiknya juga pusing sambil membaca beberapa artikel hadoop yang masih berbahasa inggris. Mungkin itu dulu ya postingan hari ini, next time kita install nih hadoopnya biar tambah pusing. Tetap semangat dalam berkarya dan semoga postingan ini bermanfaat bagi teman – teman semua. Mohon maaf ya jika masih banyak kekurangan tentang postingannya. Terima kasih. πŸ™‚

Sumber: https://www.sas.com/en_id/insights/big-data/hadoop.html#hadoopworld

Satu tanggapan untuk “Big Data & Hadoop

Tinggalkan Balasan

%d blogger menyukai ini: