Skip to main content

Apache Hadoop Nedir?

Hadoop klasik sunuculardan oluşan kümeler üzerinde büyük verileri işlemek amaçlı uygulamalar çalıştıran ve HDFS olarak adlandırılan dağıtık dosya sistemine sahip açık kaynak kodlu java ile yazılmış bir kütüphanedir. Apache’nin en büyük projelerinden birisidir. Eklenen nodelar sayesinde paralel bir şekilde çalışmaktadır.  Klasik veri tababnlarının aksine yana doğru büyüyen bir sistemi desteklemektedir. Bu sayede verinin büyüklüğüne bağlı olarak sistem gücünü artırma imkanı sağlamaktadır.  Aynı zamanda hadoop üzerinde her hangi bir sistem bozulduğunda diğer makineler bu durumdan etkilenmeden admin tarafından sorun halledilebilmektedir.

Apache Hadoop =  Compute + Storage

  • HDFS (Hadoop Distributed File System),büyük veri kapsamına giren veri yığınlarını işlerken veri kümeleri oluşturmak için kullanılan dağıtık bir dosya sistemidir. Google File Systemden temel alınmıştır. Pahalı bir donanım gerektirmez. Veriyi bloklar halinde saklar. Birden çok düğümün disklerini birleştirir. Her blok 3 kopya şeklinde tutulur ve büyük dosya sistemleri üzerinde çalışmaktadır.  
  • Hadoop Yarn (Yet Another Resource Negotiator), işlenecek verilerin üzerinde kaynak yönetimi, uygulama kullanımı ve kişisel ayarlamalar için veri depolama adına yaratılmış olan kaynak yönetim platformudur. Kaynak ve işlem süreçlerini ayırır. Cpu ve ram üzerinden verinin bölütlenmesini sağlar. Aynı zamanda yarn arka tarfta dosya yönetimi işini bizim için sağlamaktadır.
  • Hortonworks,Büyük veri analizi yapabilmemiz için bilgisayarımız üzerine birçok kütüphane kurmamız gerekmektedir. Bu işlemleri Hortonworks hadoop sandbox kurulumu yapıp bu platform üzerinden kolay bir şekilde Hadoop, spark, hive, kafka.. gibi kütüphaneleri kullanabiliriz. Açık kaynağa ve topluluğa daha yakın bir data platformdur.
  • Neden hortonworks tercih edildi?
  • Açık kaynaklıdır
  • YARN’ı kullalanır
  • Lisans bedeli yoktur

Bir önceki yazımız olan Basit Doğrusal Regresyon / Linear Regresyon başlıklı makalemizde bası doğrusal regresyon nedir, linear regresyon ve linear regresyon nedir hakkında bilgiler verilmektedir.

Zeynep Küçük

Hi, I’m Zeynep I am studying in computer engineering in Samsun. I love to share and write about anything that interests me in tech, so welcome on my blog. I’d be really glad to get in touch with you! Don’t forget you can always contact me by email for any inquiries.Follow me on social media.

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir

This site uses Akismet to reduce spam. Learn how your comment data is processed.