Hadoop klasik sunuculardan oluşan kümeler üzerinde büyük verileri işlemek amaçlı uygulamalar çalıştıran ve HDFS olarak adlandırılan dağıtık dosya sistemine sahip açık kaynak kodlu java ile yazılmış bir kütüphanedir. Apache’nin en büyük projelerinden birisidir. Eklenen nodelar sayesinde paralel bir şekilde çalışmaktadır. Klasik veri tababnlarının aksine yana doğru büyüyen bir sistemi desteklemektedir. Bu sayede verinin büyüklüğüne bağlı olarak sistem gücünü artırma imkanı sağlamaktadır. Aynı zamanda hadoop üzerinde her hangi bir sistem bozulduğunda diğer makineler bu durumdan etkilenmeden admin tarafından sorun halledilebilmektedir.
Apache Hadoop = Compute + Storage
- HDFS (Hadoop Distributed File System),büyük veri kapsamına giren veri yığınlarını işlerken veri kümeleri oluşturmak için kullanılan dağıtık bir dosya sistemidir. Google File Systemden temel alınmıştır. Pahalı bir donanım gerektirmez. Veriyi bloklar halinde saklar. Birden çok düğümün disklerini birleştirir. Her blok 3 kopya şeklinde tutulur ve büyük dosya sistemleri üzerinde çalışmaktadır.
- Hadoop Yarn (Yet Another Resource Negotiator), işlenecek verilerin üzerinde kaynak yönetimi, uygulama kullanımı ve kişisel ayarlamalar için veri depolama adına yaratılmış olan kaynak yönetim platformudur. Kaynak ve işlem süreçlerini ayırır. Cpu ve ram üzerinden verinin bölütlenmesini sağlar. Aynı zamanda yarn arka tarfta dosya yönetimi işini bizim için sağlamaktadır.
- Hortonworks,Büyük veri analizi yapabilmemiz için bilgisayarımız üzerine birçok kütüphane kurmamız gerekmektedir. Bu işlemleri Hortonworks hadoop sandbox kurulumu yapıp bu platform üzerinden kolay bir şekilde Hadoop, spark, hive, kafka.. gibi kütüphaneleri kullanabiliriz. Açık kaynağa ve topluluğa daha yakın bir data platformdur.
- Neden hortonworks tercih edildi?
- Açık kaynaklıdır
- YARN’ı kullalanır
- Lisans bedeli yoktur
