Hadoop klasik sunuculardan oluşan kümeler üzerinde büyük verileri işlemek amaçlı uygulamalar çalıştıran ve HDFS olarak adlandırılan dağıtık dosya sistemine sahip açık kaynak kodlu java ile yazılmış bir kütüphanedir.
Kitap Önerileri (Sizden Gelenler)
Merhabalar arkadaşlar 2019 başlarken kitap okumayı alışkanlık haline getirmek adına bir karar aldım… Artık kitap okumaya zaman bulamıyorum klişesinin arkasına saklanmak istemiyorum bu yüzden vakit kaybetmeden elimde olan bir kitapla başladım okumaya ne kadar da zihnim anlamayı yorum yapmayı unutmuş meğerse, artık öğle araları yemekten sonra arta kalan 20 dk da, uyumadan önceki son 20 […]
Basit Doğrusal Regresyon / Linear Regresyon
Simple linear regresyon, 2 nicel veri arasındaki ilişkiyi özetleyen istatiksel bir metoddur. Bağımsız değişkenlerin (X) değerlerini temel alarak bağımlı değişkeni (Y) tahmin etmenin bir yöntemidir. İki değişkenin doğrusal olarak birbirleri ile ilişkili olduğu varsayılmaktadır. Basit doğrusal regresyon bize normal dağılmış, belirli bir oranda veri toplanmış iki değişken arasında doğrusal ilişki olup olmadığını test etme olanağı […]
Veri Ön İşleme / Python
Adım 1 : Gerekli Kütüphaneyi İçe Aktarma (import) Python da makine öğrenmesi işlemlerinin yaparken her zaman import edeceğimiz iki kütüphanemiz vardır bunlar Numpy ve Pandas. Numpy, Matematiksel fonksiyonları içeren bir kütüphanedir. Pandas, Veri setlerini içeri aktarmak ve yönetmek için kullanılan kütüphanedir. import numpy as np import pandas as pd Adım 2 : Veri Setini […]
KAFKA – FLINK – STORM PLATFORMLARI
Flink Apache Flink, veri akışları üzerinden dağıtılmış hesaplama için olanaklar sağlamayı amaçlayan çekirdeği java ve scala dili ile yazılmış olan bir veri akış motorudur. Toplu iş süreçlerini özel bir veri akışı durumu olarak ele alan Flink, hem toplu işler hem de gerçek zamanlı bir işlem çerçevesi olarak etkilidir, Büyük ölçekli verileri işleyebilir. Flink ayrıca FlinkML […]
Imputatıon – Eksik Verilerin Tamamlanması
Araştırmacılar, her ne kadar eksiksiz veri elde etmek isteselerde veriler bazı dış kaynaklı veya yazılımsal nedenlerden dolayı istenildiği gibi eksiksiz bir şekilde toplanamayabilir. Özellikle büyük veri çalışmaları üzerinde yapılan işlerde eksiksiz veri setlerinin elde edilmesi neredeyse imkansızdır. Bu yüzden eksik verilerin tamamlanması için değişik yöntemler ortaya atılmıştır. Genelde verinin hatalı okunması, veri kaynağında yaşanan bozulma, bazı […]
2018 Benim İçin Nasıl Geçti
2018 yılının bitmesine günler kala böyle bir yazı yazmak geldi içimden 2018 benim için nasıl bir yıldı kendime özetlemek istiyorum. Üniversiteden mezun oldum evet yuppi!!! 4 yıllık lisans eğitimimin bitmesine aylar kala stresli bir dönem başlamıştı. Okul dersleri, projeler, ödevler daha sayamadığım bir çok şey özellikle ee mezun olacaksın tamam ama sonra ne olacak Zeynep […]
GELİŞEN TEKNOLOJİ İLE PROFESYONEL TEKNİK SERVİS
Günümüzde teknoloji artık her alanda evlerimizde ve işyerlerimizde bizlerle bütünleşik bir hal almaya başlamıştır. Her geçen gün teknolojinin gelişmesi ve değişmesi yeni ürün yelpazelerine ve var olan ürünlerin sürekli olarak modellerinin yenilenmesine yol açmaktadır. Yapılan araştırmalara göre, alım gücünün artmasıyla birlikte insanların kullandıkları teknolojileri sürekli olarak yenileme istekleri de doğru orantılı olarak artmaktadır. Evlerimizde ve […]
One Hot Encoding Nedir – Nasıl Yapılır?
Makine öğrenme algoritmaları doğrudan kategorik veriler üzerinde çalışmamaktadır bu yüzden verilerimizin sayısal verilere dönüştürülmesi gerekmektedir. Bu yazımda sizlere Python’da derin öğrenmeyle sınıflandırma problemlerinde kullanmak üzere verilerimizin one hot encode şeklinde dönüştürülmesinden bahsedeceğim. Scikit-learn ve Keras kütüphanelerini kullanarak örnek üzerinden açıklamaya çalışacağım. One Hot Encoding Nedir? One Hot Encoding, kategorik değişkenlerin ikili (binary) olarak temsil […]
Soft Clustering – Yumuşak Kümelenme Nedir ?
Kümelenme veri madenciliğinde neredeyse her alanda, gerçek yaşam içinde ki problemlerde kullanılan yaklaşımlardan birisidir. Bu nedenle kümelenme yöntemlerine duyulan ilgide artmış ve yeni yöntemler geliştirilmeye başlanmıştır. Ben de bu yazımda sizlere hard kümelenmenin yanı sıra soft kümelenme mantığı hakkında bilgiler vermeye çalışacağım. Yumuşak kümelemede geleneksel kümeleme tekniklerinde veri kümesi içerisindeki her bir noktayı bir […]
Son Yorumlar