Data Engineer Serüveni 4
Selam, bu yazımda sizlere data flow için önemli bir araç olan Apache Nifi bahsedeceğim.
Data Flow ve Apache Nifi
Data flow, bir datanın olduğu yerden başka bir yere iletilmesi, taşınması olayını ifade eder. Apache Nifi, verileri işlemek ve dağıtmak için kullanımı kolay, güçlü ve güvenilir bir sistemdir. Yani bir data flow işidir diyebiliriz. Bazı özelliklerini sıralayacak olursak:
- Sürükle bırak yöntemiyle tarayıcı arayüz üzerinde çalışır.
- Akış, çalışma zamanında değiştirilebilir.
- Veri akışı baştan sona izlenebilir.
- Kayıp toleranslı ve garantili teslimat sağlar.
- Düşük gecikme ve yüksek işlem hacimlidir.
- Dinamik önceliklendirilir.
Önemli olan nokta verinin nereden alınıp,nereye ve nasıl taşınacağıdır. Bunları bildiğimiz zaman ve deneyim artıkça istediğimiz işler hızlıca yapılır.
Nifi Kurulumu
Öncelikle bu resmi bağlantıyı kullanarak Nifi’yi indirmeniz gerekiyor. Daha sonra bilgisayarınızda kullandığınız sisteme göre kurulumu gerçekleştirmeniz gerekiyor. Benim Linux olduğu için terminalden kurulumu tamamladım.
Nifi’yi indirip kurduktan sonra, servis durumunu kontrol etmeniz ve belki de servisi başlatmanız gerekir. Linux için terminalde bin/nifi.sh status komutunu yazarak servis durumunu kontrol edebilirsiniz. Nifi’yi kapatmak için bin/nifi.sh stop komutunu yürütün.
Nifi’yi başlattıktan sonra, nifi web tabanlı arayüze erişmek için tarayıcıyı açmanız ve http://localhost: 8080/nifi/ yazmanız gerekir.
Kullanıcı arayüzünde, ilk veri akışınızı oluşturmak ve yönetmek için birden fazla araç bulunur:
Nifi Temel Kavramlar
Processor: Bir veri akışı oluşturmanın temel bloklarıdır. Her processor farklı işlevleri vardır. Apache Nifi, varsayılan kurulumla 280'den fazla processor sahiptir ve ayrıca kendi işlemcinizi yazabilirsiniz.
Process Group: Kullanıcı, processor lerini proje veya organizasyonlara göre gruplayabilir.
Template: Nifi akışlarınızı template kullanarak kaydedebilirsiniz. Akışlar diğer kullanıcılar tarafından kullanılabilir. Şablonları bir xml dosyası olarak oluşturabilir, indirebilir, yükleyebilir ve ekleyebilirsiniz. Bu şablonlar, process gruplarına sahip tüm processleri içerir.
Connection: Processor ler arasındaki bağlantılar. Her bağlantının bazı ilişki kuralları olabilir.
Genel olarak Apache Nifi hakkında bir yazı yazmaya çalıştım.İlginiz için teşekkürler.Sonraki yazılarda görüşmek üzere.
