Bu makalede, veri boru hattı kavramlarını inceleyeceğiz. Veri boru hattı, verilerin bir yerden çekilmesi (extract), yeniden şekillendirilmesi/temizlenmesi (transform) ve başka bir yere yüklenmesi (load) sürecidir.
Dış bir SFTP sunucusunu sisteminizle entegre etmeyi düşünün. SFTP Sunucusu → Benim Sistemim (Laravel kullanıyorum).
Sistemimin görevleri şunlardır:
- Load (Sonucun alınması)
- Extract (Sonucun gönderilmesi)
Sonrasında Laravel üzerinde çalışan betikler ve SFTP sunucusuna erişim kimlik bilgilerine sahip olmalısınız.
Kullanılan dosya formatı: CSV/Zip
Bu süreçte ihtiyacınız olan diğer önemli bileşenler şunlardır:
1. Scheduler — Belirli bir saatte otomatik olarak çalışır. Örneğin, her gece saat 2’de sistemim, sunucudan yeni dosyaların olup olmadığını kontrol etmek üzere SFTP klasörünü otomatik olarak denetler— dosya bulunup bulunmadığına bakılmaksızın, zamanlayıcı her zaman çalışır.
2. Event Trigger — Belirli bir olay gerçekleştiğinde çalışır, takvimli olarak değil. Hareket sensörü ışığına benzer — sadece hareket algılandığında yanar.
3. Batch — Birden fazla kaydın bir arada işlenmesi işlemi, her birini ayrı ayrı işlemek yerine toplu olarak yapılır. Batch, “her şeyi topla, hepsini bir seferde işle” anlamına gelir.
[Batch İşlem Süreci:]
Kaynak: Orijinal Makale
