Big Data (Büyük Veri), geleneksel işleme tekniklerinin, algoritmalarının çalışamadığı yapılandırılmış veya yapılandırılmamış büyük karmaşık veri kümelerini ifade eder. Önceleri sadece belli iş merkezleri tarafından verilerin depolanmasıyla oluşabilen Büyük Veri’ler, Endüstri 4.0’ın ürünleriyle günümüzde hemen hemen her alanda karşılaşılması normal bir hal almaya başlamıştır.
Büyük Veriler; IoT (Internet of Things-Nesnelerin İnterneti), WSNs (Wireless Sensor Networks-Kablosuz Sensör Ağları), RFID (Radio Frequency Identification-Radyo Frekansı ile Tanımlama) cihazlarının üretmiş oldukları verilerle oluşabildiği gibi Sosyal Medya platformları, E-ticaret siteleri, devlet kurumları, bankacılık gibi sektörlerde de kişisel verilerin barındırılması şeklinde karşımıza çıkmaktadır. Büyük Verilerin işlenerek üzerinde analizlerde bulunarak, suç önleme planları, trafik yoğunluk haritaları, reklamcılık, bankacılık, sağlık, eğitim gibi alanlarda kullanılmaları mümkündür.
Büyük veriler, üç tip veri tipinde oluşmaktadır;
1- Yapılandırılmış Veriler: MsSQL, MySQL, SQLlite, Microsoft Access gibi programlar tarafından belirli bir standartta, satır ve sütunlardan oluşan tablolarda barındırılan verilerdir. SQL kod cümlecikleriyle sorgulanabilir ve yönetilebilirler. Kullanıcıların ve bağlantılı yazılımların kolaylıkla ulaşmaları mümkündür.
2- Yarı Yapılandırılmış Veriler: TXT,CSV,LOG gibi uzantıları olan dosyalardır. Belirli satırlardan oluşan, genellikle yazılımlar tarafından belli periyotlarla oluşturulan veri dosyalarıdır. Örneğin: Bir yazılımın anlık olarak tutmuş olduğu log kayıtları .log uzantılı dosyalarda tutulabilmektedir. Yazılımcı tarafından belirlenen ayarlara göre tarih ve saat bazlı parçalara ayrılabilirler.
3- Yapılandırılmamış Veriler: Herhangi bir standartı olmayan, ses, resim, video gibi multimedya verileridir.
Klasik programlama dillerinin yetersizliğinden dolayı günümüzde büyük verilerin işlenmesi, yönetilmesi analizlerinin yapılması çalışmaları. HADOOP, Spark ve benzeri kütüphaneler sayesinde yapılabilmektedir.
