Büyük veri analizi, kuruluşların bilinçli olarak iş kararları almasına yardımcı olabilecek gizli modeller, pazar eğilimleri ve müşteri tercihleri vb. gibi bilgileri ortaya çıkarmak için toplanan ve incelemesi karmaşık süreçlere dayanan oldukça büyük veri kümelerinden oluşan sistematik yapıdaki veri bütünün adıdır.
Büyük veri analizleri, tahmine dayalı modeller, istatistiksel algoritmalar ve analitik sistemler tarafından desteklenen, durum analizi gibi unsurlarla karmaşık uygulamaları içeren gelişmiş bir yapıdır.
Büyük veriler ile kuruluşlar, veri analizi teknolojileri ve teknikleri ile veri kümelerini analiz etme imkanına ulaşırlar. Bu maksatla İş zekası (BI) sorguları, anahtar performans göstergeleri (KPI) ile ilgili temel sorulara yanıtlar bulabilmektedirler.
Büyük veri analizleri nasıl yapılır ve yöntemleri nelerdir?
Veri analistleri, veri bilimcileri, modelleyiciler ve istatistikçiler sürekli artan boyutlardaki sistematik yapılandırılmış işlem verilerini , iş zekası sorguları ve programlar tarafından analiz edilemeyen kirli veri dediğimiz yapılandırılmamış verileri toplar, işler, temizler ve analiz ederler.
Büyük veri analizi sürecinin dört adımda toplayabiliriz:
Veri uzmanları, farklı kaynaklardan verileri toplarlar. Toplanan veriler genellikle yarı yapılandırılmış ve yapılandırılmamış verilerden oluşur. Her kuruluş için farklı veri kaynakları vardır. Genel olarak veri kaynaklarını şu şekilde gruplandırabiliriz:
web sunucu günlükleri,bulut uygulamaları, mobil uygulamalar, sosyal medya içerikleri, cep telefonları, müşteri e-postalarından anket yanıtları, internet üzerinde tıklama verileri ve nesnelerin internetine (IoT) bağlı sensörler tarafından yakalanan makine verileri.
Toplanan veriler hazırlanır ve işlenir. Veriler bir veri ambarında toplanıp depolandıktan sonra, veri uzmanları analitik sorgular için verileri uygun şekilde standardize edip, yapılandırmalı ve bölümlendirmelidir. Standardize edilen veriler ile analiz sorgularından daha yüksek performans sağlanır.
Verilerin kalitesini artırmak için veri temizleme işlemi yapılır. Bu işlemi yapan veri uzmanları tekrarlanan verileri veya verilerdeki biçim hatalarını veya tutarsızlıkları ararlar ve verileri komutlar ile veya veri kalitesi artıran yazılımları kullanılarak veriler temizlerler. Sonuçta toplanan, işlenen ve temizlenen veriler analitik yazılımlarla analiz edilirler
Aşağıda listelenen belli başlı yöntemler ile veri madenciliği yapılabilmektedir;
Büyük verinin yaygınlaşması ve başarı hikayeleri
Yukarıda sıraladığımız bu yöntemler ile birlikte 2011 yılına gelindiğinde, büyük veri analizi yazılımlarının en yaygını olan Hadoop (büyük verileri işlemek amacıyla kullanılan açık kaynak kodlu kütüphane) ve çeşitli büyük veri teknolojileri ile birlikte kuruluşlarda artık sağlam bir yer edinmeye başlamıştı.
Başlangıçta, bu ekosistem şekillenip olgunlaşmaya başladığında, büyük veri uygulamaları Yahoo, Google ve Facebook(Meta) gibi sosyal medya dev şirketleri ve e-ticaret şirketleri tarafından analiz ve pazarlama hizmet sağlayıcıları aracılığıyla kullanıldı.
Ardından, daha geniş bir kullanıcı yelpazesi ile dijital dönüşümü yönlendiren kilit bir teknoloji olarak büyük veri analizleri kabul gördü. Kullanıcıların birçoğu perakendeciler, finansal hizmet firmaları, sigortacılar, sağlık kuruluşları, üreticiler, enerji şirketleri ve diğer işletmeler bu teknolojiyi kullanmaya başladılar.
Büyük Veri Analizleri artık birer sır değildi, ister şirketlerde, ister spor kulüpleri veya siyasi kampanyalarda olsun, veriler başarının kilidini açmanın anahtarı olabiliyorlardı. Aşağıda birçok organizasyonu veya ekibi rakiplerinin üzerine çıkarmak için büyük veri analizlerinin kullanıldığı beş örneğe göz atacağız.
Amazon
Sipariş bile vermeden önce malları göndermelerine izin veren bir patente sahip olan tek şirket olan Amazon’un oluşturduğu analitik veriler sayesinde başarı hikayesi ortadadır, zira veri madenciliği ilkelerini ilk benimseyen şirketlerin başındaydılar…
“Bunu satın alan müşteriler…” özelliği ilk zamanlar için devrim niteliğindeydi, ancak bugün karşılaştığımız tekliflerle karşılaştırıldığında oldukça önemsiz kalıyor. Günümüzde müşterinin gerçekten neyle ilgilenebileceğinin çok daha fazla göstergesi vardır.
Bugün büyük verilerin analizleri sayesinde istek listeleri, inceledikleri öğeler ve benzer kişilerin satın aldıkları şeyler ile çok yönlü bir müşteri profili oluşturulmakta ve tüm bu potansiyel sayesinde gerçeğe yakın tahmine dayalı analizler oluşmaktadır…
Meta (Facebook)
Büyük bir bölümü veri analizleri ve algoritmalarından oluşan Facebook , günümüzde uç seviyede analitik veri kullanımı, oluşan büyük veriler neticesinde müşteriye aşırı müdahaleci olma potansiyeline sahip en bilinen örnektir. Çalışma şekli tamamen verilerimizin çıkarılması etrafında inşa edilmiştir.
Facebook’u dünyanın en büyük şirketlerinden biri yapma başarısının altında büyük veri analizleri yatmaktadır.
Her gün Facebook kullanan milyonlarca kullanıcıya kişiye özel reklamlar sunan bu yazılım yüksek olasılıkla ve endişe verici şekilde sizin hakkınızda arkadaşlarınızdan ve ailenizden daha fazla bilgiye sahip.
Obama/Biden Siyasi Kampanyası
En kısa zamanda sonucu görülen örnek ise Obama-John McCain arasında gerçekleşen başkanlık seçimleridir. Obama’nın seçim kampanyalarında veri analitiğine başvurması ve sonuçlar üzerinde izlediği davranışlar ona başkanlık yolunu açmıştı.
Seçmenlerin %64’ünün bir aday tarafından ileri sürülen bir iddiayı doğrulamak için çevrimiçi forumları kullandığı ortaya çıktığında, Obama’nın kimi ikna etmesi gerektiği ve seçmenlerin kaygılarını, cevabını merak ettiği soruların ne olduğu biliniyordu artık. Elde edilen büyük verilerin analizleri sayesinde çok fazla gecikme olmaksızın gerçek zamanlı olarak kampanya yapılıyor, Obama nın söylemleri bu doğrultuda ilerliyordu, Ortaya çıkan analiz sonuçları Obama’ya insanların ne tartıştığı konusunda bir farkındalık ve insanlarla kendileriyle ilgili şeyler hakkında konuşması için en uygun ortamı sağlamıştı.
Analizlerden yararlanmamış olsaydı, Obama seçimi kazanabilir miydi bilmiyoruz, ancak sonuç şunu gösteriyor ki, ona ve ekibine en çok ihtiyaç duydukları zamanda farkındalık yaratan bir güç verdi.
Nissan Motor Şirketi
Nissan, tüketicilerin hangi Nissan’ın kendileri için ideal olduğunu belirlemelerine yardımcı olmak için tasarlanmış çok sayıda yerelleştirilmiş web sitesine sahiptir. Yalnızca dönüşümleri ölçmekten çok bunun yerine müşterilerin baktığı otomobil türlerini, modellerini ve renklerini öğrenmek istediler.
Bunu, potansiyel bir müşterinin bir broşür veya test sürüşü talebini tamamladıktan sonra doldurması gereken bir ‘talep formu’ aracılığıyla yaptılar. Nissan, bu veri merkezleri ile bireysel müşterilerden verileri toplayarak, belirli bir bölgede yada ülkede talep edilen araçlar hakkında büyük bir veri oluşturdu.
Bu şu manaya geliyordu artık reklam kampanyaları ve üretim çeşitliliği o bölge yada ülkenin ihtiyaçlarına göre yapabilecekti. Bu üretimdeki verimlilik ve sadelik için inanılmaz bir veriydi…
Almanya Futbol Milli Takımı ve Dünya Kupası zaferi
Almanya Dünya Kupası’nı kazandığında zaten en büyük ödülün sahibi olmuştu. Ancak Almanya’nın iyi futbolu ile manşetlere çıkmanın yanı sıra, Almanya’nın büyük veri kullanımı ve analizleri de birçok kişinin dikkatini çekti.
Peki Almanya Futbol Federasyonu’nun bu başarının arkasında ne vardı? Öncelikle video verilerini ve hem bireysel hem de takım performansını analiz etmek için SAP AG ile ortaklık kurdu. Bu, performanslarını nasıl geliştirebilecekleri ve oyuncuların birbirleriyle nasıl daha iyi bir takım olabilecekleri konusunda oyunculara geri bildirimde bulunmalarını sağladı.
Analizler neticesinde, ortalama topa sahip olma süresini 3.4 saniyeden 1,1 saniyeye düşürmüşlerdi; bu kritik gelişme ile , yarı finalde Brezilya’yı ve finalde Arjantin’i mağlup ettiklerinde, Mario Gotze’nin uzatmalarda attığı gol onlara en büyük ödül olan Dünya Kupası’nı kazanmalarında fark yaratan en kritik gelişmeydi.