Büyük veri, geleneksel veri işleme araçları ile analizi yapılamayan ve yönetilemeyecek kadar büyük miktardaki veri setleri olarak tarif edilmektedir. Büyük veri platformuna olan ilginin her geçen gün artmasında çok önemli etkenler vardır.

Eldeki verilerle yeni iş sahalarının keşfi, araştırma sonuçlarının daha kısa sürede ortaya çıkması, suç işleme sayılarının azaltılması, hastalıkların önlenmesi, trafik yoğunluklarının minimum seviyeye indirilmesi gibi birçok faydaları ortaya çıkmaya başlamıştır.

Birçok şirket kendi değerlerini artırmak için büyük veri teknolojilerine önemli miktarda yatırım yapmaktalar. Teradata, IBM, Oracle, HP ve diğer şirketler 10 yıldan fazla bir süredir terabyte seviyesindeki veriler için firmalara veri ambarı önermekteydiler. Bugün veriler çok farklı formatlarda toplanıp depolanmakta ve yapısal, yapısal olmayan ve yarı yapısal elemanları içerek şekilde depolanmaktadır.

Büyük veri teknolojisinde verilerden bilgi elde edilebilmesi için birden çok sunucuların paralel olarak çalışması gereklidir. Bu bir zorunluluktur. Yapısal olmayan veriler üslü oranda büyümektedir. İşlemci üzerine yerleştirilen transistorların sayısı her 18 ayda bir iki katına çıkmaktadır. İşlemcideki bu gelişme bir öncekine göre performansı iki kat artırmaktadır. Benzer şekilde yeni sunucuların güçleri iki katına çıkacaktır. Bunun neticesinde onların hareketleri daha büyük verilerin oluşması anlamına gelecektir.

IDC tarafından yapılan "dijital evren"   çalışmasında 2009 ve 2020 arasında dijital verinin 44 katına çıkacağı tahmin edilmekte ve veri miktarı her yıl 35 zetabytes büyüyecektir. Araştırma da diğer dikkat çeken nokta ise verinin en fazla akacağı noktalar ise algılayıcılar, akıllı telefonlar, tablet bilgisayarlar gibi cihazlar olarak ifade edilmektedir. Tüm bu veriler veri analizi için gen, sağlık bilimi, petrol, gaz, araştırma, finans ve diğer birçok alanda yeni fırsatlar ortaya çıkaracaktır.

Dünyanın en büyük paket teslimat şirketi UPS 2011 yılında tüm araçlarına lokasyon bilgisini veren (GPS) cihazlar monte ederek sürücülerin en elverişli yollardan gitmesiyle 30 milyon mil yani 48.300.000 km (1mil=1,61 km) daha az mesafe kat etmelerini sağlamıştır. Böylelikle şirket olarak 3 milyon galon yakıt tasarrufu ve 30.000 metrik ton karbondioksit emisyon salınımı sağlayarak çevrenin daha az kirlenmesine katkıda bulunmuştur.

Lokasyon verisi toplamanın birçok faydası olmaktadır. Özellikle günümüzde bu veri çok kıymetli bir hale gelmiştir. Mesela kişinin bulunduğu noktaya göre telefonlarına reklam içerikli mesajların gelmesi, trafikte hangi noktalarda sıkışıklıkların olduğu, lokasyondaki telefon sayısı gibi bilgilerin elde edilmesine fayda sağlamaktadır.

Mastercard şirketi 210 ülkedeki 1,5 milyar kart kullanıcısının yaptığı toplam 65 milyar alışveriş işlemlerini analiz ederek farklı iş ve tüketici trendlerini ortaya çıkardı. Örneğin öğleden sonra saat 4 civarında benzin istasyonuna gelen insanların devamındaki 1 saat içerisinde restaurant veya süpermarketlerde 35 ila 50 dolar arası bir alışveriş yaptığı ortaya büyük veri analizi ile ortaya çıkarmıştır. Market sahipleri bu bilgiyi o insanlara alışveriş kuponları göndererek değerlendirmekte ve satışlarını artırmaktadırlar. Mastercard bu analiz bilgilerini diğer şirketler ile para karşılığında paylaşmaktadır.

Büyük Verinin Kullanıldığı Alanlar

Büyük Veri büyük bir endüstridir. Verinin etkili yönetimi ile finansal performans arasında çok güçlü bir bağlantı vardır. Veriyi çok verimli bir şekilde kullanan şirketler hemen fark edilirler. Yapılan araştırmalarda büyük verinin dönüştürücü etkisinin sağlık sektöründen perakende sektörüne ve üretimden politik kampanyalara kadar bütün sektörler üzerinde ne kadar etkili olduğunu sonucu ortaya çıkmıştır.

Nasıl ki büyük veri şirketlerin üretimlerinde artışa neden olurken diğer taraftan büyük veri devletlere kamu sektörü yönetimini geliştirmelerine ve dünya çapında organizasyonlarda bilgilerin analiz edilerek stratejik planlama yapmalarına olanak sağlamaktadır. MGI yapmış olduğu araştırma da ABD 'nin daha şimdiden 190.000 'den fazla derin analiz yapacak uzmana ve 1.500.000 den fazla bu bilgileri yorumlayabilecek yöneticilere ihtiyacı olduğunu öngörmektedir.

Büyük veri çözümleri bugün bilimsel araştırmalardan sağlık sektörüne dek birçok farklı alanda kullanılıyor. Telekomünikasyon, perakende, finans ve bankacılık alanlarında faaliyet gösteren şirketler, diğer iş analitiği çözümlerinde olduğu gibi, büyük veri alanında da öncü konumda bulunuyorlar. Büyük veri yatırımlarında dikkate alınması gereken en önemli kriter, konuya sadece teknolojik yatırım gözüyle değil, büyük veri kullanılarak uygulanacak çözümün bir iş problemini ya da hedefini karşılayacak şekilde konumlandırılmasıdır.

Temelde büyük veride yapılanı 'veriyi bilgiye dönüştürmek' şeklinde tanımlayabiliriz. Bu tüm sektörler için geçerli olsa da elbette uygulamalar sektörlere göre farklılaşabiliyor. Bu da tamamen şirketlerin ihtiyaçları ile ilgili diyebiliriz. Kısacası, bir şirket için internet sitesinden ve sosyal medyadan elde edilecek verilerin anlamlı kılınması büyük önem taşırken, diğer bir şirket için müşterilerin alışkanlıklarını anlamlandırmak ilk sırada geliyor.

Yakın bir vadede büyük veri kavramının, M2M (machine to machine), sosyal medya analizi gibi içerik ve karakteristik olarak farklılıklar gösteren daha özelleşmiş alt kollara göre ele alınacağını öngörüyoruz. Teknolojik yatırımlar konusunda öncü olan telekomünikasyon, finans, bankacılık ve hızlı tüketim sektörlerinde faaliyet gösteren firmalar dışında, özellikle M2M bilgileri analiz etmek isteyecek üretim sektörü firmaları, elektrik, su, doğalgaz gibi hizmet dağıtım firmaları için de büyük veri analizi önemli fırsatlar sağlayacaktır.

Büyük Veri ve Kişisel Verilerin Korunması

Büyük verinin bir de karanlık tarafı vardır. Mahremiyeti korumak daha zordur. Çünkü büyük veriyle geleneksel yasal ve teknik mekanizmalar iyi işlemez. Ayrıca yeni bir problem ortaya çıkar: Eğilim, yani insanları yaptıkları şeylerden dolayı değil yapacakları tahmin edilen şeylerden dolayı cezalandırmak. Aynı zamanda, mantıklı muhakememizi kapatıp verinin yönlendirdiği kararlara hak ettiklerinden daha fazlasını bahşetmek anlamına gelen "verinin diktatörlüğünün" kurbanı olmamak için tedbirli olmaya devam etmek konusunda artan bir ihtiyaç söz konusudur.

Mahremiyet hukukunun ve kişisel veriyi koruma teknolojisinin yeniden ve köklü biçimde düşünülmesi gerekmektedir. Günümüzde sosyal ağlar, mobil teknolojiler, akıllı telefonlar ve tablet bilgisayarlar, mevki belirleme teknolojileri (geolocation), makineler arası iletişim gibi gelişmeler bize tarih boyunca karşılaşılmayan boyutta Büyük Veri yığınları sunmaktadır. Bu verilerin sonuca yönelik incelenmesi, ilişkilendirilmesi ve kullanımında ise gün geçtikçe gelişen veri madenciliği, makine öğrenimi gibi teknolojiler kullanılmaktadır.

Veri korumada genel yaklaşımlardan bir tanesi de anonimleştirmedir. Fakat birçok olayda istenilen verim alınamamaktadır. Anonimleştirme veri setlerinden herhangi bir kişinin kim olduğunun ortaya çıkarılması işlemidir. Veri setleri; isim, adres, kredi kart numarası, doğum tarihi veya sosyal güvenlik numarası gibi kişiyi tarifeden verilerdir. Ortaya çıkan sonuç verisinde değerler herhangi bir kişinin güvenliğinden ödün vermeksizin paylaşılabilir. Bu yaklaşım genel olarak veri miktarının az olduğu durumlar için kolaydır.

Fakat büyük veri ile ortaya çıkan çok değişik kaynaklardaki bol miktardaki veriler kişilerin kolaylıkla tespit edilebilmesini kolaylaştırır. Yeterli miktarda elde veri olduktan sonra mükemmel anonimleştirme mümkün değildir.

Veri toplamada sadece özel sektör değil aynı zamanda devletler de uğraş veriyorlar. Bu toplanan verileri çok farklı alanlarda kullanıyorlar. Mesela Washington Post 2010 yılı araştırmasına göre ABD Ulusal Güvenlik Ajansı (NSA) günde 1,7 milyar elektronik posta, telefon görüşmeleri ve diğer iletişim araçlarından gelen verileri depolamaktadır. Eski bir NSA çalışanı olan William Binney ABD Hükümetinin kendi vatandaşları tarafından gerçekleştirilen 20 trilyon para hareketlerini ve kim kiminle konuşuyor, kim kime elektronik posta atıyor gibi tüm işlemleri kaydettiğini ifade etmiştir.