Büyük Veri
Nedir ve neden önemlidir
Büyük veri, işletmeleri günlük olarak meşgul eden, hem yapılandırılmış hem de yapılandırılmamış büyük, yönetilmesi zor veri hacimlerini tanımlayan bir terimdir. Ancak önemli olan yalnızca veri türü veya miktarı değil, kuruluşların verilerle ne yaptığıdır. Büyük veri, kararları iyileştiren ve stratejik iş hamleleri yapma konusunda güven vermeleri için analiz edilebilir.
Büyük Verinin Tarihi
Büyük veri, geleneksel yöntemlerle işlenmesi zor veya imkânsız olacak kadar büyük, hızlı veya karmaşık olan verileri ifade eder. Analitik için büyük miktarlarda bilgiye erişme ve bunları saklama eylemi uzun zamandır mevcut. Ancak büyük veri kavramı, 2000’li yılların başında endüstri analisti Doug Laney’nin büyük verinin ana akım tanımını üç ana husus olarak ifade etmesiyle ivme kazandı:
Hacim. Kuruluşlar, işlemler, akıllı (nesnelerin interneti) cihazlar, endüstriyel ekipmanlar, videolar, görseller, ses, sosyal medya ve daha fazlası dâhil olmak üzere çeşitli kaynaklardan veri toplar. Geçmişte tüm bu verileri depolamak çok maliyetli olurdu ancak veri gölleri, Hadoop ve bulut kullanılarak yapılan daha ucuz depolama, yükü hafifletti.
Sürat. Nesnelerin İnterneti’ndeki büyümeyle birlikte, veriler işletmelere benzeri görülmemiş bir hızla akıyor ve bunların zamanında ele alınması gerekiyor. RFID etiketleri, sensörler ve akıllı sayaçlar, bu veri akışlarıyla neredeyse gerçek zamanlı olarak başa çıkma ihtiyacını artırıyor.
Çeşitlilik. Veriler, geleneksel veri tabanlarındaki yapılandırılmış sayısal verilerden, yapılandırılmamış metin belgelerine, e-postalara, videolara, ses kayıtlarına, borsa verilerine ve finansal işlemlere kadar her türlü formatta mevcuttur.
SAS olarak büyük veri söz konusu olduğunda iki ek boyutu göz önünde bulunduruyoruz:
Değişkenlik
Artan veri hızları ve çeşitlerine ek olarak, veri akışları da öngörülemez; sıklıkla ve büyük ölçüde değişir. Bu zordur ancak işletmelerin sosyal medyada bir şeyin ne zaman trend olduğunu; günlük, dönemlik ve olaylarla tetiklenen yoğun veri yüklerinin nasıl yönetileceğini bilmesi gerekir.
Doğruluk
Doğruluk, verinin kalitesini ifade eder. Veriler pek çok farklı kaynaktan geldiğinden, verileri sistemler arasında bağlamak, eşleştirmek, temizlemek ve dönüştürmek zordur. İşletmelerin ilişkileri, hiyerarşileri ve çoklu veri bağlantılarını birbirine bağlaması ve ilişkilendirmesi gerekir. Aksi takdirde verileri hızla kontrolden çıkabilir.
Büyük Veri ve Analitik Tüm Kişilerin Bakımını Mümkün Kılar
Riverside County, devlet hastanesinden, davranışsal sağlık sisteminden, şehir hapishanesinden, sosyal hizmet ve evsiz sistemlerinden gelen sağlık ve sağlık dışı verileri entegre etmek için SAS’ın veri yönetimi ve analitiğini kullanıyor. Bireylerin farklı hizmetlerle nasıl etkileşime girdiğini anlayarak, bakım yolları sağlık sonuçlarıyla eşleştirilebilir ve sonuçta koordineli, bütünsel bakım sağlanır.
Büyük Veri Neden Önemlidir?
Büyük verinin önemi yalnızca ne kadar veriye sahip olduğunuzla ilgili değildir. Değer onu nasıl kullandığınıza bağlıdır. Herhangi bir kaynaktan veri alıp analiz ederek, 1) kaynak yönetimini kolaylaştıran, 2) operasyonel verimliliği artıran, 3) ürün geliştirmeyi optimize eden, 4) yeni gelir ve büyüme fırsatları sağlayan ve 5) akıllı karar almayı mümkün kılan yanıtlar bulabilirsiniz. Büyük veriyi yüksek performanslı analitikle birleştirdiğinizde aşağıdakiler gibi işle ilgili görevleri gerçekleştirebilirsiniz:
- Arızaların, sorunların ve kusurların temel nedenlerini neredeyse gerçek zamanlı olarak belirlemek.
- Anormallikleri insan gözünden daha hızlı ve daha doğru bir şekilde tespit etmek.
- Tıbbi görüntü verilerini hızla bilgiye dönüştürerek hasta sonuçlarını iyileştirmek.
- Tüm risk portföylerini dakikalar içinde yeniden hesaplamak.
- Derin öğrenme modellerinin değişen değişkenlerini doğru bir şekilde sınıflandırmak ve bunlara tepki verme becerisini geliştirmek.
- Dolandırıcılık davranışlarını kuruluşunuzu etkilemeden önce tespit etmek.
Bugünün Dünyasında Büyük Veri
Büyük veri ve kuruluşların onu yönetip ondan bilgi edinme biçimi, dünyanın iş bilgilerini kullanma biçimini değiştiriyor.Büyük verinin etkisi hakkında daha fazla bilgi edinin.
Bir veri kahramanı ne yapmalıdır?
Veri kahramanları kimlerdir? Bir veri bilimcisi, verileri analiz eder ve verilerde bilgi arar. Veri mühendisleri DataOps’a odaklanan işlem hatları oluşturur. Veri görevlileri verilerin güvenilir olmasını ve sorumlu bir şekilde yönetilmesini sağlar. Roller arasındaki sinerji analitik başarısını artırır.
Veri gölü nedir ve neden önemlidir?
Veri gölü, eski kuzeni olan veri ambarının aksine tweetler, görüntüler, ses ve akış verileri gibi yapılandırılmamış büyük verilerin depolanması için idealdir. Ancak her türlü veriyi depolayabilir - herhangi bir kaynak, boyut, hız veya yapı.
Büyük veri ve bulut
Büyük veri projeleri, veri işleme ve depolama için yoğun kaynaklara ihtiyaç duyar. Büyük veri teknolojileri ve bulut bilişimin birlikte çalışması, çeviklik ve esnekliğin başarılı bir kombinasyonu için her tür veriyi işlemenin uygun maliyetli bir yolunu sunar.
Derin öğrenme büyük veriye ihtiyaç duyar çünkü büyük veri, gizli örüntüleri izole etmek ve verilere gereğinden fazla uyum sağlamadan yanıtlar bulmak için gereklidir. Derin öğrenme ile ne kadar kaliteli veriye sahip olursanız sonuçlar da o kadar iyi olur.
Veri Odaklı İnovasyon
Günümüzün eksabaytlarca büyük veri, yeniliği teşvik eden bilgileri yakalamak için sayısız fırsata kapı açıyor. Daha doğru tahminlerden artan operasyonel verimliliğe ve daha iyi müşteri deneyimlerine kadar, büyük veri ve analitiğin gelişmiş kullanımı, hayatları iyileştirmek, hastalıkları iyileştirmek, savunmasız kişileri korumak ve kaynakları korumak gibi dünyamızı değiştirebilecek ilerlemelere öncülük ediyor.
Büyük Veri Nasıl Çalışır
İşletmeler büyük veriyi kendileri için kullanmaya başlamadan önce, bu verilerin çok sayıda konum, kaynak, sistem, sahip ve kullanıcı arasında nasıl aktığını dikkate almalıdır. Geleneksel, yapılandırılmış verilerin yanı sıra yapılandırılmamış ve yarı yapılandırılmış verileri de içeren bu “büyük veri dokusu”nun sorumluluğunu üstlenmenin beş temel adımı vardır:
- Büyük veri stratejisi belirlemek.
- Büyük veri kaynaklarını tanımlamak.
- Verilere erişmek, yönetmek ve saklamak.
- Verileri analiz etmek.
- Akıllı, veriye dayalı kararlar almak.
1) Büyük veri stratejisi belirlemek
Büyük veri stratejisi, yüksek düzeyde, kuruluşunuzun içinde ve dışında verileri edinme, depolama, yönetme, paylaşma ve kullanma şeklinizi denetlemenize ve geliştirmenize yardımcı olmak için tasarlanmış bir plan. Büyük veri stratejisi, bol miktarda verinin ortasında iş başarısı için gerekli zemini hazırlar. Bir strateji geliştirirken mevcut ve gelecekteki iş ve teknoloji hedeflerini ve girişimlerini dikkate almak önemli. Bu, büyük verilerin yalnızca uygulamaların bir yan ürünü olarak değil, diğer değerli iş varlıkları gibi ele alınmasını gerektirir.
Büyük veri hakkında daha fazla bilgi edinmek için infografiğe tıklayın.
2) Büyük veri kaynaklarını tanımlamak
- Veri akışı, Nesnelerin İnterneti’nden (IoT); giyilebilir cihazlar, akıllı arabalar, tıbbi cihazlar, endüstriyel ekipman ve daha fazlasından BT sistemlerine akan diğer bağlı cihazlardan gelir. Bu büyük veriyi geldiği anda analiz edebilir, hangi veriyi tutacağınıza veya tutmayacağınıza ve hangilerinin daha fazla analize ihtiyacı olduğuna karar verebilirsiniz.
- Sosyal medya verileri Facebook, YouTube, Instagram vb. platformlardaki etkileşimlerden kaynaklanır. Bu, pazarlama, satış ve destek işlevleri için yararlı olan, görsel, video, metin ve ses biçimindeki büyük miktardaki büyük verileri içerir. Bu veriler çoğunlukla yapılandırılmamış veya yarı yapılandırılmış formlarda olduğundan tüketim ve analiz açısından benzersiz bir zorluk teşkil eder.
- Kamuya açık veriler, ABD devletinin data.gov, CIA World Factbook veya Avrupa Birliği Açık Veri Portalı gibi çok büyük miktarda açık veri kaynaklarından gelmektedir.
- Diğer büyük veriler veri göllerinden, bulut veri kaynaklarından, tedarikçilerden ve müşterilerden gelebilir.
3) Büyük verilere erişmek, yönetmek ve saklamak
Modern bilgi işlem sistemleri, büyük miktarda ve türde büyük verilere hızlı bir şekilde erişmek için gereken hızı, gücü ve esnekliği sağlar. Şirketler, güvenilir erişimin yanı sıra verileri entegre etme, veri hatları oluşturma, veri kalitesini sağlama, veri yönetişimi ve depolamayı sağlama ve verileri analize hazırlama yöntemlerine de ihtiyaç duyar. Bazı büyük veriler, geleneksel bir veri ambarında yerinde depolanabilir; ancak büyük verileri bulut çözümleri, veri gölleri, veri hatları ve Hadoop aracılığıyla depolamak ve işlemek için esnek, düşük maliyetli seçenekler de vardır.
4) Verileri analiz etmek
Grid hesaplama veya bellek içi analitik gibi yüksek performanslı teknolojiler sayesinde kuruluşlar, analiz için tüm büyük verilerini kullanmayı seçebilir. Diğer bir yaklaşım ise analiz etmeden önce hangi verinin alakalı olduğunu önceden belirlemektir. Her iki durumda da büyük veri analitiği, şirketlerin verilerden değer ve bilgi edinmesinin yoludur. Büyük veri, yapay zekâ (AI) ve makine öğrenimi gibi günümüzün ileri analitik çabalarını giderek daha fazla besliyor.
5) Akıllı, veriye dayalı kararlar almak
İyi yönetilen, güvenilir veriler, güvenilir analitik ve güvenilir kararlara imkân verir. Rekabetçi kalabilmek için işletmelerin büyük verinin tam değerini yakalaması ve veriye dayalı bir şekilde faaliyet göstermesi, içgüdüler yerine büyük verilerin sunduğu kanıtlara dayanarak kararlar alması gerekiyor. Veriye dayalı olmanın faydaları açıktır. Veriye dayalı kuruluşlar daha iyi performans gösterir, operasyonel açıdan daha öngörülebilirdir ve daha kârlıdır.
SAS®Information Governance
Kaynaktan, verilerin nerede saklandığından veya ne kadar büyük ve karmaşık olduğundan bağımsız olarak "SAS Information Governance", veri kullanıcılarının analiz için en değerli büyük verileri bulmasını, kataloglamasını ve korumasını daha hızlı ve daha kolay hâle getirir. Meta veri odaklı arama sonuçları, her veri varlığı hakkında ayrıntılı bilgi gösterir. Buna karşılık, iş kullanıcıları, BT’ye daha az güvenerek, yeniden çalışmadan kaçınarak ve daha bilinçli seçimler yaparak verilerin amaca uygunluğunu değerlendirebilir.
Önerilen Kaynaklar
-
Seri
Meet the data scientist: Daymond LingDaymond Ling believes the right personal traits are more important than technical skills when it comes to being a successful data scientist.
-
Makale
Big data integration: Go beyond 'just add data'Every business-focused technology requires users to "just add data." This article by Matt Magne explores why that's not as easy as it sounds, especially in a big data age.
-
Makale
How do recommendation systems know what you might like?How do recommendation systems know what you’re likely to want and offer it up while you’re shopping? That’s a computationally intensive question that used to take hours or days to answer. With distributed computing and in-memory analytics, it’s done in minutes.
