Big Data
Wat is het en waarom is het belangrijk
Big data is een ander woord voor een enorm datavolume van zowel gestructureerde als ongestructureerde data waar bedrijven op dagelijkse basis mee overspoeld worden. De hoeveelheid data doet er echter niet toe, want het gaat er vooral om wat organisaties met de data doen. Big data kan geanalyseerd worden om inzicht te krijgen in het nemen van betere beslissingen en het zetten van strategische stappen op zakelijk gebied.
Geschiedenis van big data
De term “big data” refereert naar data met zo’n groot volume of zo’n enorme snelheid of complexiteit dat het lastig of onmogelijk is om de data te verwerken op basis van een traditionele methode. Toegang krijgen en het opslaan van grote hoeveelheden data die geanalyseerd moeten worden is niet nieuw, maar het concept “big data” kwam op rond 2000, toen industrie-analist Doug Laney de huidige definitie van big data bedacht op basis van drie V’s:
Volume. Organisaties verzamelen data vanuit verschillende bronnen, inclusief zakelijke transacties, slimme (IoT-) apparaten, industriële installaties, video’s, social media en nog veel meer. In het verleden zou dataopslag een probleem zijn geweest, maar tegenwoordig kan je makkelijk en goedkoop je data opslaan op platforms als data lakes en Hadoop.
Velocity (snelheid). Nu het Internet of Things aan het groeien is, stroomt data met een enorme snelheid bedrijven binnen, terwijl diezelfde data binnen korte tijd verwerkt moet worden. RFID tags, sensors en slimme meters maken dat er steeds meer behoefte is aan snelle dataverwerking.
Variety (verscheidenheid). Er zijn allerlei verschillende soorten data: gestructureerde data, numerieke data in traditionele databases en ongestructureerde tekstdocumenten, e-mails, video’s, audiobestanden, stock ticker data en financiële transacties.
Bij SAS voegen we hier in het geval van big data nog twee V’s aan toe:
Variability
In addition to the increasing velocities and varieties of data, data flows are unpredictable – changing often and varying greatly. It’s challenging, but businesses need to know when something is trending in social media, and how to manage daily, seasonal and event-triggered peak data loads.
Variability (variaties)
Naast de toenemende snelheden en verschillende soorten data, zijn dataflows ook onvoorspelbaar. Ze veranderen snel en kunnen enorm verschillen. Het is een uitdaging, maar het is belangrijk dat bedrijven weten wat er trending is op social media en hoe er omgegaan moet worden met de dagelijkse datastroom, of met datastromen die gelinkt zijn aan een bepaald seizoen of een bepaalde gebeurtenis.
Veracity (betrouwbaarheid)
Betrouwbaarheid gaat over de kwaliteit van de data. Data zijn afkomstig van heel veel verschillende bronnen en daarom is het lastig om het te linken, te matchen, op te schonen en te transformeren binnen verschillende systemen. Bedrijven moeten zorgen dat relaties, hiërarchieën en verschillende gegevenskoppelingen met elkaar samenwerken, omdat het anders bijna onmogelijk wordt om de data bij te houden.
Big data and IoT analytics foster economic growth, sustainability and well-being
Jakarta had vast amounts of unstructured data scattered across silos and multiple applications. To enhance public service, the city partnered with SAS to develop a one-stop super app for residents, businesses and government departments. Now, everyone can use the app to access public services, get emergency updates, report accidents and crimes, and much more. The city even uses SAS to build models that predict and mitigate flooding – reducing damage to lives, properties and businesses.
Why is big data important?
The importance of big data doesn’t simply revolve around how much data you have. The value lies in how you use it. By taking data from any source and analyzing it, you can find answers that 1) streamline resource management, 2) improve operational efficiencies, 3) optimize product development, 4) drive new revenue and growth opportunities and 5) enable smart decision making. When you combine big data with high-performance analytics, you can accomplish business-related tasks such as:
- Determining root causes of failures, issues and defects in near-real time.
- Spotting anomalies faster and more accurately than the human eye.
- Improving patient outcomes by rapidly converting medical image data into insights.
- Recalculating entire risk portfolios in minutes.
- Sharpening deep learning models' ability to accurately classify and react to changing variables.
- Detecting fraudulent behavior before it affects your organization.
Big data in de wereld van tegenwoordig
Big data, en de manier waarop organisaties big data gebruiken om inzichten op te doen, verandert de manier waarop de wereld omgaat met zakelijke informatie. Ontdek meer over de impact van big data.
Deep learning heeft big data nodig omdat big data de plek is waar je verborgen patronen ontdekt en antwoorden vindt. Dankzij deep learning haal je betere resultaten uit data van een hoge kwaliteit. Wayne Thompson SAS Product Manager
Data-driven innovation
Today’s exabytes of big data open countless opportunities to capture insights that drive innovation. From more accurate forecasting to increased operational efficiency and better customer experiences, sophisticated uses of big data and analytics, along with AI and GenAI, propel advances that can change our world – improving lives, healing sickness, protecting the vulnerable and conserving resources. But we can't overlook the importance of always starting with good quality data and relying on trustworthy analytics and AI ethics to ensure the best outcomes for all of humanity.
Hoe werkt big data
Voordat bedrijven voordeel kunnen halen uit big data, moeten ze eerst nagaan langs welke locaties, bronnen, systemen, eigenaren en gebruikers de big data komt. Er zijn vijf belangrijke stappen om controle te krijgen over deze “datafabriek” vol traditionele, gestructureerde, ongestructureerde en semi-gestructureerde data:
- Zorg voor een big data strategie.
- Identificeer big data bronnen.
- Regel toegang tot en beheer en opslag van data.
- Analyseer de data.
- Neem beslissingen op basis van data.
1) Zorg voor een big data strategie
Een big data strategie is een plan dat is ontworpen om de manier waarop je data vergaart, opslaat, beheert, deelt en gebruikt, zowel binnen als buiten je organisatie, te structureren en te verbeteren. Een big data strategie is de basis voor zakelijk succes te midden van een enorme hoeveelheden data. Wanneer je een strategie ontwikkelt, is het belangrijk om rekening te houden met bestaande en toekomstige zakelijke doelen op het gebied van techniek en initiatieven. Dit betekent dat je big data moet beschouwen als een waardevol bedrijfsmiddel en niet als een bijproduct of een toepassing.
Klik op de infografiek voor meer informatie over big data.
2) Weet wat de bronnen van big data zijn
- Het streamen van data komt van het Internet of Things (lvd) en andere aangesloten apparaten in IT-systemen, zoals draagbare apparaten, slimme auto’s, medische apparaten, industriële installaties en nog veel meer. Deze big data kan je analyseren zodra het binnenkomt, waarna je besluit welke data je wel en niet wil houden voor een meer uitgebreide analyse.
- Social media data zijn vooral afkomstig van interacties op Facebook, YouTube, Instagram, enz. Dit zijn grote hoeveelheden data in de vorm van afbeeldingen, video’s, spraak, tekst en geluid en dit kan gebruikt worden voor marketing-, verkoop- en ondersteuningsdoeleinden. Deze data zijn vaak ongestructureerd of semi-gestructureerd. Het is dus een grote uitdaging om deze data te gebruiken en te analyseren.
- Publicly available data is afkomstig van enorme hoeveelheden openbare databronnen, zoals data.gov van de Amerikaanse overheid, de CIA World Factbook of het Open Data Portaal van de Europese Unie.
- Overige big data kan afkomstig zijn uit data lakes, uit de cloud, van dataleveranciers en van klanten.
3) Toegang tot, beheer en opslag van big data
Moderne informaticasystemen leveren snelheid, kracht en flexibiliteit om snel toegang te krijgen tot grote hoeveelheden en soorten big data. Maar naast betrouwbare toegang, hebben bedrijven ook methodes nodig om de data te integreren en om de kwaliteit van de data te kunnen garanderen. Er moet ook gezorgd worden voor dataopslag en data moet worden voorbereid voor de analyses. Sommige soorten data kunnen worden opgeslagen in traditionele data warehouse, maar er zijn ook flexibele en goedkope manieren om big data op te slaan in de cloud, in data lakes of in Hadoop.
4) Big data analyseren
Dankzij geavanceerde technologieën, zoals grid computing of in-memory analytics, kunnen organisaties ervoor kiezen om al hun big data te laten analyseren. Een andere aanpak kan zijn dat je van tevoren bepaalt welke data relevant zijn, voor je begint met analyseren. In beide gevallen levert het analyseren van big data waarde en inzichten op. Vandaag de dag is big data zelfs de bron voor geavanceerde analyses, zoals kunstmatige intelligentie.
5) Neem slimme beslissingen op basis van je data
Betrouwbare en goed beheerde data leiden tot een betrouwbare analyse en uiteindelijk tot betrouwbare beslissingen. Om mee te doen met de concurrentie moeten bedrijven alles uit hun big data halen en moeten ze opereren op basis van data. Beslissingen moeten niet worden genomen op basis van een onderbuikgevoel, maar op basis van bewijs dat door big data wordt geleverd. De voordelen van werken op basis van data zijn duidelijk. Organisaties die werken op basis van data presteren beter, zijn voorspelbaarder en maken meer winst.
SAS® Information Governance
Regardless of source, where the data is stored, or how large and complex it is, SAS Information Governance makes it faster and easier for data users to find, catalog and protect the big data that is most valuable for analysis. Metadata-oriented search results show detailed information about each data asset. In turn, business users can evaluate the data’s fitness for purpose with less reliance on IT while avoiding rework and making more informed choices.
Recommended Reading
-
Article
How to drill a better hole with analyticsFrom drilling holes to preventing health care fraud, learn about some of the new technologies SAS has patented with IoT and machine learning technologies.
-
Series
Meet the data scientist: Kristin CarneyWhen Kristin Carney graduated with a BS in mathematics, she wasn't sure what she wanted to do with her degree. That’s when she began researching data science.
-
Article
Understanding data in motionLearn how to analyze fast-moving data streams on the fly with event stream processing.