Data mining
Wat is het & waarom is het belangrijk
Data mining is een proces waarbij er binnen grotedatasets (databestanden) gezocht wordt naar afwijkingen, patronen en correlaties. Hiermee worden voorspellingen gedaan richting de toekomst. Met gebruik van veel verschillende technieken kan je deze informatie gebruiken je omzet (en winst) te verhogen en de kosten te verlagen. de relatie met klanten te verbeteren, risico’s te verminderen en nog veel meer.
De geschiedenis van data mining
Het proces van data doorspitten om verscholen verbindingen te ontdekken en toekomstige trends te voorspellen, kent een lange geschiedenis. Data mining wordt soms ook wel omschreven als het opdoen van kennis in databases. De term ‘data mining’ werd pas bedacht rond 1990 en is eigenlijk gebaseerd op 3 wetenschappelijke disciplines: statistiek (numeriek onderzoek naar relaties in data), artificial intelligence (human-like intelligence displayed by software and/or machines) (de mogelijkheid van een machine om mensachtige vaardigheden te vertonen) en machine learning (algoritmes die kunnen leren van data om vervolgens voorspellingen te doen). Oud wordt weer nieuw, want de data mining technologie blijft zich ontwikkelen om gelijke tred te houden met de oneindige potentie van big data en betaalbare rekenkracht.
In de afgelopen tien jaar is er een enorme vooruitgang geweest in de rekenkracht processorsnelheid, waardoor we niet meer afhankelijk zijn van handmatige en tijdrovende methodieken om data te analyseren. Dit kan nu snel, gemakkelijk en met geautomatiseerde data-analyse. Hoe complexer datasets zijn, hoe groter de kans dat je relevante ontdekkingen doet. Data mining wordt toegepast door retailers, banken, fabrikanten, telecom bedrijven, verzekeraars en nog veel meer partijen om verbanden te ontdekken tussen bijvoorbeeld prijs-optimalisatie, promoties en demografische gegevens en de invloed van de economie, risico’s, concurrentie en social media op businessmodellen, winst, werkzaamheden en klantrelaties.
Waarom is data mining belangrijk?
Maar waarom is data mining dan belangrijk? De duizelingwekkende aantallen liegen er niet om: datavolumes verdubbelen namelijk elke twee jaar. 90% van het digitale universum bestaat uit ongestructureerde data, maar meer informatie staat niet per se gelijk aan meer kennis.e.
Data mining helpt je om:
- Ruis en repeterende gegevens uit je data te filteren.
- Te begrijpen wat relevante informatie is en hoe je die informatie kunt gebruiken om mogelijke resultaten te voorspellen.
- De snelheid waarmee je onderbouwde besluiten maakt te versnellen.
Ontdek meer over data mining technieken in Data Mining From A to Z. In dit paper lees je meer over manieren waarop organisaties voorspellende analyses en data mining kunnen toepassen om nieuwe inzichten op te doen op basis van data.
Data Mining in Today's World
Data mining is a cornerstone of analytics, helping you develop the models that can uncover connections within millions or billions of records. Learn how data mining is shaping the world we live in.
Data mining software
SAS for Machine Learning and Deep Learning helps you solve complex analytical problems and lets everyone work in the same, integrated environment. It even includes an automated modeling API.
Data mining software
De data mining software van SAS maakt gebruik van cutting-edge algoritmes die zo ontworpen zijn dat ze je helpen om de grootste uitdagingen aan te kunnen.
Data mining in de huidige tijd
Data mining is de hoeksteen van digitale analyses. Het helpt om modellen te ontwikkelen die verbanden in miljoenen of miljarden documenten of gegevens kunnen ontdekken. Ontdek hoe data mining een grote rol speelt in de wereld waarin we leven.
Het ontrafelen van data mining in de olie- en gasindustrie
Ontdek hoe data mining, net als voorspellende modellen en real-time analyses, gebruikt wordt in de olie- en gasindustrie. In dit paper worden praktische aanpakken, workflows en toegepaste technieken beschreven.
Het raakvlak tussen big data & data mining
Data mining expert Jared Dean legt in zijn boek over data mining uit hoe je alles uit je analytics code haalt door gebruik te maken van high-performance rekentechnieken en geavanceerde analyses.
Magic Quadrant voor Data Science Platforms
In de Gartner Magic Quadrant voor Data Science & Machine Learning Platforms staat SAS al sinds dag 1 in de Leider Quadrant.
Interessante leeskost : Advanced Predictive Network Analytics
Ontdek hoe je het netwerk kunt optimaliseren door gebruik te maken van voorspellende analyses om de prestaties van het netwerk te evalueren, maar ook door de capaciteit beter in te zetten, zodat er meer gerichte marketing kan worden gedaan.
Data mining software
SAS for Machine Learning and Deep Learning helps you solve complex analytical problems and lets everyone work in the same, integrated environment. It even includes an automated modeling API.
Data mining software
De data mining software van SAS maakt gebruik van cutting-edge algoritmes die zo ontworpen zijn dat ze je helpen om de grootste uitdagingen aan te kunnen.
Wie gebruikt het?
Data mining wordt toegepast in verschillende industrieën en disciplines waar grondige analyses gedaan worden.
Telecom, Media & Technologie
In een markt met hevige concurrentie liggen de kansen vaak in je klantgegevens. Telecom-, media- en technologiebedrijven kunnen gebruikmaken van analytische modellen om structuur aan te brengen in enorme bergen data, om klantgedrag te voorspellen en om zeer gerichte en relevante campagnes te draaien.
Verzekering
Met analytische know-how weten verzekeraars hoe ze complexe problemen moeten oplossen op het gebied van fraude, naleving, risicomanagement en het verval van klantrelaties. Bedrijven hebben gebruikgemaakt van data mining technieken om producten beter te prijzen over verschillende producten heen en om nieuwe manieren te vinden om concurrerende producten te verkopen binnen hun bestaande klantenbestand.
Educatie
Met één overzichtelijke plek waar je de voortgang van alle studenten kunt inzien, kunnen mensen in het onderwijs de prestaties van studenten voorspellen, nog voordat de studenten een voet in de collegezaal hebben gezet. Op basis hiervan kunnen er interventiestrategieën ontwikkeld worden om te voorkomen dat studenten geen goede voortgang boeken. Data mining helpt mensen in het onderwijs om toegang te krijgen tot studentengegevens, om de prestatieniveaus te voorspellen en om te bepalen welke studenten of groepen studenten extra begeleiding nodig hebben.
Manufacturing
Planning afstemmen op afzetprognoses Is essentieel, net als het vroeg signaleren van problemen, kwaliteitswaarborging en het investeren in merkwaarde. Fabrikanten kunnen de slijtage van productiemiddelen voorspellen en kunnen anticiperen op onderhoud, waardoor de inzetbaarheid wordt gemaximaliseerd en de productielijn op schema blijft.
Banken
Geautomatiseerde algoritmes helpen banken om hun klanten beter te begrijpen, maar ook om de miljarden transacties in het financiële systeem te doorgronden. Data mining helpt bedrijven in de financiële dienstverlening bovendien om meer inzicht te krijgen in marktrisico’s, om fraude sneller op te sporen, om de naleving van wettelijke bepalingen te beheren en om optimaal rendement uit marketinginvesteringen te halen.
Retail
Grote databases met klantgegevens bieden verscholen inzichten . Dit kan je helpen om relaties te verbeteren, je marketingcampagnes en verwachte toekomstige verkopen te optimaliseren. Door middel van meer nauwkeurige modellen kunnen retailers meer gerichte campagnes bieden, waardoor ze precies dat kunnen aanbieden dat de grootste impact heeft op de klant.
Ontdek meer over de industrieën die gebruikmaken van deze technologie
Hoe werkt het
Datamining, als een samengestelde discipline, vertegenwoordigt een verscheidenheid aan methodes of technieken, die worden gebruikt in verschillende analytische capaciteiten die een scala aan organisatorische behoeften aanpakken, verschillende soorten vragen stellen en in verschillende mate menselijke input of regels gebruiken om tot een beslissing te komen.
Descriptive Modeling: Het ontrafelen van overeenkomstigheden of groepen in historische data om de reden achter successen of mislukkingen te achterhalen, zoals het categoriseren van klanten op basis van productvoorkeur of sentiment. Voorbeelden van technieken zijn o.a. zijn.:
Clustering | Het groeperen van overeenkomstige gegevens. |
Anomaly detection
| Het identificeren van multidimensionale uitschieters.
|
Association rule learning
| Het herkennen van relaties tussen gegevens.
|
Principal component analysis
| Het herkennen van relaties tussen variabelen. |
Affinity grouping | Het groeperen van mensen met overeenkomstige interesses of doelen (bijvoorbeeld: mensen die X kopen, kopen ook vaak Y en mogelijk ook Z). |
Predictive Modeling: Methode waarbij nog Nog verder gegaan wordt om gebeurtenissen in de toekomst te voorzien of om een schatting te maken van resultaten die nog niet bekend zijn. Een voorbeeld is het gebruik van credit scoring om te bepalen hoe waarschijnlijk is dat een individu een lening gaat afbetalen. Predictive modelling helpt om inzichten op te doen voor bijvoorbeeld klantverloop, campagneresultaten en kredietverzuim. Voorbeelden van technieken zijn o.a.
Regressie | Het bepalen van de mate van afhankelijkheid van een afhankelijke variabele en een serie onafhankelijke variabelen. |
Neural networks | Computerprogramma’s die patronen kunnen herkennen, die voorspellingen kunnen doen en kunnen leren. |
Decision trees (beslisbomen) | Diagrammen in de vorm van een boom waarin elke tak staat voor een mogelijke gebeurtenis. |
Support vector machines | Support vector machines |
Prescriptive Modeling: Met de groei van ongestructureerde data op het web, commentaarvelden, boeken, e-mails, PDF’s, audiobestanden en andere tekstbronnen, is het toepassen van ‘text mining’, een gerelateerde discipline van data mining, behoorlijk toegenomen. Het is belangrijk om ongestructureerde data goed te kunnen ontleden, filteren en omzetten om het in voorspellende modellen te kunnen gebruiken. Zo verbeter je de nauwkeurigheid van de voorspelling.
Uiteindelijk gaat het erom dat je data mining niet ziet als een losstaande iets, omdat de voorbewerking (data voorbereiden, data exploratie) en de nabewerking (modelvalidatie, scoren, prestaties van het model monitoren) net zo belangrijk zijn. Prescriptive modelling kijkt naar interne en externe variabelen en naar randvoorwaarden, om op die manier één of meer handelingen aan te bevelen. Een voorbeeld hiervan is het vaststellen van het beste marketingvoorstel voor iedere klant. Voorbeelden van technieken zijn o.a.
Predictive analytics plus rules | Het ontwikkelen van als/dan-regels vanuit patronen en het voorspellen van de resultaten. |
Marketing optimization | Simulating the most advantageous media mix in real time for the highest possible ROI. |
Recommended reading
-
Machine learning and artificial intelligence in a brave new worldWhat is the interplay between man and machine in a brave new world with AI?
-
Nerd in the herd: protecting elephants with data scienceA passionate SAS data scientist uses machine learning to detect tuberculosis in elephants. Find out how her research can help prevent the spread of the disease.
-
5 steps to sustainable GDPR complianceFollow these steps to achieve GDPR compliance by the May 2018 deadline – and get added benefits along the way.
-
Introduction to machine learning: Five things the quants wish we knewMachine learning is gaining momentum thanks to bigger, more complex data sets. How does it work? Kimberly Nevala from SAS Best Practices explains what it is by focusing on what it isn't.