Mineração de Dados
O que é e qual sua importância?
Mineração de dados (em inglês, data mining) é o processo de encontrar anomalias, padrões e correlações em grandes conjuntos de dados para prever resultados. Através de uma variedade de técnicas, você pode usar essas informações para aumentar a renda, cortar custos, melhorar o relacionamento com os clientes, reduzir riscos e mais.
História e avanços recentes da mineração de dados
O processo de minerar dados para descobrir conexões escondidas e prever tendências futuras tem uma longa história. Por vezes chamado de "descoberta de conhecimento em bancos de dados", o termo "mineração" só foi cunhado nos anos 1990, mas sua base compreende três disciplinas científicas entrelaçadas que existem há tempos: estatística (o estudo numérico das relações entre dados), inteligência artificial (inteligência exibida por softwares e/ou máquinas, que se assemelha à humana) e machine learning (algoritmos que podem aprender com dados para realizar previsões). A tecnologia de mineração de dados continua evoluindo para acompanhar o potencial ilimitado do big data e a computação de baixo custo.
Na última década, os avanços no poder e na velocidade de processamento nos permitiram ir de práticas manuais, tediosas e lentas para análises de dados rápidas, fáceis e automatizadas. Quanto mais complexos forem os conjuntos de dados coletados, mais potencial haverá para deles extrair insights relevantes. Varejistas, bancos, fabricantes, operadoras de telecomunicações, seguradoras etc, estão usando a mineração de dados para descobrir relações entre tudo — desde preços, promoções e demografias até como a economia, o risco, a concorrência e as mídias sociais estão afetando seus modelos de negócio, receitas, operações e relacionamentos com os clientes.
Qual a importância da mineração de dados?
Então qual a importância da mineração de dados? Você viu que os números são impressionantes — o volume de dados produzidos está dobrando a cada dois anos. Somente os dados não-estruturados compõem 90% do universo digital. Porém, mais informação não significa necessariamente mais conhecimento.
A mineração de dados permite que você:
- Separe todos os ruídos caóticos e repetitivos em seus dados;
- Entenda o que é relevante para, então, fazer um bom uso dessa informação para avaliar os resultados possíveis;
- Acelere o ritmo de tomadas de decisões bem-informadas.
Saiba mais sobre técnicas de mineração dados em Data Mining From A to Z, um relatório que mostra como as organizações podem usar análises preditivas e mineração de dados para obter novos inisghts com seus dados.
Mineração de dados no mundo de hoje
A mineração de dados é um dos fundamentos da inteligência analítica, que ajuda você a desenvolver modelos que podem descobrir conexões em milhões ou bilhões de registros. Saiba como a mineração de dados está transformando o mundo em que vivemos.
Desmistificando a mineração de dados em petroquímicas
Descubra como a mineração de dados – além de modelagem preditiva e análises em tempo real – estão sendo usadas em petroquímicas. Este white paper explora abordagens práticas, fluxos de trabalho e técnicas empregadas.
A intersecção entre big data e mineração de dados
Especialista em mineração de dados, Jared Dean publicou um livro sobre o tema, no qual ele explica como maximizar seu programa analítico usando computação de alta performance e advanced analytics.
Quadrante Mágico para Plataformas de Data Science
O Gartner nomeou o SAS como Líder no Quadrante Mágico para Plataformas de Data Science, e o "maior fornecedor do mercado de ciência de dados, em termos de lucro total e número de clientes".
Mineração de Dados de A a Z
Este paper cobre o que você precisa saber sobre mineração de dados, incluindo uma visão geral introdutória, as aplicações comuns em diferentes indústrias, um mergulho profundo no processo de mineração de dados e soluções de data mining da SAS.
Softwares de Mineração de Dados
Os softwares de mineração de dados do SAS usam alogitmos avançados, projetados para ajudá-lo a resolver seus maiores desafios.
Quem está usando?
A mineração de dados está no coração dos esforços analíticos em uma variedade de indústrias e disciplinas.
Telecomunicações
Em um mercado sobrecarregado, no qual a concorrência é grande, as respostas muitas vezes estão nos dados dos seus consumidores. Empresas de multimídia e telecomunicações podem usar modelos analíticos para dar sentido a milhões de dados de clientes, prever seus comportamentos e oferecer campanhas altamente segmentadas e relevantes.
Seguradoras
Com know-how analítico, as seguradoras podem resolver problemas complexos envolvendo fraude, conformidade, gestão de risco e atritos com clientes. As empresas têm usado técnicas de mineração de dados para avaliar os produtos de modo mais eficaz em todas as linhas de negócios e encontrar novas maneiras de oferecer produtos competitivos à sua base de clientes.
Educação
Com visualizações unificadas e baseadas em dados sobre o progresso dos alunos, os educadores podem prever o desempenho deles antes mesmo de entrarem na sala de aula – além de desenvolver estratégias de intervenção para mantê-los no caminho certo. A mineração de dados ajuda educadores a acessar dados dos alunos, prever conquistas e identificar quem precisa de uma atenção extra.
Manufatura
Alinhar planos de fornecimento com previsões de demandas é essencial, assim como detectar problemas cedo, garantir a qualidade e investir no valor da marca. Os fabricantes podem prever o desgaste dos ativos de produção e antecipar a necessidade de manutenção, o que pode maximizar o tempo de atividade e manter a linha de produção dentro do cronograma.
Bancos
Algoritmos automatizados ajudam os bancos a entender sua base de clientes, bem como as bilhões de transações no coração do sistema financeiro. A mineração de dados ajuda as empresas do setor a obter uma visão melhor dos riscos de mercado, detectar fraudes mais rapidamente, gerenciar obrigações de conformidade normativa e obter retornos ideais sobre seus investimentos de marketing.
Varejo
Grandes bancos de dados de clientes contêm insights escondidos que podem ajudá-lo a melhorar o relacionamento com os clientes, otimizar campanhas de marketing e prever vendas. Através de modelos de dados mais precisos, as empresas varejistas podem oferecer campanhas mais direcionadas – e encontrar a oferta que causa o maior impacto no cliente.
Veja como diferentes indústrias estão usando esta tecnologia
- Automotiva
- Bancária
- Bens de Consumo
- Defesa & Segurança
- Educação
- Ensino Superior
- Esportes
- Financeira
- Governo
- Hotelaria
- Life Sciences
- Manufatura
- Mídia
- Operadoras de Saúde
- Pequenas e Médias Empresas
- Petróleo & Gás
- Seguros
- Seguros de Saúde
- Tecnologia
- Telecomunicações
- Turismo & Transportes
- Utilities
- Varejo
Quando [mineração de dados e] análises preditivas são feitas do jeito certo, as análises não são um meio para um fim preditivo; em vez disso, as previsões desejadas tornam-se um meio para obter insights e descobertas analíticas. Fazemos um trabalho melhor em analisar o que realmente precisamos e prever o que realmente queremos.
Michael Schrage em Análises preditivas na prática , um relatório da Harvard Business Review Insight Center
Data mining software
SAS data mining software uses proven, cutting-edge algorithms designed to help you solve your biggest challenges.
Como funciona?
A mineração de dados, enquanto disciplina composta, representa uma variedade de métodos ou técnicas usadas em diferentes capacidades analíticas que abordam uma gama de necessidades organizacionais, fazem diferentes tipos de perguntas e usam diferentes níveis de entradas ou regras para chegar a uma decisão.
Modelagem descritiva: revela semelhanças compartilhadas ou agrupamentos em dados históricos para determinar as razões por trás do sucesso ou do fracasso, como a categorização de clientes por preferência de produtos ou emoções. Essas técnicas incluem:
Clustering | Agrupa registros semelhantes. |
Detecção de anomalias
| Identifica valores discrepantes multidimensionais.
|
Regras de associação
| Detecta relações entre registros.
|
Análise do componente principal
| Detecta relações entre variáveis. |
Grupos de afinidade | Agrupa pessoas com interesses ou objetivos semelhantes (ex., pessoas que compram X podem comprar Y e, possivelmente, Z).
|
Modelagem preditiva: vai mais fundo na hora de classificar eventos futuros ou estimar resultados desconhecidos — por exemplo, usando escoragem de crédito para determinar a probabilidade de um indivíduo quitar um empréstimo. A modelagem preditiva também ajuda na descoberta de insights para situações como churn de clientes, engajamento em campanhas ou padrões de crédito. Essas técnicas incluem:
Regressão | Uma medida da força da relação entre uma variável dependente e uma série de variáveis independentes. |
Redes neurais | Programas de computadores que detectam padrões, fazem previsões e aprendem disso. |
Árvores de decisão | Diagramas na forma de árvores em que cada galho representa uma ocorrência provável. |
Máquinas de vetores de suporte | Modelos de aprendizagem supervisionada com seus algoritmos de aprendizagem associados. |
Modelagem prescritiva: com o aumento no volume de dados não-estruturados a partir da web, campos de comentários, livros, e-mail, PDFs e outras fontes textuais, a adoção de mineração de texto como uma disciplina relacionada à mineração de dados também cresceu significativamente. Você precisa ser capaz de analisar, filtrar e transformar dados não-estruturados com sucesso para incluí-los em modelos preditivos e, então, melhorar a precisão de previsões.
No fim, você não deve olhar para a mineração de dados como uma entidade separada e única, porque o pré-processamento (preparação de dados e exploração de dados) e o pós-processamento (validação de modelos, escoragem, monitoramento de performance de modelos) são igualmente essenciais. A modelagem prescritiva olha para variáveis internas e externas, além de restrições, para recomendar um ou mais cursos de ação — por exemplo, determinar a melhor oferta de marketing a ser enviada para cada consumidor. Essas técnicas incluem:
Análises preditivas e suas regras
| Desenvolve regras do tipo se/então a partir de padrões e prevê resultados. |
Otimização de marketing
| Simula, em tempo real, o mix de mídia mais vantajoso para alcançar o maior ROI possível. |
Leia mais sobre este assunto
-
4 strategies that will change your approach to fraud detectionAs fraudulent activity grows and fighting fraud becomes more costly, financial institutions are turning to anti-fraud technology to build better arsenals for fraud detection. Discover four ways to improve your organization's risk posture.
-
Analytics: A must-have tool for leading the fight on prescription and illicit drug addictionStates and MFCUs now have the analytics tools they need to change the trajectory of the opioid crisis by analyzing data and predicting trouble spots – whether in patients, prescribers, distributors or manufacturers. The OIG Toolkit with free SAS® programming code makes that possible.
-
Detect and prevent banking application fraudCredit fraud often starts with a falsified application. That’s why it’s important to use analytics starting at the entrance point. Learn how analytics and machine learning can detect fraud at the point of application by recognizing the biggest challenge – synthetic identities.
-
Exploring the sun with big dataResearchers working for NASA are using automatic, exploratory and visual analysis of big data to help understand the mysteries of our universe.