Big Data
O que é e por que é importante
Big data é um termo que descreve grandes volumes de dados, difíceis de gerir – tanto estruturados como não estruturados – que inundam os negócios diariamente. Mas não é apenas o tipo ou quantidade de dados que é importante, mas também o que as organizações fazem com os dados. Os big data podem ser analisados para se obterem conhecimentos que melhorem as decisões e proporcionem confiança para a tomada de decisões estratégicas de negócios.
Big Data - A História
Big data refere-se a dados que são tão grandes, rápidos ou complexos, que é difícil ou impossível processá-los através de métodos tradicionais. O ato de armazenar e aceder a grandes quantidades de informação para análise já existe há bastante tempo. Mas o conceito de big data ganhou relevância no início dos anos 2000, quando o analista de indústria Doug Laney articulou a definição, agora massificada e popularizada, de big data, baseada nos três V's:
Volume. Organizações reúnem dados de uma variedade de fontes, incluindo transações, dispositivos inteligentes (IoT), equipamento industrial, videos, imagens, áudio, comunicação social, e mais. No passado, armazenar todos esses dados teria sido demasiado dispendioso – mas armazenamento mais barato usando Data Lake, Hadoop e a cloud, poderia ter atenuado o fardo.
Velocidade. Com o crescimento da Internet das Coisas, o fluxo de dados nos negócios acontece a uma velocidade sem precedentes e deve ser gerido de forma oportuna. Etiquetas RFDI, sensores e medidores inteligentes estão a levar à necessidade de lidar com estas quantidades de dados em tempo quase real.
Variedade. Os dados vêm em todos os tipos de formatos - desde dados estruturados e numéricos em bases de dados tradicionais a documentos de texto não estruturados, e-mails, vídeos, áudios, dados de registos de stock e transações financeiras.
No SAS, consideramos duas dimensões adicionais no que diz respeito a big data:
Variabilidade
Adicionalmente, ao incremento das velocidades e variedades de dados, o fluxo de dados é imprevisível – mudando frequentemente e variando imensamente. É um desafio, mas as empresas precisam de saber quando alguma coisa está a mudar na comunicação social, e como gerir os picos de dados diários, sazonais e acionados por eventos pontuais.
Veracidade
A veracidade refere-se à qualidade dos dados. Como os dados vêm de tantas fontes diferentes, é difícil ligar, corresponder, limpar e transformar os dados ao longo dos sistemas. As empresas precisam de conectar e correlacionar as relações, hierarquias e ligações múltiplas dos dados. De outra forma, os seus dados podem rapidamente ficar fora de controlo.
Big Data e Analítica possibilitam o tratamento integral de Pessoas
O Condado de Riverside utiliza a gestão de dados e a analítica do SAS para integrar dados de saúde e outros a partir dos seus hospitais públicos, sistema de saúde comportamental, prisão municipal, sistemas de serviço social e sistemas dos sem-abrigo. Ao compreender como os indivíduos interagem com os diferentes serviços, os percursos dos tratamentos podem ser mapeados para os resultados de saúde – resultando assim num cuidado coordenado do indivíduo.
Porque é que o Big Data é importante?
A importância dos grandes dados não se resume à quantidade de dados que se tem. O valor reside na forma como os utiliza. Ao utilizar dados de qualquer fonte e analisá-los, pode encontrar respostas que 1) simplificam a gestão de recursos, 2) melhoram as eficiências operacionais, 3) otimizam o desenvolvimento do produto, 4) conduzem a novos lucros e oportunidades de crescimento e 5) permitem a tomada de decisão inteligente. Quando combina big data com analítica de alto desempenho, pode alcançar funções relacionadas com o negócio tais como:
- Determinar as causas das falhas, problemas e defeitos em tempo quase real.
- Detetar anomalias mais rapidamente e com maior precisão do que o olho humano.
- Melhorar os resultados dos pacientes através da rápida conversão de dados de imagem médica em conhecimento.
- Recalcular portfólios inteiros de risco em minutos.
- Aperfeiçoar a capacidade de modelos de deep learning para classificar com rigor e reagir às variáveis em mudança.
- Detetar comportamento fraudulento antes que afete a sua empresa.
Big Data no Mundo Atual
Big data – e a forma como as organizações gerem e obtêm informações a partir deles - estão a mudar a forma como o mundo utiliza a informação empresarial. Saber mais sobre o impacto do big data.
Seja uma empresa baseada em dados
Os big data são gerados a partir de muitas fontes - veículos, wearables, equipamentos e muito mais. Aprenda os três fundamentos para se basear em dados, leia sobre soluções de big data, e descubra as melhores práticas que outras organizações seguem para superar obstáculos.
O que deve fazer um herói dos dados?
Quem são os heróis de dados? Um cientista de dados analisa e procura conhecimento nos dados. Engenheiros de dados constroem condutas focadas em DataOps. Os data officers asseguram que os dados são fiáveis e geridos de forma responsável. A sinergia entre estas funções conduz ao sucesso da análise de dados.
Lago de dados vs. Armazém de dados
O termo "lago de dados" é apenas marketing? Ou um novo nome para um armazém de dados? Phil Simon clarifica a situação sobre lago de dados versus armazém de dados, explicando o que é, como funciona, e quando poderá precisar de um.
Big data e cloud
Projetos de big data exigem recursos intensivos para processamento de dados e armazenamento. Trabalhando em conjunto, tecnologias de big data e informática na cloud fornecem uma forma de custo acessível para lidar com todos os tipos de dados – para uma combinação vencedora em agilidade e elasticidade.
Deep learning anseia por big data porque big data é necessário para isolar padrões escondidos e para encontrar respostas sem sobreajuste de dados. Com deep learning, quanto mais dados de boa qualidade tiver, melhores serão os resultados. Wayne Thompson SAS Research & Development
Inovação baseada em dados
Os atuais exabytes de big data colocam à disposição inúmeras oportunidades para captar conhecimentos que estimulam a inovação. Desde previsões mais rigorosas a eficiência operacional aumentada e melhor experiência do cliente, o uso sofisticado de big data e análise impulsiona avanços que podem mudar o nosso mundo – melhorando vidas, curando doenças, protegendo os vulneráveis e conservando recursos.
Como funciona o Big Data
Antes das empresas poderem utilizar o big data para trabalhar para si, devem considerar a sua fluência numa diversidade de localizações, sistema de origem, proprietários e utilizadores. Existem cinco passos chave para dominar esta "estrutura de big data" que inclui dados tradicionais e estruturados, bem como, dados não estruturados e semiestruturados:
- Definir uma estratégia de big data.
- Identificar fontes de big data.
- Acesso, gestão e armazenamento dos dados.
- Analisar os dados.
- Tomar decisões inteligentes e baseadas em dados.
1) Defina uma estratégia de big data
Num nível elevado, uma estratégia de big data é um plano concebido para ajudá-lo a supervisionar e melhorar a forma como adquire, armazena, gere, partilha, e usa dados dentro e fora da sua organização. Uma estratégia de big data prepara o terreno para o negócio ser bem sucedido no meio de uma abundância de dados. Quando estiver a desenvolver uma estratégia, é importante considerar existentes – e futuros – objetivos e iniciativas de negócio e tecnologia. Isto requer que faça o tratamento de big data como qualquer outro ativo valioso empresarial, mais do que apenas um subproduto de aplicações.
Clique no infográfico para aprender mais sobre big data.
2) Identifique fontes de big data
- Dados em Streaming provêm da Internet das Coisas (IoT) e de outros dispositivos ligados que fluem para os sistemas informáticos a partir de wearables de sistemas de IT, carros inteligentes, dispositivos médicos, equipamento industrial e muito mais. Pode analisar estes big data quando chegam, decidindo que dados manter ou não manter, e quais os que precisam de análise mais aprofundada.
- Dados de Redes Sociais que derivam de interações no Facebook, Youtube, Instagram, etc. Isto inclui vastas quantidades de big data na forma de imagens, videos, voz, texto e som – úteis para marketing, vendas e funções de suporte. Estes dados estão frequentemente em formas não estruturadas ou semiestruturadas, e representam assim um desafio único para consumo e análise.
- Dados publicamente disponíveis provêm de quantidades massivas de origem de dados abertas, como o governo dos US data.gov, o CIA World Factbook, ou o Portal Aberto de Dados da União Europeia.
- Outros big data podem vir de data lakes, origem de dados na cloud, fornecedores e clientes.
3) Aceder, gerir e armazenar big data
Sistemas de computação moderna fornecem a velocidade, capacidade e flexibilidade necessárias para rapidamente aceder a quantidades e tipos massivos de big data. Além de acesso de confiança, as empresas também precisam de métodos para integrar os dados, construir canais de dados, assegurar a qualidade, fornecer governação e armazenamento e preparar os dados para análise. Alguns big data podem ser armazenados localmente num tradicional data warehouse – mas também existem opções flexíveis e de baixo custo para armazenar e lidar com big data através de soluções em cloud, data lakes, canais de dados e Hadoop.
4) Analise os dados
Com tecnologias de alto desempenho como computação em grelha ou análise em memória, as organizações podem escolher usar todos os seus big data para análises. Outra abordagem é determinar antecipadamente que dados são relevantes antes de os analisar. Seja como for, a grande análise de dados é a forma como as empresas ganham valor e conhecimentos a partir dos dados. Cada vez mais, os big data alimentam os esforços de análise de hoje em dia, tais como inteligência artificial (IA) e machine learning.
5) Tomar decisões inteligentes e baseadas em dados.
Dados bem geridos e de confiança conduzem a análises e decisões de confiança. Para se manterem competitivas, as empresas precisam de aproveitar todo o valor dos grandes dados e operar de forma orientada pelos dados - tomando decisões com base nas provas apresentadas pelos grandes dados e não pelo instinto. Os benefícios de agir baseado em dados são claros. Organizações orientadas por dados têm melhor desempenho, são operacionalmente mais previsíveis e são mais lucrativas.
SAS® Information Governance
Independentemente da fonte, do local onde os dados são armazenados, ou do seu tamanho e complexidade, o SAS Information Governance torna mais rápido e fácil para os utilizadores de dados encontrar, catalogar e proteger os grandes dados que são mais valiosos para análise. Resultados de pesquisa baseados em metadata mostram informação detalhada sobre cada recurso de dados. Por outro lado, utilizadores empresariais podem avaliar a adequação de dados para o propósito com menor dependência de IT, evitando também a reformulação, e fazendo escolhas mais informadas.
Leitura recomendada
-
Article
Data lake and data warehouse – know the differenceData lake – is it just marketing hype or a new name for a data warehouse? Find out what a data lake is, how it works and when you might need one.
-
Article
Modernize your approach to big dataModernization is not just about systems and technology. In fact, technology changes can seem easy when compared with cultural change. Learn how to evolve your mind sets and leverage your data sets to accelerate knowledge throughout the organization.
-
Article
Big data, big value … huge opportunityThe Centre for Economics and Business Research conducted two studies into the value of big data – perhaps the only studies of their kind to date. The study reveals how to get the most of your data in the future.
