Data Management
Présentation et atouts
Le Data Management (ou gestion des données en français) est la pratique consistant à traiter les données comme une ressource de valeur afin d'en libérer le potentiel au sein d'une organisation. Pour gérer efficacement les données, il faut disposer d'une stratégie de données (Data Strategy) et de méthodes fiables pour accéder aux données, les intégrer, les nettoyer, les gouverner, les stocker et les préparer pour l'analyse. Dans notre monde numérique, des données provenant de nombreuses sources affluent dans les entreprises : systèmes opérationnels et transactionnels, scanners, capteurs, dispositifs intelligents, réseaux sociaux, vidéos et textes. Mais la valeur des données ne dépend pas de leur source, de leur qualité ou de leur format. Leur valeur dépend de ce que vous en faites.
Histoire du Data Management (ou gestion des données)
Certaines sources avancent que le besoin de data management (ou gestion des données) est apparu dans les années 1890 avec les cartes perforées mécaniques qui enregistraient des informations (données) sur une carte épaisse. Mais le concept de data management (ou gestion des données) n’est devenu courant que dans les années 1960, lorsque l’Association of Data Processing Service Organizations (ADPSO) a commencé à fournir des conseils en matière de gestion des données aux professionnels.
Les systèmes de data management (ou gestion des données) tels que nous les connaissons aujourd’hui n’étaient pas courants avant les années 1970. Ces systèmes étaient strictement opérationnels. Ils fournissaient des enregistrements (rapports) des opérations commerciales à un moment donné qui provenaient d’une base de données relationnelle stockant les informations en lignes et en colonnes (généralement un entrepôt de données).
- Traitement par lots et extraction, transformation et chargement (ETL).
- Langage d’interrogation structuré (SQL) et systèmes de gestion de bases de données relationnelles (SGBDR).
- Bases de données non relationnelles et non exclusivement SQL (NoSQL).
- Data Warehouses (entrepôts de données), Data Lakes (lacs de données ) et Data Fabrics (tissu de données).
- Fédération et virtualisation des données
- Data Catalogs (catalogues de données), gestion des metadata (métadonnées) et Data lineage (lignage des données).
- Cloud computing et event stream processing (Data Streaming : transmission de données en continu).
Des données solides pour la réussite des étudiants et de l’université
Comme beaucoup d’autres universités, l’University of North Texas (UNT) était riche en données mais pauvre en idées. Elle avait des problèmes de fond en matière d’intégrité, de data Management (gestion des données) et de gouvernance des données (data Governance), et les données étant cloisonnées dans des silos, l’analytique au niveau de l’entreprise était difficile. Découvrez comment le déploiement de SAS® Data Management a entraîné un changement radical des capacités d’analytique à l’université, avec à la clé de meilleurs résultats pour les étudiants et des économies considérables.
En savoir plus sur les secteurs qui utilisent cette technologie
- Agriculture
- Banque
- Marchés des capitaux
- Enseignement
- Santé
- Hôtels
- Assurance
- Sciences de la vie
- Manufacturing
- Secteur public
- Retail & Biens de consommation
- Petites et Moyennes entreprises
- Analytique dans le sport
- Voyage & Transport
- Télécommunications, médias & Technologie
- Transport & Énergie
Nous surestimons l’aspect robotique de l’intelligence artificielle (IA). Ce sont plutôt les données qui importent. Il s’agit plutôt des entrées sensorielles et de la prise de décisions sur la base de ces entrées, de la même manière que les gens prennent des décisions. Tout est question de modèles, de tendances et d’anomalies dans les données. Kirk Borne Principal Data Scientist and Executive Adviser Booz Allen Hamilton
Data Management (gestion des données) : La formule de la réussite de l’analytique
Le Data Management (gestion des données) est un élément essentiel de tout projet analytique réussi. Découvrez pourquoi aucune entreprise ne devrait fonctionner sans données bien intégrées et de haute qualité.
Comment fonctionne le Data Management
Depuis que les entreprises recueillent des données, elles doivent les gérer pour éviter le problème du « garbage in, garbage out » (à données inexactes, résultats erronés) Avec l’explosion des volumes, des types et des sources de données, la nécessité de traiter les données en temps réel s’accroît, et l’urgence de bien gérer les données reste une priorité absolue pour la réussite des entreprises. Découvrez quelques-unes des principales technologies de Data Management.
Data Access (Accès aux données)
Le Data Access (l’accès aux données) signifie la capacité d’accéder (ou de récupérer) des informations à partir de n’importe quelle source, où qu’elles soient stockées. Certaines technologies, telles que les lecteurs de bases de données et les convertisseurs de documents, contribuent à rendre cette tâche plus simple et plus efficace.
Pourquoi est-ce important ?
Les données cruciales sont stockées à de nombreux endroits : fichiers texte, bases de données, e-mails, data lakes (lacs de données), pages web et flux de médias sociaux. Une bonne technologie d’accès vous aide à extraire des données utiles sur n’importe quel type de mécanisme de stockage de données ou de format disponible, afin que vous puissiez passer plus de temps à utiliser les données - et non à essayer de les trouver.
Data Integration (Intégration des données)
La Data Integration (DI - Intégration des données) est un processus qui combine différents types de données pour présenter des résultats unifiés. Les outils d’intégration des données vous permettent de concevoir et d’automatiser les étapes de ce travail. ETL (extraction, transformation et chargement ) et ELT (extraction, chargement et transformation) sont des exemples d’outils d’intégration des données (DI).
Pourquoi est-ce important ?
L’intégration des données crée des combinaisons mixtes de données qui peuvent servir à la prise de décisions. Parce qu’elles combinent des éléments de plusieurs ensembles de données individuels, les données intégrées peuvent révéler de nouvelles perspectives et vous aider à répondre à différentes questions.
Data Quality (Qualité des données)
L’assurance de la Data Quality (qualité des données) est l’activité qui consiste à veiller à l’exactitude et à l’utilisation des données aux fins prévues. Ce processus débute dès la consultation des données et se poursuit à divers points d’intégration avec d’autres données, y compris juste avant leur publication ou leur communication.
Pourquoi est-ce important ?
Des Data Quality (données de qualité) médiocres peuvent provoquer des erreurs coûteuses. Les données périmées, peu fiables, incomplètes ou inadaptées à l’usage auquel elles sont destinées ne seront pas fiables et provoqueront des problèmes à l’échelle de l’entreprise. Une solution de qualité des données en mesure de normaliser, d’analyser et de vérifier de manière automatisée et cohérente réduit ces risques.
Data Governance (Gouvernance des données)
La Data Governance (gouvernance des données) est un ensemble de personnes, de règles, de processus et de technologies qui définissent la manière dont vous gérez les données de votre entreprise. Grâce à un logiciel de (data Governance) gouvernance des données, vous pouvez définir les règles d’application de vos politiques, ce qui vous aide à aligner vos données et vos stratégies commerciales.
Pourquoi est-ce important ?
La gouvernance est généralement motivée par la nécessité de se conformer aux réglementations (par ex. CECL ou RGPD). Grâce aux politiques de gouvernance, vous pouvez définir à quelles données les utilisateurs peuvent accéder, qui peut modifier (par opposition à consulter) les données et comment traiter les exceptions. Les outils de gouvernance des données vous aident à contrôler et à gérer les règles, à retracer la façon dont elles sont traitées et à fournir des rapports pour les audits.
Glossaires professionnels, hiérarchie et métadonnées
Utilisez un glossaire professionnel pour établir les définitions, les propriétaires des données, intégrer les flux de travail, signaler les problèmes, visualiser la hiérarchie et les relations. La hiérarchie des données retrace le parcours des données de leur origine à leur emplacement actuel en suivant les principaux détails techniques, commerciaux et métadonnées (données sur les données).
Pourquoi est-ce important ?
Ensemble, ces outils contribuent à promouvoir la collaboration et à aligner l’entreprise et l’IT. Lorsqu’on vous signale la possibilité de problèmes, vous pouvez y remédier rapidement avant qu’ils ne causent des problèmes plus importants. Ces outils vous permettent également d’explorer les relations entre les données et de réaliser des analyses d’impact.
Data Preparation (Préparation des données)
La Data Preparation (préparation des données) signifie préparer les données à des fins analytiques. Elle implique la combinaison de données provenant de diverses sources, puis leur nettoyage et leur transformation. Si elle est effectuée sur une interface en libre-service, les utilisateurs professionnels peuvent accéder aux données dont ils ont besoin et les manipuler avec un minimum de formation, et sans demander l’aide du service informatique.
Pourquoi est-ce important ?
Les bons modèles dépendent d’une bonne préparation des données. Toutefois, cette tâche prend du temps. Les bons outils de Data Preparation (préparation des données) présentent des données impeccables et ajoutent de la valeur. Ainsi, les professionnels de la data peuvent rapidement accéder aux données, les nettoyer, les transformer et les structurer pour tout objectif analytique. Résultat : une productivité accrue, de meilleures décisions et une plus grande agilité.
Augmented Data Management (Gestion des données améliorée)
Cette démarche fait appel à des techniques d’intelligence artificielle (IA) ou de Machine Learning (apprentissage machine) pour rendre auto-configurables et auto-adaptables les processus de qualité des données, de gestion des métadonnées et d’intégration des données. Par exemple, SAS peut :
Générer une liste de suggestions permettant d’améliorer les données. Les actions entreprises au fil du temps continueront à améliorer les résultats.
Profiler les données et trouver automatiquement des informations personnelles, qui peuvent être signalées pour influencer le comportement, par exemple, autoriser uniquement certains utilisateurs à accéder aux données personnelles dans un tableau.
Suggérer des transformations de données, puis suggérer progressivement des améliorations en utilisant le machine learning (l’apprentissage machine). Ces suggestions sont faites par le biais d’un moteur de découverte qui analyse les données et les métadonnées.
Fournir des recommandations aux utilisateurs et suggérer les meilleures actions suivantes pendant le processus de préparation des données.
En savoir plus sur le fonctionnement actuel du data management (gestion des données)
- Le Data Management pour l’intelligence artificielle (IA) et le machine learning (ML). De nombreux processus d’entreprise reposent sur l’IA, qui est la science dont le but est de former des systèmes à imiter les tâches humaines par l’apprentissage et l’automatisation. Par exemple, les techniques d’IA et de ML sont souvent utilisées pour prendre des décisions de prêt et de crédit, établir des diagnostics médicaux et proposer des offres de vente au détail. Avec l’IA et le ML, il est plus important que jamais de disposer de données bien gérées, compréhensibles et fiables, car si des données erronées alimentent des algorithmes qui s’adaptent en fonction de ce qu’ils apprennent, les erreurs peuvent se multiplier rapidement.
- Le Data Management (gestion des données) pour l’Internet des objets (IoT). Les données qui affluent des capteurs intégrés dans les appareils IoT sont souvent appelées Data streaming (données en continu). Le traitement des Data streaming, ou event stream processing (traitement des flux d’événements), consiste à analyser les données en temps réel à la volée. Cette analyse se fait en appliquant une logique aux données, en reconnaissant des modèles dans les données et en les filtrant en vue de multiples utilisations à mesure qu’elles arrivent dans une organisation. La détection des fraudes, la surveillance des réseaux, le commerce électronique et la gestion des risques sont des applications populaires de ces techniques.
- Bidirectional metadata management (Gestion bidirectionnelle des métadonnées). La gestion bidirectionnelle des métadonnées permet de mettre en commun et de connecter les métadonnées entre différents systèmes. SAS, par exemple, s'est engagé à faire partie de la communauté des métadonnées ouvertes en participant au projet OPDi Egeria, qui souligne la nécessité de normes de métadonnées pour promouvoir un échange de données responsable dans des environnements technologiques variés.
- Data fabric et semantic layer (Tissu des données et couche sémantique). Le terme « data fabric » (tissu de données) décrit le tableau diversifié des données d’une entreprise, dans lequel de vastes quantités et types de données sont gérés, traités, stockés et analysés en faisant appel à diverses méthodes. Le Semantic layer (couche sémantique) joue un rôle important dans le tissu de données. À l’instar d’un glossaire professionnel, la couche sémantique permet de relier les données à des termes commerciaux communément définis et utilisés à l’échelle de l’entreprise.
- Data Management (gestion des données) et open source. L’open source désigne un programme ou une infrastructure informatique dont le code source est publiquement disponible pour être utilisé et modifié par une communauté d’utilisateurs. L’utilisation de l’open source contribue à accélérer les efforts de développement et à réduire les coûts. Et les professionnels des données peuvent exceller s'ils peuvent travailler dans le langage de programmation et l'environnement de leur choix. leur choix.
- Data federation/virtualization (Fédération et virtualisation des données). La Data federation (fédération de données) est un type particulier d’intégration virtuelle des données qui vous permet de consulter des données combinées provenant de plusieurs sources sans avoir à déplacer et à stocker la représentation combinée dans un nouvel emplacement. Ainsi, vous pouvez accéder aux données combinées au moment précis où vous le demandez. Contrairement aux outils ETL et ELT qui présentent un instantané à un moment donné, la fédération de données génère des résultats basés sur l’aspect des sources de données au moment de la demande. Vous obtenez ainsi une représentation plus rapide et potentiellement plus précise des informations.
Solutions de Data Management
Des données fiables pour des analyses fiables : une condition essentielle à la réussite de toute entreprise. Et la fiabilité des données commence par une stratégie de data management solide, soutenue par une technologie de data management éprouvée. SAS data management comprend toutes les fonctionnalités dont vous avez besoin pour accéder à vos données, les intégrer, les nettoyer, les gouverner et les préparer à des fins analytiques, y compris l’analytique avancée comme l’intelligence artificielle (IA) et le machine learning (apprentissage machine). Toutes ces capacités font partie de la plateforme SAS. Apprenez à transformer vos programmes analytiques en opportunités.
Lecture recommandée
-
ARTICLE
5 data management best practices to help you do data rightFollow these 5 data management best practices to make sure your business data gives you great results from analytics.
-
ARTICLE
Data lineage: Making artificial intelligence smarterLear how data lineage plays a vital role in understanding data, making it a foundational principle of AI.
-
ARTICLE
Data integration: It ain't what it used to beOnce limited in scope, data integration now supports analytics and data-driven operational processes like real-time insurance claims processing and IoT apps.