Big Data
Was es ist und was man darüber wissen sollte
Der Begriff „Big Data“ bezeichnet die große Menge an strukturierten und unstrukturierten Daten, die Unternehmen Tag für Tag überschwemmen. Nicht die Daten selbst sind so wichtig. Was zählt, ist das, was Unternehmen mit den Daten machen. Große Datenmengen können analysiert werden, um Erkenntnisse zu gewinnen und auf deren Grundlage bessere Entscheidungen zu treffen und das Unternehmen strategisch auszurichten.
Die Geschichte von Big Data
Der Begriff „Big Data“ bezieht sich auf Datenbestände, die so groß, schnelllebig oder komplex sind, dass sie sich mit herkömmlichen Methoden nicht oder nur schwer verarbeiten lassen. Das Speichern großer Datenmengen oder der Zugriff darauf zu Analysezwecken ist nichts Neues. Aber erst in den frühen 2000er Jahren gewann der Begriff an Bedeutung, als der Branchenanalytiker Doug Laney die heute anerkannte Definition von Big Data in seinem 3-V-Modell formulierte:
Volume (Masse): Unternehmen sammeln Daten aus einer Vielzahl von Quellen wie geschäftlichen Transaktionen, intelligenten Geräten (IoT), Industrieanlagen, Videos, Social Media und anderem mehr. Früher wäre die Speicherung dieser Daten ein Problem gewesen – heute jedoch ist dies dank kostengünstigerer Speicherplattformen wie Data Lakes und Hadoop viel einfacher.
Velocity (Geschwindigkeit): Seit dem Siegeszug des IoT (Internet of Things) treffen Datenströme in nie da gewesener Geschwindigkeit in Unternehmen ein und müssen zeitnah verarbeitet werden. RFID-Tags, Sensoren und Smart Metering sorgen dafür, dass riesige Datenmengen nahezu in Echtzeit bewältigt werden müssen.
Variety (Vielfalt): Daten fallen in unterschiedlichsten Formaten an – von strukturierten, numerischen Daten aus herkömmlichen Datenbanken bis hin zu unstrukturierten Textdokumenten, E-Mails, Videos, Audioquellen, Börsenticker- und Finanztransaktionsdaten.
Bei SAS berücksichtigen wir zwei weitere Dimensionen, wenn wir über Big Data nachdenken:
Variability (Variabilität):
Zusätzlich zur wachsenden Geschwindigkeit und Vielfalt der Daten ist der Datenfluss als solcher unvorhersehbar, geprägt von stetigen Fluktuationen und großer Varianz. Das ist eine Herausforderung. Dennoch müssen Unternehmen informiert sein, wenn sich in den Social Media neue Trends abzeichnen, und sie müssen in der Lage sein, die täglichen, saisonalen oder durch bestimmte Ereignisse ausgelösten Spitzen in der Datenlast zu bewältigen.
Veracity (Richtigkeit):
Richtigkeit bezieht sich auf die Datenqualität. Daten stammen heute aus unterschiedlichsten Quellen und das macht es schwierig, sie systemübergreifend zu verknüpfen, abzugleichen, zu bereinigen und zu übertragen. Unternehmen müssen jedoch in der Lage sein, ihre Daten zu verbinden, zu korrelieren und Beziehungen, Hierarchien und vielfache Verknüpfungen darunter herzustellen. Andernfalls könnten ihre Datenbestände rasch außer Kontrolle geraten.
Optimierte Produktion durch Big Data Analytics
Bei der USG Corporation ist Big Data in Verbindung mit Predictive Analytics der Schlüssel zu einem umfassenden Verständnis der Produktherstellung und Produktfunktion. Fertigungsunternehmen wie USG stehen im harten globalen Wettbewerb und sind sich darüber im Klaren, wie wichtig es ist, hochwertige Produkte zu einem erschwinglichen Preis zu produzieren. Dank der SAS Plattform gehört das Herumprobieren bei USG jetzt der Vergangenheit an und das Unternehmen konnte die Investitionen in seine Fertigung optimieren. Das Ergebnis: verbesserte Produktqualität und schnellere Markteinführung.
Warum ist Big Data so wichtig?
Bei Big Data geht es nicht darum, wie viele Daten Sie haben, sondern darum, was Sie damit machen. Sie können Daten aus beliebigen Quellen erfassen und analysieren und auf diese Weise Antworten finden, die es Ihnen ermöglichen, 1. Kosten zu senken, 2. Zeit zu sparen, 3. neue Produkte und optimierte Angebote zu entwickeln und 4. klügere geschäftliche Entscheidungen zu treffen. Wenn Sie Big Data mit leistungsstarker Analytics kombinieren, können Sie geschäftsbezogene Aufgaben wie die folgenden bewältigen:
- Feststellen der Ursachen für Fehlfunktionen, Probleme und Defekte nahezu in Echtzeit
- Erstellen von Einzelhandelsgutscheinen auf Basis der Kaufgewohnheiten der Kunden direkt am Point of Sale
- Neuberechnung ganzer Risikoportfolios in Minuten
- Erkennen von betrügerischem Verhalten, bevor es sich auf Ihr Unternehmen auswirkt
Big Data heute
Big Data – und die Art und Weise, wie Unternehmen damit umgehen und daraus Erkenntnisse ableiten – verändert weltweit die Nutzung geschäftlicher Informationen. Erfahren Sie mehr über die Auswirkungen von Big Data.
Data Integration Deja Vu: Big Data sorgt für frischen Wind bei DI
Datenintegration ist nach wie vor relevant, sofern sie mit unterschiedlichen Latenzen – von Echtzeit bis hin zum Streaming – und für viele verschiedene Datentypen und Datenquellen eingesetzt werden kann. Erfahren Sie, wie die Datenintegration weiterentwickelt wurde, um den heutigen Anforderungen gerecht zu werden.
Aufbau einer Daten- und Analytics-Strategie
Sie möchten wissen, wie Sie eine Analytics-Organisation von Weltklasse aufbauen können? Sorgen Sie dafür, dass die Daten zuverlässig sind. Schaffen Sie in allen Geschäftsbereichen die Voraussetzungen für datengestützte Entscheidungen. Treiben Sie diese Strategie voran. Und achten Sie darauf, jedes Quäntchen Wert aus Big Data herauszuholen.
Data lake and data warehouse – know the difference
Ist der Begriff „Data Lake“ nur ein Marketinghype? Oder eine neue Bezeichnung für ein Data Warehouse? Phil Simon erklärt, was ein Data Lake ist, wie er funktioniert und wann Sie eventuell einen benötigen.
Ein neues Analytics-Ökosystem
Cloud, Container, On-demand-Rechenleistung – in einer Umfrage bei über 1.000 Organisationen hat SAS die Technologie-Akzeptanz untersucht und zeigt auf, wie man das eigene Analytics-Ökosystem mithilfe bestimmter Strategien erfolgreich weiterentwickeln kann.
Deep Learning braucht Big Data, denn nur mit Big Data lassen sich verborgene Muster herausarbeiten und Antworten finden, ohne die Daten übermäßig anzupassen. Beim Deep Learning gilt: je mehr Daten von guter Qualität, desto besser die Ergebnisse. Wayne Thompson SAS Product Manager
Datengetriebene Innovation
Die heutigen Exabyte großer Datenmengen eröffnen unzählige Möglichkeiten, Erkenntnisse zu gewinnen, die Innovationen vorantreiben. Von präziseren Prognosen bis hin zu erhöhter betrieblicher Effizienz und besseren Kundenerfahrungen - die ausgeklügelte Nutzung großer Datenmengen und Analysen treibt Fortschritte voran, die unsere Welt verändern können: Leben verbessern, Krankheiten heilen, die Schwächsten schützen und Ressourcen schonen.
Wie Big Data funktioniert
Bevor Unternehmen anfangen können, Big Data sinnvoll zu nutzen, sollten sie überlegen, wie die Datenflüsse zwischen den zahlreichen beteiligten Orten, Quellen, Systemen, Eigentümern und Nutzern verlaufen. In fünf Schritten kann man dieses umfangreiche „Datengewebe“, zusammengesetzt aus herkömmlichen, strukturierten Datenbeständen sowie un- bzw. halbstrukturierten Daten, in den Griff bekommen:
- Definition einer Big Data-Strategie
- Identifikation der Big Data-Quellen
- Datenzugriff, Datenmanagement, Datenspeicherung
- Big Data-Analysen
- Intelligente, datengestützte Entscheidungen
1) Definition einer Big Data-Strategie
Prinzipiell handelt es sich bei einer Big Data-Strategie um einen Plan mit dem Ziel, sich einen Überblick über die Art und Weise der Datenerfassung, Datenspeicherung, Datenverwaltung und (gemeinsamen) Datennutzung innerhalb und außerhalb der Organisation zu verschaffen und in allen diesen Bereichen Verbesserungen zu erzielen. Eine Big Data-Strategie schafft die Voraussetzungen für geschäftlichen Erfolg inmitten einer Überfülle an Daten. Bei der Entwicklung einer solchen Strategie gilt es, aktuelle – und künftige – geschäftliche und technologische Ziele und Initiativen zu berücksichtigen. Das heißt, man muss Big Data wie andere wertvolle geschäftliche Ressourcen behandeln – nicht wie ein bloßes Nebenprodukt von Anwendungen.
Klicken Sie auf die Infografik, um mehr über Big Data zu erfahren.
2) Identifikation der Big Data-Quellen
- Datenströme aus dem IoT (Internet of Things) und anderen vernetzten Datenquellen wie Wearables, intelligenten Fahrzeugen, medizinischen Geräten, Industrieanlagen usw. finden Eingang in IT-Systeme. Beim Eintreffen dieser Big Data gilt es, sie zu analysieren und zu entscheiden, welche Daten gespeichert bzw. verworfen und welche noch genauer analysiert werden müssen.
- Social Media-Daten stammen aus Interaktionen auf Facebook, YouTube, Instagram usw. Es handelt sich dabei um gewaltige Big Data-Mengen in Form von Bildern, Videos, Sprache, Text und Ton – und sie sind nützlich für Marketing, Vertrieb und Support. Häufig liegen diese Daten in un- oder halbstrukturierter Form vor, was sich bei der Nutzung und Analyse als besondere Herausforderung erweist.
- Öffentlich zugängliche Daten stammen aus offenen Datenquellen wie der Website data.gov der US-Regierung, dem CIA World Factbook oder dem Offenen Datenportal der EU und stehen in riesigen Mengen zur Verfügung.
- Sonstige Big Data stammen aus Data Lakes oder Datenquellen in Clouds bzw. von Lieferanten oder Kunden.
3) Datenzugriff, Datenmanagement, Datenspeicherung
Moderne Computersysteme bieten die nötige Schnelligkeit, Rechenleistung und Flexibilität, um rasch auf enorme Mengen und unterschiedlichste Arten von Big Data zuzugreifen. Neben verlässlichem Zugriff braucht ein Unternehmen auch Methoden zur Integration der Daten. Es muss die Datenqualität sicherstellen, für Data Governance und sachgerechte Speicherung sorgen und die Daten zur Analyse aufbereiten. Einige Daten lassen sich in der Regel in einem herkömmlichen On-premises Data Warehouse speichern – aber darüber hinaus gibt es flexible, kostengünstige Optionen zur Speicherung und Handhabung von Big Data in Cloud-Lösungen, Data Lakes und Hadoop.
4) Big Data-Analysen
Angesichts von Hochleistungstechnologien wie Grid-Computing oder In-Memory-Analytics haben Organisationen heute die Möglichkeit, ihre gesamten Big Data-Bestände zu analysieren. Eine andere Strategie besteht darin, im Voraus zu ermitteln, welche Daten relevant sind, und sie erst dann zu analysieren. In beiden Fällen erschließen sich Unternehmen durch Big Data-Analysen wertvolle Erkenntnisse aus ihren Daten. Zunehmend spielt Big Data auch eine Rolle in den fortschrittlichen Analytics-Anwendungen von heute wie zum Beispiel Artificial Intelligence.
5) Intelligente, datengestützte Entscheidungen
Kompetent gepflegte, vertrauenswürdige Daten führen zu vertrauenswürdigen Analysen und vertrauenswürdigen Entscheidungen. Um wettbewerbsfähig zu bleiben, müssen Unternehmen den Wert von Big Data in vollem Umfang nutzen und datengestützt agieren – Entscheidungen also evidenzbasiert anhand von Big Data statt instinktiv auf der Grundlage ihres Bauchgefühls treffen. Die Vorteile einer datengestützten Entscheidungsfindung liegen klar auf der Hand. Datengestützt agierende Organisationen erbringen bessere Leistungen und besser vorhersehbare operative Ergebnisse und wirtschaften rentabler.
SAS Data Preparation
Zur Aufbereitung von schnelllebigen, in stetem Wandel begriffenen Big Data zu Analytics-Zwecken muss zunächst auf die Daten zugegriffen werden. Danach stehen Datenprofilierung, Bereinigung und Transformation an. Aufgrund der Vielfalt von Big Data-Quellen sowie der unterschiedlichen Datenmengen und Geschwindigkeiten kann die Datenaufbereitung enorm viel Zeit kosten. SAS Data Preparation erleichtert Ihnen diese Aufgabe. Die Daten lassen sich ohne Programmierung, Spezialkenntnisse oder Einsatz der IT aufbereiten.
Literaturempfehlungen
-
Article
Machine learning, data science and AI meet IoTIn this video, Kirk Borne and Michele Null discuss the intersection of machine learning, AI and data science with IoT data and analytics.
-
Interview
Hadoop is the new boardroom buzzwordIn this Q&A, two Hadoop experts share what every executive needs to know.
-
Interview
Data visualization: A wise investment in your big data futureData visualization technologies can help the practice of data-driven decision making really take hold. But putting data visualization software in the hands of business users? Is it crazy – or crazy smart?
