Datenaufnahme

Was ist Datenaufnahme?

Die Datenaufnahme („Data Ingestion“) ist der Prozess, bei dem Daten von ihrer Quelle bzw. ihren Quellen gesammelt und in eine Zielumgebung übertragen werden, wo sie abgerufen, verwendet oder analysiert werden können. Zu den Datenquellen gehören unter anderem Data Lakes, IoT-Geräte, On-Premise- oder Cloud-Datenbanken und SaaS-Apps. Zu den Zielorten gehören häufig Cloud Data Warehouses, Cloud Data Lakes oder Data Marts.

Datenaufnahmetypen

Das Rückgrat jeder Analysearchitektur ist die Datenaufnahmeebene. Es gibt verschiedene Arten von Datenaufnahmen, und das Design einer bestimmten Datenaufnahme-Ebene kann auf verschiedenen Modellen oder Architekturen basieren.

Batch-basierte Datenaufnahme

Die Batch- (oder stapel-)basierte Datenaufnahme ist die häufigste Art der Datenaufnahme. Dabei handelt es sich um den Prozess der stapelweisen Erfassung und Übertragung von Daten an ein Zielsystem, in der Regel nach Zeitplänen, Trigger-Ereignissen oder -Bedingungen oder einer anderen logischen Ordnung. Unternehmen nutzen die Batch-basierte Erfassung, wenn sie regelmäßig bestimmte Datenpunkte erfassen oder Ad-hoc-Abfragen durchführen müssen, aber keine Echtzeitdaten für die Entscheidungsfindung benötigen.

Echtzeit-Datenaufnahme

Bei der Echtzeit-Datenaufnahme werden Daten erfasst, bearbeitet und geladen, sobald sie erstellt oder von der Datenaufnahme-Ebene erkannt werden. Unternehmen nutzen die Echtzeit-Datenaufnahme für zeitkritische Anwendungsfälle, bei denen kontinuierlich aktualisierte Daten entscheidend sind, wie z. B. Börsenhandel oder Stromnetzüberwachung.

Lambda-Architektur-basierte Datenaufnahme

Die auf der Lambda-Architektur basierende Datenaufnahme kombiniert Batch- und Echtzeit-Datenaufnahme. Sie besteht aus Batch-, Serving- und Geschwindigkeitsebenen. Die ersten beiden Ebenen indizieren Daten in Batches, während die Geschwindigkeitsebene sofort Daten indiziert, die noch von langsameren Batch- und Serving-Ebenen erfasst werden müssen. Diese kontinuierliche Übergabe zwischen verschiedenen Ebenen stellt sicher, dass die Daten für Abfragen mit geringer Latenz zur Verfügung stehen.

Warum ist Datenaufnahme wichtig?

Die Datenaufnahme ist wichtig, da sie Unternehmen dabei hilft, das ständig wachsende Volumen, die Vielfalt und die Komplexität von Daten zu verstehen. Daten müssen aufgenommen werden, bevor sie von Data Analysts, Geschäftsbereichsleiter:innen, Entscheider:innen, Anwendungen oder Machine-Learning-Modellen verarbeitet werden können. Um bessere und fundiertere Entscheidungen treffen zu können, benötigen Unternehmen für Analysen und Business Intelligence (BI) Zugriff auf alle ihre Datenquellen. Nachgeschaltete Berichts- und Analysesysteme sind auf konsistente und zugängliche Daten angewiesen, und die Datenaufnahme macht dies möglich.

Die automatisierte Datenaufnahme kann Unternehmen dabei helfen, effizienter zu arbeiten. Durch die Automatisierung dieses Prozesses können Unternehmen mühsame, manuelle Aufgaben eliminieren, was Zeit und Geld spart und es ermöglicht, begrenzte technische Ressourcen für andere, höherwertige Aufgaben einzusetzen. Data Engineers können die automatisierte Datenaufnahme-Technologie nutzen, um sicherzustellen, dass ihre Apps und Software-Tools Daten schnell übertragen und den Anwender:innen ein erstklassiges Benutzererlebnis bieten.

Wie ermöglicht Alteryx die Datenaufnahme?

Alteryx optimiert die Datenaufnahme und schafft eine flexible Umgebung, die nahtlos in End-to-End-Analyse-Workflows funktioniert und vollständig in moderne Toolketten integriert werden kann. Unternehmen nutzen Alteryx, um den Prozess der Aufnahme, Umwandlung und Bereitstellung von Daten von der Quelle zum Ziel zu automatisieren und so mühsame, arbeitsintensive manuelle Datenaufnahme-Workflows zu vermeiden.

Diese intelligente, kollaborative Self-Service Cloud-Plattform für Data Engineering unterstützt die Datenaufnahme, indem sie Folgendes erleichtert:

• Verbindung zu Daten aus beliebigen Quellen. Designer Cloud bietet universelle Datenkonnektivität zu einer Vielzahl von Datenquellen. Dadurch wird es schneller und einfacher, eine Verbindung zu beliebigen Daten herzustellen und diese aufzunehmen. Mit einer Self-Service-Architektur bietet Alteryx flexiblen und nahtlosen Zugriff auf Daten und unterstützt die Konnektivität zu Cloud-Speicher, Cloud Data Warehouses und Dateien.
• Rohdaten unternehmensweit in einsatzbereite Daten umwandeln. Designer Cloud macht Daten für Benutzer:innen aller Wissensstufen nützlich und verständlich, unabhängig von Quelle, Ziel oder Verwendung. Mithilfe der visuellen Benutzeroberfläche von Designer Cloud können Unternehmen prädiktive Datenumwandlungstechniken nutzen, um komplexe Datenmuster zu erkennen und aufzulösen und diese Muster in nutzbare Daten für Analysen und Anwendungen umzuwandeln.
• Daten-Pipelines in wenigen Minuten bereitstellen und automatisieren. Designer Cloud vereinfacht die Bereitstellung und Automatisierung der Daten-Pipeline von der Quelle bis zum Ziel, sodass Benutzer:innen ihre Daten-Workflows in großem Umfang planen und automatisieren können.