Definition

Amazon Web Services Data Pipeline (AWS Data Pipeline)

AWS Data Pipeline ist ein Webservice, der Daten zwischen Compute- und Storage-Services automatisch verschieben und verarbeiten kann. Data Pipeline ermöglicht es insbesondere, Daten zwischen AWS-Datenverarbeitungs- und -Speicherservices sowie lokalen Datenquellen in angegebenen Intervallen zu bewegen.

AWS Data Pipeline zielt besonders auf Kunden, die ihre wachsenden Datenmengen einfacher handhabbar machen möchten – insbesondere dann, wenn diese auf unterschiedliche Systeme verteilt sind. Besonders nützlich ist der Service für jene Kunden, die ihre Daten über viele AWS-Dienste verteilt haben und sie alle an einem einzigen Ort nutzen möchten, zum Beispiel für die Konfiguration und das Management. So kann der Dienst zum Beispiel Logfiles von Amazon-EC2-Servern einsammeln und in Amazon S3 speichern.

Während der Service besonders für Workflows angepasst ist, die bereits für AWS optimiert sind, kann Data Pipeline auch mit den proprietären Datenquellen im Haus des Kunden verknüpft werden, ebenso wie mit Datenquellen von Drittanbietern.

Die Automatisierung der Prozesse erfolgt in der Regel über Templates. Über ein Data Pipeline Template können Kunden auf Informationen aus einer Datenquelle zugreifen, diese verarbeiten und dann das Ergebnis automatisch auf ein anderes System oder einen Service übertragen. Dabei wird festgelegt, welche Daten von welchen Systemen wann und unter welchen Bedingungen geholt werden sollen, wie diese zu verarbeiten sind und wo die Ergebnisse landen sollen. Die Pipelines werden entsprechend den eingestellten Zeitplänen ausgeführt, zum Beispiel stündlich, täglich oder einmal in der Woche, vorausgesetzt, die definierten Bedingungen sind erfüllt.

Zum Beispiel kann ein Data Scientist der Data Pipeline einen Job zuweisen, so dass diese stündlich auf die Protokolldaten aus dem Storage-Service zugreift und diese dann für eine spätere Analyse an eine relationale Datenbank überträgt.

Entwickler können auf die Data Pipeline über die AWS Management Console zugreifen, die Befehlszeilenschnittstelle oder die Service-APIs. Die Preise sind abhängig von der Nutzung und können bei wenig Aktivitäten auch kostenlos sein.

Diese Definition wurde zuletzt im März 2017 aktualisiert

Erfahren Sie mehr über Big Data

Pro+

Premium-Inhalte

Weitere Pro+ Premium-Inhalte und andere Mitglieder-Angebote, finden Sie hier.

Diskussion starten

Schicken Sie mir eine Nachricht bei Kommentaren anderer Mitglieder.

Mit dem Absenden dieser Daten erklären Sie sich bereit, E-Mails von TechTarget und seinen Partnern zu erhalten. Wenn Ihr Wohnsitz außerhalb der Vereinigten Staaten ist, geben Sie uns hiermit Ihre Erlaubnis, Ihre persönlichen Daten zu übertragen und in den Vereinigten Staaten zu verarbeiten. Datenschutz

Bitte erstellen Sie einen Usernamen, um einen Kommentar abzugeben.

- GOOGLE-ANZEIGEN

File Extensions and File Formats

Powered by:

SearchSecurity.de

SearchStorage.de

SearchNetworking.de

SearchDataCenter.de

Close