Definition

MapReduce

Diese Definition ist Teil unseres Essential Guides: Big data tutorial: Everything you need to know

MapReduce ist ein Framework, mit dem sich Software zur Verarbeitung großer Mengen unstrukturierter Daten (Big Data) entwickeln lässt, die entweder parallel auf einem Rechner-Cluster oder auf einzelnen Computern läuft. MapReduce wurde von Google entwickelt, um Websites zu indexieren und hat die ursprünglichen Indizierungs-Algorithmen und -Heuristiken im Jahre 2004 ersetzt.

Das Framework ist in zwei Teile geteilt:

  • Map: Eine Funktion, die Aufgaben an diverse Nodes im Cluster verteilt;
  • Reduce: Eine Funktion, die die Aufgaben sortiert und die Resultate in einen einzigen Wert umwandelt.

Das MapReduce-Framework ist fehlertolerant, da von jedem Node im Cluster erwartet wird, dass er sich periodisch meldet, die abgeschlossene Aufgabe einreicht und eine Statusmeldung gibt. Sollte sich ein Knoten länger als erwartet nicht melden, speichert der Master Node dies und verteilt die Aufgaben auf andere Nodes.

MapReduce erlaubt Entwicklern die Nutzung der MapReduce-Routinen, um parallele Programme zu erstellen, ohne dass diese sich um die Programmierung der Cluster-Kommunikation, des Aufgaben-Monitorings oder der Fehlerbehandlung kümmern müssen. Das ist besonders interessant für Aufgaben wie Data Mining, Log-Datei-Analysen, Finanzanalysen und wissenschaftliche Simulationen. Es gibt verschiedene Implementierungen von MapReduce für eine Reihe Programmiersprachen - inklusive Java, C++, Python, Perl, Ruby und C.

Diese Definition wurde zuletzt im März 2014 aktualisiert

Pro+

Premium-Inhalte

Weitere Pro+ Premium-Inhalte und andere Mitglieder-Angebote, finden Sie hier.

0 Kommentare

Älteste Beiträge 

Passwort vergessen?

Kein Problem! Tragen Sie Ihre E-Mail-Adresse unten ein. Wir werden Ihnen eine E-Mail mit Ihrem Passwort schicken.

Ihr Passwort wurde an die folgende E-Mail-Adresse gesendet::

- GOOGLE-ANZEIGEN

File Extensions and File Formats

Powered by:

SearchSecurity.de

SearchStorage.de

SearchNetworking.de

SearchDataCenter.de

Close