Definition

Hadoop Distributed File System (HDFS)

Diese Definition ist Teil unseres Essential Guides: Big Data: Anwendung, Datenschutz und Technologie

Das Hadoop Distributed File System (HDFS) ist ein verteiltes Dateisystem, das über ein Hadoop-Cluster den High-Performance-Zugriff auf Daten ermöglicht. Wie andere Hadoop-Technologien ist HDFS heute zu einem wichtigen Werkzeug sowohl für die Verwaltung von Big-Data-Pools als auch zur Unterstützung von Big-Data-Analytics-Anwendungen geworden.

Da HDFS typischerweise auf kostengünstiger Standard-Hardware eingesetzt wird, sind Serverausfälle keine Seltenheit. Das Dateisystem wurde deshalb fehlertolerant ausgelegt und entwickelt. HDFS ermöglicht die schnelle Übertragung von Daten zwischen Rechenknoten und ermöglicht den weiteren Betrieb des Hadoop-Systems, wenn ein Knoten ausfällt. Dies verringert das Risiko eines Komplettausfalls, selbst wenn zahlreiche Knoten gleichzeitig versagen.

Wenn HDFS Daten erfasst, bricht es die Informationen in einzelne Teile auf und verteilt diese für die weitere parallele Verarbeitung auf verschiedenen Knoten im Cluster. Das Dateisystem kopiert die Daten mehrmals und verteilt die Kopien an einzelne Knoten. Dabei wird mindestens eine Kopie auf einem anderen Server-Rack als die anderen gelegt. Dies hat zur Folge, dass die Daten in einem Knoten, der abgestürzt ist, anderswo innerhalb eines Clusters weiter vorhanden sind und die Verarbeitung fortgesetzt werden kann, während die Störung behoben wird.

HDFS wurde entwickelt, um Anwendungen für große Datenmengen zu unterstützen, einschließlich einzelner Dateien in Terabyte-Größe. Es verwendet eine Master/Slave-Architektur, wobei jeder Cluster aus einem einzelnen NameNode besteht, der die Operationen für das Dateisystem steuert und Datanodes unterstützt, die die Datenspeicherung auf einzelnen Rechenknoten managen.

Artikel wurde zuletzt im April 2015 aktualisiert

Pro+

Premium-Inhalte

Weitere Pro+ Premium-Inhalte und andere Mitglieder-Angebote, finden Sie hier.

0 Kommentare

Älteste Beiträge 

Passwort vergessen?

Kein Problem! Tragen Sie Ihre E-Mail-Adresse unten ein. Wir werden Ihnen eine E-Mail mit Ihrem Passwort schicken.

Ihr Passwort wurde an die folgende E-Mail-Adresse gesendet::

- GOOGLE-ANZEIGEN

File Extensions and File Formats

Powered by:

SearchSecurity.de

SearchStorage.de

SearchNetworking.de

SearchDataCenter.de

Close