Definition

Hadoop Distributed File System (HDFS)

Diese Definition ist Teil unseres Essential Guides: Big Data: Anwendung, Datenschutz und Technologie

Das Hadoop Distributed File System (HDFS) ist ein verteiltes Dateisystem, das über ein Hadoop-Cluster den High-Performance-Zugriff auf Daten ermöglicht. Wie andere Hadoop-Technologien ist HDFS heute zu einem wichtigen Werkzeug sowohl für die Verwaltung von Big-Data-Pools als auch zur Unterstützung von Big-Data-Analytics-Anwendungen geworden.

Da HDFS typischerweise auf kostengünstiger Standard-Hardware eingesetzt wird, sind Serverausfälle keine Seltenheit. Das Dateisystem wurde deshalb fehlertolerant ausgelegt und entwickelt. HDFS ermöglicht die schnelle Übertragung von Daten zwischen Rechenknoten und ermöglicht den weiteren Betrieb des Hadoop-Systems, wenn ein Knoten ausfällt. Dies verringert das Risiko eines Komplettausfalls, selbst wenn zahlreiche Knoten gleichzeitig versagen.

Wenn HDFS Daten erfasst, bricht es die Informationen in einzelne Teile auf und verteilt diese für die weitere parallele Verarbeitung auf verschiedenen Knoten im Cluster. Das Dateisystem kopiert die Daten mehrmals und verteilt die Kopien an einzelne Knoten. Dabei wird mindestens eine Kopie auf einem anderen Server-Rack als die anderen gelegt. Dies hat zur Folge, dass die Daten in einem Knoten, der abgestürzt ist, anderswo innerhalb eines Clusters weiter vorhanden sind und die Verarbeitung fortgesetzt werden kann, während die Störung behoben wird.

HDFS wurde entwickelt, um Anwendungen für große Datenmengen zu unterstützen, einschließlich einzelner Dateien in Terabyte-Größe. Es verwendet eine Master/Slave-Architektur, wobei jeder Cluster aus einem einzelnen NameNode besteht, der die Operationen für das Dateisystem steuert und Datanodes unterstützt, die die Datenspeicherung auf einzelnen Rechenknoten managen.

Diese Definition wurde zuletzt im April 2015 aktualisiert

Pro+

Premium-Inhalte

Weitere Pro+ Premium-Inhalte und andere Mitglieder-Angebote, finden Sie hier.

Diskussion starten

Schicken Sie mir eine Nachricht bei Kommentaren anderer Mitglieder.

Mit dem Absenden dieser Daten erklären Sie sich bereit, E-Mails von TechTarget und seinen Partnern zu erhalten. Wenn Ihr Wohnsitz außerhalb der Vereinigten Staaten ist, geben Sie uns hiermit Ihre Erlaubnis, Ihre persönlichen Daten zu übertragen und in den Vereinigten Staaten zu verarbeiten. Datenschutz

Bitte erstellen Sie einen Usernamen, um einen Kommentar abzugeben.

- GOOGLE-ANZEIGEN

File Extensions and File Formats

Powered by:

SearchSecurity.de

SearchStorage.de

SearchNetworking.de

SearchDataCenter.de

Close