Big-Data-Projekt: Version 1.0 von Apache Storm veröffentlicht

Apache hat Release 1.0 des Big-Data-Projekts Storm präsentiert. Die neue Version soll einen großen Sprung bei Performance und Nutzbarkeit machen.

Die Apache Software Foundation hat Version 1.0 des Open-Source-Projekts Storm vorgestellt. Apache verweist beim aktuellen Release-Kandidaten auf verschiedene Neuerungen, die einen deutlichen Sprung bei Leistung und Usability bringen sollen.

Zu den zentralen Neuheiten und Weiterentwicklungen von Apache Storm 1.0 zählen unter anderem:

Verbesserte Performance: Release 1.0 soll bis zu 16-mal schneller als vorherige Versionen sein und die Latenz um bis zu 60 Prozent senken. Im Durchschnitt soll die Performance-Steigerung den Faktor drei erreichen.

Pacemaker Heartbeat Server: Laut Apache stößt die Open-Source-API ZooKeeper mittlerweile an ihre Grenzen, wenn Storm hochskaliert wird und ein hohes Schreibvolumen anfällt. Das wiederum wirkt sich auf die Netzwerkverbindung zwischen den Clustern aus. Abhilfe soll Pacemaker schaffen, ein einfacher In-Memory Key-/Value-Store, der ähnlich wie ZooKeeper arbeitet, aber deutlich bessere Leistungen erzielt.

Verteilte Cache API: Mit Storm 1.0 führt Apache eine verteilte Cache API ein, die das Teilen von BLOBs (Binary Large Objects) über die Topologien ermöglicht. Dateien im verteilten Cache lassen sich über die Kommandozeile jederzeit aktualisieren, ohne die Notwendigkeit, eine Topologie neu installieren zu müssen. Die verteilte Cache API erlaubt Dateien mit einer Größe von mehreren KB bis zu mehreren GB. Sie unterstützt außerdem Komprimierungsformate wie ZIP und GZIP. Es gibt zwei verschiedene Cache APIs: Eine Version unterstützt das lokale Dateisystem auf Supervisor-Knoten, eine unterstützt Apache Hadoop HDFS. Beide Versionen unterstützen eine Zugriffskontrolle per ACL.

HA Nimbus: Um einen Single Point of Failure zu vermeiden, wurde HA Nimbus in Storm implementiert. Dabei nutzt HA Nimbus die verteilte Cache API für die Replikation, um die Verfügbarkeit von Topologie-Ressourcen im Falle eines Knotenausfalls zu gewährleisten.

Neben diesen zentralen Weiterentwicklungen bietet Release 1.0 eine native Streaming Window API, eine Stateful Bolt API, einen automatischen Rückstaumechnismus, ein neues Steuerprogramm für das Konfigurieren benötigter Speicher- und CPU-Ressourcen einzelner Topologie-Komponenten, dynamische Log Level sowie eine Log-Suchfunktion. Einen detaillierten Überblick aller Änderungen findet man auf der Website von Apache Storm.

Was ist Apache Storm?

Apache Storm ist ein verteiltes Open-Source-Datenverarbeitungssystem, das ursprünglich von den BlackType Labs entwickelt wurde. Mit der Übernahme durch Twitter, wurde das Projekt als Open Source freigegeben. Seit 2014 ist Storm ein Top-Level-Projekt der Apache Software Foundation und unter einer Apache Lizenz verfügbar.

Für die Verarbeitung der Daten wird in Storm eine Topologie erstellt, durch die die Datenströme aus Tupeln fließen. Storm ist äußerst flexibel und kann nahezu mit jeder beliebigen Programmiersprache und jeder Datenbanktechnologie verwendet werden. Apache Storm kann Stream-Abfragen, kontinuierliche Berechnungen, Remote Procedure Calls (RPC) und ETL-Funktionen (Extract, Transform, Load) ausführen.

Mehr zum Thema Big Data:

Das ABC der Big-Data-Analyse für zukunftsfähige Unternehmen.

Plattformen für Big Data Security Analytics: Fünf Faktoren für die Evaluierung.

SIEM: Continuous Monitoring in Zeiten von Big Data.

HDS präsentiert hyperkonvergente Big-Data-Lösung mit Pentaho-Technologie.

Ist Apache Spark die Antwort für Cloud- und Big-Data-Anwendungen?

 

Folgen Sie SearchEnterpriseSoftware.de auch auf Twitter, Google+ und Facebook!

Pro+

Premium-Inhalte

Weitere Pro+ Premium-Inhalte und andere Mitglieder-Angebote, finden Sie hier.

Diskussion starten

Schicken Sie mir eine Nachricht bei Kommentaren anderer Mitglieder.

Mit dem Absenden dieser Daten erklären Sie sich bereit, E-Mails von TechTarget und seinen Partnern zu erhalten. Wenn Ihr Wohnsitz außerhalb der Vereinigten Staaten ist, geben Sie uns hiermit Ihre Erlaubnis, Ihre persönlichen Daten zu übertragen und in den Vereinigten Staaten zu verarbeiten. Datenschutz

Bitte erstellen Sie einen Usernamen, um einen Kommentar abzugeben.

- GOOGLE-ANZEIGEN

SearchSecurity.de

SearchStorage.de

SearchNetworking.de

SearchDataCenter.de

Close