Logo von Developer

Suche
Abonnieren

Tägliche Top-News bei WhatsApp, Facebook Messenger, Telegram & Insta

preisvergleich_weiss

Recherche in 1.702.466 Produkten

Rainald Menge-Sonnentag

Apache Knox erreicht Version 1.0

Apache Knox erreicht Version 1.0

Die Schnittstelle für Hadoop-Cluster gilt nun als reif für den produktiven Einsatz. Sie verbindet einen Proxy mit Diensten zur Authentifizierung und Clientschnittstellen. Einige Plattformen haben Knox bereits vor dem 1.0-Release an Bord genommen.

Das Knox-Team bei der Apache Software Foundation hat das Application-Gateway für das Hadoop-Ökosystem in Version 1.0 herausgegeben und damit die Reife für Produktivsysteme unterstrichen. Im Vergleich zu der im Dezember 2017 erschienen Version 0.14 bietet Apache Knox 1.0 vor allem Bugfixes, die technischen Neuerungen halten sich indes in Grenzen. Nennenswert ist die Anpassung der Dependencies an das ebenfalls im Dezember 2017 veröffentlichte Hadoop 3 und eine erweiterte Anbindung an Apache Ambari.

Anzeige

Apache Knox soll eine sichere Zugriffsstelle auf Hadoop-Cluster bereitstellen und besteht aus drei Bestandteilen. Die wesentliche Komponente sind die Proxy-Dienste, die einen Zugriff auf diverse Hadoop-Services integrieren, darunter Apache Ambari, Hive, Solr und Storm sowie den REST-Proxy von Apache Kafka. Das zweite Puzzleteil sind die Dienste zur Authentifizierung zum Zugriff auf die REST API beziehungsweise WebSSO (Web Single Sign-on) für Tools mit passenden Nutzerschnittstellen.

Zum Zugriff auf die serverseitigen Komponenten jenseits der reinen REST API existieren zudem Client-Services als dritte Komponente von Apache Knox. Sie bieten eine Groovy-basierte DSL (Domain Specific Language) und ein KnoxShell-SDK.

Apache Knox ist vor allem als sichere Schnittstelle zu ansonsten nicht weiter nach außen abgesicherten Hadoop-Clustern ausgelegt, lässt sich aber auch zusammen mit Clustern verwenden, die bereits über Kerberos abgesichert sind. Dabei bietet das Gateway eine zusätzliche Abstraktionsschicht, die unter anderem die Hosts und Ports innerhalb des Clusters vor den Clients verbirgt und einheitliche Schnittstelle zu Identity-Management-Produkten bietet.

Apache
Apache Knox verbindet einen Proxy mit Authentifizierungs-Services und einer Client-Schnittstelle. (Bild: Apache)

Weitere Details, unter anderem hinsichtlich der unterstützten Hadoop-Dienste sowie dem KnoxSSO-Service lassen sich der Knox-Website entnehmen. Die Änderungen gegenüber Version 0.14 listet die Changes-Datei auf. Einige Plattformen wie das vor Kurzem in Version 3.1 erschienene Hortonworks DataFlow haben Apache Knox bereits vor Version 1.0 aufgenommen, was im Hadoop-Umfeld durchaus häufiger vorkommt: Unter andrem Apache Kafka, Flink und Storm waren vor dem jeweiligen 1.0-Release in Distributionen und Plattformen integriert. (rme)

Kommentieren

Themen:

Anzeige
  1. Hortonworks DataFlow 3.1 unterstützt Kafka 1.0

    Hortonworks DataFlow 2.1 verbessert das Zusammenspiel mit der Cloud

    Die Plattform für Datenströme HDF bietet in der nun generell verfügbaren Version 3.1 unter anderem Neuerungen im Bereich Flow Management sowie Stream Analytics. Der Message Broker Apache Kafka 1.0 wird erstmals unterstützt.

  2. Cloudbreak: HDP-Cluster in Azure einfacher verwalten

    Cloudbreak: HDP-Cluster in Azure einfacher verwalten

    Mit dem nun auf dem Azure Marketplace verfügbaren Cloudbreak Controller for Hortonworks Data Platform lassen sich HDP-Cluster in Microsofts Cloud provisionieren, einrichten und skalieren.

  3. Ranger steigt zum vollwertigen Apache-Projekt auf

    Ranger steigt zum vollwertigen Apache-Projekt auf

    Das Framework für Datensicherheit reiht sich in die schon nicht mehr nachvollziehbare Schar der durch die Apache Software Foundation gehosteten Big-Data-Projekte.

  4. Big Data: Zeppelin 0.7 bringt Multiuser-Verbesserungen

    Big Data: Zeppelin 0.7 bringt Multiuser-Verbesserungen

    Außerdem setzt die webbasierte Oberfläche zur Datenanalyse auf Spark 2.1 und bringt mit Projekt Helium ein anpassabares Frontend.

  1. Big Data: das Ende vom Hype und der Anfang vom Business

    Architektur des Systems aus dem ersten Business Case

    Nachdem die Gartner-Analysten den Hype-Zyklus rund um das Thema Big Data für beendet erklärt haben, stellt sich nun die Frage, warum Big Data in Deutschland weiterhin ein Akzeptanzproblem hat: Ist das Thema etwa doch nicht erwachsen genug oder wird einfach die Relevanz nicht gesehen?

  2. Effiziente Datenverarbeitung mit Kafka

    Effiziente Datenverarbeitung mit Kafka

    Kappa-Architekturen sind der nächste Evolutionsschritt im Fast-Data-Umfeld. Damit lohnt sich ein Blick darauf, wie Apache Kafka sich vom reinen Message-Broker zu einer Streaming-Plattform weiterentwickelt hat und wie man mit Kafka-Bordmitteln eine Kappa-Architektur aufbauen kann.

  3. DataStax Enterprise – Cassandra des Big Data

    DataStax Enterprise – Cassandra des Big Data

    Bei besonders hohen Anforderungen an Skalierbarkeit, Performance und Hochverfügbarkeit gibt es neben diversen Hadoop-Distributionen kaum einander ebenbürtige Kontrahenten. Eine Ausnahme bildet DataStax Enterprise. Die Wahl zwischen Hadoop- und DSE-Distribution hängt jedoch stark vom Anwendungsfall und persönlichen Geschmack ab.

  1. Sternenexplosion: Amateur-Astronom beobachtet erstmals Beginn einer Supernova

    Astronomie: Amateur-Astronom beobachtet erstmals Beginn einer Supernova

    Der Argentinier Victor Buso widmet sich in seiner Freizeit der Astronomie: Nun ist es ihm offenbar als erstem Menschen überhaupt gelungen, die Anfänge einer Supernova abzulichten. Forscher erhoffen sich wichtige neue Erkenntnisse.

  2. Fritzbox 7583: Neuer AVM-Router für extraschnelles DSL

    MWC: Fritzbox 7583 für extraschnelles DSL

    Äußerlich gleich, innen flotter als der Vorgänger 7580: Die Fritzbox 7583 schafft an gebondeten G.fast-Anschlüssen maximal 3 GBit/s Downloadrate. Super Vectoring beherrscht sie aber auch.

  3. Klartext: Der Frosch, der Auto fährt

    Klartext

    Bei Comma.ai kann man sich an einem Open-Source-Projekt zum autonomen Fahren beteiligen. Das ist cool. Gründer George Hotz prahlt gern: "We are going to win autonomous cars." Das ist weniger cool. Ich verbreite etwas Ernüchterung

  4. Studie: IT-Freiberufler nagen nicht am Hungertuch

    Xing AG

    Selbständige werden häufig als Risikogruppe für Altersarmut dargestellt, was laut einer repräsentativen Allensbach-Studie zumindest für den IT-Bereich nicht zutrifft. Dort liege das frei verwertbare Monatsnetto-Einkommen für Freelancer bei fast 4700 Euro.

Anzeige