Logo von iX

Suche

Big Data: Apache Sqoop neues Top-Level-Projekt der Apache Software Foundation

Die Apache Software Foundation (ASF) hat das Datentransfer-Tool Sqoop als neues Top-Level-Projekt angenommen. Es ist vor allem für den Einsatz in Big-Data-Umgebungen interessant, da es einen Datenaustausch zwischen dem NoSQL-Framework Apache Hadoop und SQL-Datenbanken erlaubt. Knapp ein Jahr nach der Aufnahme in den Apache Incubator habe das Projekt bewiesen, dass seine Community und die Entwicklung selbst gut zum leistungsorientierten Prozess der ASF passen würden, so die Begründung der Foundation.

Anzeige

Die Entwicklung von Sqoop geht auf das Jahr 2009 zurück, in dem Entwickler Aaron Kimball Sqoop als Hadoop-Modul für den Datenbank-Import in Hadoop-Cluster vorschlug. Später wurde Sqoop in ein eigenes Projekt ausgegliedert, um die Entwicklung der Technik schneller vorantreiben zu können. Im Juni 2011 wurde es schließlich in den Apache Incubator aufgenommen. Letzterer gilt als Vorstufe für eine mögliche Aufnahme als Top-Level-Projekt und bietet die Gelegenheit, sich als Projekt und angeschlossener Community unter den Richtlinien der ASF zu bewähren.

Hadoop stellt die Grundlage diverser Hadoop-Distributionen, wie sie beispielsweise HortonWorks und Cloudera anbieten, sowie verschiedener kommerzieller Big-Data-Angebote unter anderem von IBM. Zahlreiche Anwender haben Hadoop-basierte Lösungen im Produktiveinsatz. (rl)

Kommentieren

Themen:

  1. Big Data: Apache Drill wird Top-Level-Projekt der Apache Software Foundation

    Apache Drill wird Top-Level-Projekt

    Die Schema-freie SQL Query Engine für Hadoop und NoSQL-Datenbanken ist nun ein vollwertiges Projekt der Open-Source-Organisation. Zusätzlich ist eine neue Version von Apache Hadoop erschienen.

  2. Tez zum Apache-High-Level-Projekt aufgestiegen

    Tez zum Apache-High-Level-Projekt aufgestiegen

    Apache Tez erweitert die MapReduce-Implementierung von Hadoop, sodass sich damit auch DAG-Prozesse umsetzen lassen. Dadurch können Apache-Projekte wie Pig und Hive schnelle Antwortzeiten liefern mit Daten im Petabyte-Bereich zurechtkommen.

  3. Apache Spark 1.0: Framework zur Echtzeitdatenanalyse mit stabilen APIs

    Apache Spark 1.0: Framework zur Echtzeitdatenanalyse mit stabilen APIs

    Das auch als Schweizer Taschenmesser für Hadoop-Anwendungen gelobte Apache-Projekt will mit dem ihm zugrunde liegenden In-Memory-Modell gegenüber der MapReduce-Implementierung von Apache Hadoop punkten.

  4. Echtzeitdatenanalyse in Apache Cassandra

    Echtzeitdatenanalyse in Apache Cassandra

    Das Scala-Framework zur Echtzeitdatenanalyse Apache Spark wurde in Folge einer Partnerschaft zwischen Databricks und Datastax auf die Zusammenarbeit mit der NoSQL-Datenbank Apache Cassandra abgestimmt.

Anzeige