Logo von Developer

Suche

Big Data: Apache Sqoop neues Top-Level-Projekt der Apache Software Foundation

Die Apache Software Foundation (ASF) hat das Datentransfer-Tool Sqoop als neues Top-Level-Projekt angenommen. Es ist vor allem für den Einsatz in Big-Data-Umgebungen interessant, da es einen Datenaustausch zwischen dem NoSQL-Framework Apache Hadoop und SQL-Datenbanken erlaubt. Knapp ein Jahr nach der Aufnahme in den Apache Incubator habe das Projekt bewiesen, dass seine Community und die Entwicklung selbst gut zum leistungsorientierten Prozess der ASF passen würden, so die Begründung der Foundation.

Anzeige

Die Entwicklung von Sqoop geht auf das Jahr 2009 zurück, in dem Entwickler Aaron Kimball Sqoop als Hadoop-Modul für den Datenbank-Import in Hadoop-Cluster vorschlug. Später wurde Sqoop in ein eigenes Projekt ausgegliedert, um die Entwicklung der Technik schneller vorantreiben zu können. Im Juni 2011 wurde es schließlich in den Apache Incubator aufgenommen. Letzterer gilt als Vorstufe für eine mögliche Aufnahme als Top-Level-Projekt und bietet die Gelegenheit, sich als Projekt und angeschlossener Community unter den Richtlinien der ASF zu bewähren.

Hadoop stellt die Grundlage diverser Hadoop-Distributionen, wie sie beispielsweise HortonWorks und Cloudera anbieten, sowie verschiedener kommerzieller Big-Data-Angebote unter anderem von IBM. Zahlreiche Anwender haben Hadoop-basierte Lösungen im Produktiveinsatz. (rl)

Kommentieren

Themen:

  1. Tez zum Apache-High-Level-Projekt aufgestiegen

    Apache Tez erweitert die MapReduce-Implementierung von Hadoop, sodass sich damit auch DAG-Prozesse umsetzen lassen. Dadurch können Apache-Projekte wie Pig und Hive schnelle Antwortzeiten liefern mit Daten im Petabyte-Bereich zurechtkommen.

  2. Big Data: Apache Flink wird Top-Level-Projekt

    Big Data: Apache Flink wird Top-Level-Projekt

    Das aus einem Forschungsprojekt hervorgegangene System zum Verarbeiten und Analysieren von Batch- und Streaming-Daten erfüllt nun alle Vorgaben, die die Apache Foundation für wichtig erachtet.

  3. Apache Spark 1.0: Framework zur Echtzeitdatenanalyse mit stabilen APIs

    Das auch als Schweizer Taschenmesser für Hadoop-Anwendungen gelobte Apache-Projekt will mit dem ihm zugrunde liegenden In-Memory-Modell gegenüber der MapReduce-Implementierung von Apache Hadoop punkten.

  1. Federlesen #19: 15 Jahre Apache Software Foundation

    Wer Software entwickelt, braucht einen langen Atem, Disziplin und gemeinsame Ziele. Die Apache Software Foundation gibt es seit über 15 Jahren – Zeit für einen Rückblick.

  2. Federlesen #11: Steigende Incubator-Produktion

    Die Apache Software Foundation hatte sich im letzten Jahr einiges vorgenommen. Das vorrangige Ziel war, den Incubator etwas zu beschleunigen und zu entschlacken. Dadurch wurden Apache-intern wieder Ressourcen frei. Ein Rück- und ein Ausblick.

  3. OData und Apache Olingo in der Praxis

    Um den OData-Standard in der Praxis einsetzen zu können, sind Bibliotheken wie Apache Olingo nützlich. Sie helfen, Fehler zu vermeiden und bringen mehr Zeit für das Wesentliche – die Applikation.

  1. EU-Datenschützer: Europa muss globalen Standard für Privatsphäre schaffen

    EU-Datenschützer: Europa muss globalen Standard für Privatsphäre schaffen

    Europa trage seit langem die Fahne des Datenschutzes vor sich her, erklärte der neue EU-Beauftragte für diesen Bereich, Giovanni Buttarelli. Die Reform der Regeln für die Privatsphäre dürfe nicht verwässert werden.

  2. Apple: EFI-Sicherheits-Update nicht für ältere Macs

    Apple

    Das Sicherheits-Update, das eine mögliche Modifikation der Firmware verhindert, steht zwar für ältere OS-X-Versionen zur Verfügung – lässt sich jedoch nur auf jüngeren Macs installieren.

  3. Brennhoffzelle

    Energie- und Hoffnungsträger Wasserstoff

    Die Flottenverbrauchsvorgaben geben E-Autos und Plug-In-Hybriden neue Chancen. Toyota sieht letztere als Brücke zum Brennstoffzellenauto und bringt seinen Mirai auf Basis des (Plug-In-)Hybriden Prius heraus. Inwieweit hoffen auch die anderen Hersteller noch auf eine H2-Infrastruktur?

  4. Lexus IS 250 F-Sport: Straffe Alternative

    Lexus bietet seit kurzem die neue Ausstattungslinie F-Sport für die Limousine IS an. Darin enthalten sind unter anderem Spoiler, große Felgen, ein Sportfahrwerk und Sportsitze in Leder/Alcantara

Anzeige