Nachrichten, Gerüchte, Meldungen und Berichte aus der IT-Szene

Redaktion: Heinz Schmitz


Berliner Big Data-Software parallelisiert Verarbeitungsprozesse

Apache Flink Architektur
Architektur der Apache Flink Software aus Berlin. (Quelle: flink.apache.org)

„Apache Flink“ kommt ins Spiel, wenn die Rechenpower eines einzelnen Computers nicht ausreicht, um Datenmengen zu analysieren. Das ist meist bei Big Data-Projekten der Fall, in denen etwa Informationen über Kunden, Rohstoffquellen oder Transportwege ausgewertet werden. Solche Datenpakete werden auf viele Rechner verteilt. „Apache Flink“ koordiniert diese Analyse – ein komplexes Unterfangen: Die Software muss dabei zu jeder Zeit den Überblick haben, auf welchem Rechner welcher Teil des Datensatzes zu finden ist und wie daraus das Endergebnis zusammengesetzt wird.

 

Eine große Stärke des Programmes liegt in der Parallelisierung, also im Unterteilen der Datenmengen auf mehrere Verarbeitungsprozesse. Eine weitere Stärke ist das Pipelining, eine Technologie, die Datenstreaming ermöglicht. Auf diese Weise beschränkt sich die Analyse nicht auf abgeschlossene Datenpakete, sondern es können stets neue Daten in den Prozess eingespeist werden – eine Voraussetzung für Datenauswertung in Echtzeit. Unternehmen, die „Apache Flink“ nutzen, sind etwa Zalando zur Analyse von Kundendaten sowie der Online-Games-Entwickler King, der mit Big Data die Spielzüge seiner Community auswertet. Mit Data Artisans hat sich ein eigenes Start-up aus dem Uni-Projekt ausgegründet, das sich komplett auf den Support von „Apache Flink“-Anwendern und die Weiterentwicklung von Flink spezialisiert.

 

Entstanden ist „Apache Flink“ aus einem Projekt der Grundlagenforschung an der TU Berlin, das 2008 von Prof. Dr. Volker Markl ins Leben gerufen wurde, Leiter des Fachgebiets für Datenbanksysteme und Informationsmanagement der TU Berlin, Direktor am Deutschen Forschungszentrum für Künstliche Intelligenz (DFKI) und Leiter des Berlin- Big-Data-Centers. Markls Mitarbeiter Dr. Stephan Ewen, Dr. Fabian Hüske und Dr. Kostas Tzoumas hatten den Forschungsprototypen zu einem produktiv einsetzbaren System ausgebaut und 2014 bei der Apache Software Foundation (ASF) eingereicht. Seitdem wurde eine weltweite Community auf das Projekt aufmerksam. Über 200 Programmierer entwickeln heute das Open Source Projekt weiter. Nun wurde die Version 1.0 der Software veröffentlicht. „Flink ist erwachsen geworden", so Markl. „Es ist ein schönes Beispiel dafür, wie ein Grundlagen-Projekt mit Hilfe vieler Doktoranden, Mitarbeiter und Unterstützer zu einer weltweiten Erfolgsgeschichte werden kann."

 

Siehe auch:

http://www.dima-tu-berlin.de/

http://www.bbdc.berlin/

http://flink.apache.org/

Zurück