Apache Software Foundation maakt Hadoop 3.0 beschikbaar

De Apache Software Foundation heeft de derde versie van het open-source software-framework voor distributed computing algemeen beschikbaar gemaakt. Een belangrijke ontwikkeling voor het project, aangezien Hadoop 3.0 de eerste grote release is sinds Hadoop 2 uit 2013.

De nieuwe versie wordt dan ook gepresenteerd als de grootste release ooit. Zo bevat de uitvoering HDFS Erasure Coding, waadoor de opslagkosten van HDFS halveert en de duurzaamheid van gegevens verbetert. Door YARN Timeline Service v.2 (preview) zal de schaalbaarheid, betrouwbaarheid en bruikbaarheid van de Timeline Service verbeteren.

Hadoop 3.0 maakt tevens planning van extra bronnen mogelijk, zoals schijven en GPU’s, voor betere integratie met machine learning en containerworkloads. Federatie van YARN- en HDFS-subclusters schaalt Hadoop op transparante wijze op tot tienduizenden machines. Er worden ook verbeterde mogelijkheden en prestatieverbeteringen voor cloudopslagsystemen zoals Amazon S3, Microsoft Azure Data Lake en Aliyun Object Storage System beloofd.

Hadoop 3.0 beschikt over opportunistic container execution, wat het gebruik van resources moet verbeteren en de taakdoorvoer voor container met een korte levensduur zal verhogen. Naast de traditionele, centrale planner ondersteunt YARN ook gedistribueerde planning van containers. Om deze functionaliteiten mogelijk te maken werd Hadoop 3.0 uitgebreid getest en geïntegreerd met het bredere open-source ecosysteem van de Apache Software Foundation.

Beschikbaarheid

Hadoop wordt gebruikt door verschillende grote bedrijven, zoals Amazon Web Services, Adobe, Apple, Facebook, Google, Hortonworks, IBM, Intel, Microsoft, Netflix, Cloudera, LinkedIn en eBay. Daarnaast halen andere Hadoop-gerelateerde projecten hun inspiratie uit het framework. Denk bijvoorbeeld aan Apache Cassandra, HBase, Hive, Spark en Zookeeper.

Met de release promoot de community van ontwikkelaars en gebruikers Hadoop uit de bèta-series. Zo moet Hadoop beter voldoen aan de vereisten van zijn groeiende rol in enterprise datasystemen. Apache Hadoop-software is dan ook vrijgegeven onder de Apache-licentie v2.0 en wordt beheerd door een team van bijdragers aan het project. Een Project Management Committee begeleidt de activiteiten van het project, inclusief community-ontwikkeling en productrelease.