アパッチHadoop
Apache®Hadoop®プロジェクトは、信頼性が高く、スケーラブルで、分散されたコンピューティングのためのオープンソースソフトウェアを開発しています。
ApacheHadoopソフトウェアライブラリは、シンプルなプログラミングモデルを使用してコンピューターのクラスター全体で大きなデータセットの分散処理を可能にするフレームワークです。1台のサーバーから数千台のコンピューターまで拡張するように設計されており、それぞれがローカルの計算とストレージを提供します。高可用性を提供するためにハードウェアに頼るのではなく、ライブラリ自体はアプリケーションレイヤーで障害を検出して処理するように設計されており、障害が発生しやすいコンピューターのクラスターの上に高可用性のサービスを提供します。
ApacheHadoop3.3ラインのリリースです。
3.3.5以降のApacheHadoop3.3のユーザーはこのリリースにアップグレードする必要があります。
機能のハイライト
このリリースから、HadoopはCycloneDX Mavenプラグインを使用してソフトウェア部品表（SBOM）を公開します。SBOMの詳細については、SBOMを参照してください。
HDFS Router-Router Based Federationは、HADOOP-18535のMySQLに委任トークンを格納することをサポートするようになりました。これにより、元のZookeeperベースの実装から、トークンの操作が向上します。
HADOOP-18671は、HDFS依存性のある特定のアプリケーションが他のHadoop互換ファイルシステム上で実行できるように、HDFS固有のAPIをHadoop Commonに多数移行しました。
特に、recoverLease()とisFileClosed()はLeaseRecoverableインターフェースを介して公開され、setSafeMode()はSafeModeインターフェースを介して公開されます。
ユーザーは、リリース 3.3.5 以降の 主な変更の概要 を参照することをお勧めします。前の 3.3.5 リリース以降の 117 個のバグ修正、改善、その他の機能強化の詳細については、リリース ノート と 変更ログ を確認してください。
ApacheHadoop3.3ラインのリリースです。
重要な変更点としては、次のようなものがあります。
Apache Hadoop 3.3.4 以前のユーザーはこのリリースにアップグレードする必要があります。
すべてのユーザーに、リリース 3.3.4 以降の 主な変更の概要 を参照することをお勧めします。
以前の 3.3.4 リリース以降のバグ修正、改善、およびその他の拡張機能については、リリース ノート と 変更ログ を確認してください。
ABFS コネクタには、重大なバグ修正 https://issues.apache.org/jira/browse/HADOOP-18546 があります: ABFS. abfs ストリームの close() において進行中の読み取りのリストの削除を無効化します。
Hadoop リリース 3.3.2 以降の abfs コネクタを使用するすべてのユーザーは、このリリースにアップグレードするか、fs.azure.readaheadqueue.depth を 0 に設定してプレフェッチを無効にする必要があります。
ApacheHadoop3.3ラインのリリースです。
3.3.3 以降の少数のセキュリティ修正と重要な統合修正が含まれています。
Apache Hadoop 3.3.3 のユーザーはこのリリースにアップグレードする必要があります。
Hadoop 2.x と Hadoop 3.2 のユーザーもまた、3.3.x ラインにアップグレードする必要があります。機能の拡張に加え、これは重大なセキュリティ/データ整合性問題以外のものに対して修正を受け取る唯一のブランチです。
ユーザーは、リリース 3.3.3 以降の 主な変更の概要 を参照することをお勧めします。前の 3.3.3 リリース以降のバグ修正、改善、およびその他の拡張機能については、リリース ノート と 変更ログ を確認してください。
プロジェクトには次のモジュールが含まれています。
さまざまな企業や組織が調査や運用に Hadoop を使用しています。ユーザーは Hadoop の PoweredBy ウィキページ に自身を追加することを推奨されています。
Apache の Hadoop 関連プロジェクトには以下が含まれます