Hadoop: CLI ミニクラスター

目的

CLI ミニクラスターを使用すると、ユーザーは単一のコマンドでシングルノード Hadoop クラスターを簡単に起動および停止できます。環境変数を設定したり、構成ファイルを管理したりする必要はありません。 CLI ミニクラスターは、YARN/MapReduce と HDFS クラスターの両方を起動します。

これは、ユーザーが実際の Hadoop クラスターをすぐに試したり、重要な Hadoop 機能に依存する Java 以外のプログラムをテストしたりする場合に役立ちます。

Hadoop tarball

Hadoop tarball はリリースから入手できるはずです。また、ソースから直接 tarball を作成することもできます。

$ mvn clean install -DskipTests
$ mvn package -Pdist -Dtar -DskipTests -Dmaven.javadoc.skip

注: protoc 2.5.0 をインストールする必要があります。

tarball は hadoop-dist/target/ ディレクトリにあります。

ミニクラスターの実行

展開した tarball のルートディレクトリ内から、次のコマンドを使用して CLI ミニクラスターを起動できます。

$ bin/mapred minicluster -rmport RM_PORT -jhsport JHS_PORT

上記のコマンド例では、RM_PORT と JHS_PORT はユーザーが選択したポート番号に置き換える必要があります。指定しない場合は、ランダムな空きポートが使用されます。

起動するサービスを制御したり、他の構成プロパティを渡したりするために使用できるコマンドライン引数がいくつかあります。使用可能なコマンドライン引数

$ -D <property=value>    Options to pass into configuration object
$ -datanodes <arg>       How many datanodes to start (default 1)
$ -format                Format the DFS (default false)
$ -help                  Prints option help.
$ -jhsport <arg>         JobHistoryServer port (default 0--we choose)
$ -namenode <arg>        URL of the namenode (default is either the DFS
$                        cluster or a temporary dir)
$ -nnport <arg>          NameNode port (default 0--we choose)
$ -nnhttpport <arg>      NameNode HTTP port (default 0--we choose)
$ -nodemanagers <arg>    How many nodemanagers to start (default 1)
$ -nodfs                 Don't start a mini DFS cluster
$ -nomr                  Don't start a mini MR cluster
$ -rmport <arg>          ResourceManager port (default 0--we choose)
$ -writeConfig <path>    Save configuration to this XML file.
$ -writeDetails <path>   Write basic information to this JSON file.

使用可能な引数の完全なリストを表示するには、上記のコマンドに -help 引数を渡します。