Hadoop ワークロードに階層型名前空間対応バケットを使用する

このページでは、Hadoop ワークロードに階層型名前空間対応バケットを使用する方法について説明します。

概要

階層型名前空間で Cloud Storage バケットを使用する場合は、Hadoop、Spark、Hive などのワークロードでフォルダの名前変更オペレーションを使用するように Cloud Storage コネクタを構成します。

階層型名前空間のないバケットでは、Hadoop、Spark、Hive での名前変更オペレーションに複数のオブジェクトのコピージョブと削除ジョブが含まれるため、パフォーマンスと整合性に影響します。Cloud Storage コネクタを使用してフォルダの名前を変更すると、多数のオブジェクトを含むフォルダを処理する際のパフォーマンスが最適化され、整合性が確保されます。

をご覧ください。

Dataproc

Google Cloud CLI を使用して Dataproc クラスタを作成し、Cloud Storage コネクタでフォルダオペレーションを実行できます。

Cloud Storage コネクタバージョン 2.2.23 以降（バージョン 3.0.0 を除く）をインストールまたは更新します。
次のコマンドを使用して Dataproc クラスタを作成します。
```
  gcloud dataproc clusters create CLUSTER_NAME
  --properties=core:fs.gs.hierarchical.namespace.folders.enable=true,
  core:fs.gs.http.read-timeout=30000
  
```
ここで
- CLUSTER_NAME はクラスタ名です。例: my-cluster。
- fs.gs.hierarchical.namespace.folders.enable は、バケットで階層型名前空間を有効にするために使用されます。
- fs.gs.http.read-timeout は、確立された接続からデータを読み取るために許容される最大時間（ミリ秒単位）です。この設定は省略できます。
  
  注: Cloud Storage コネクタのバージョンが 3.0.0、または 2.2.23 より前のバージョンを使用する場合、構成設定 fs.gs.hierarchical.namespace.folders.enable はサポートされていません。この設定を配置するとエラーが発生します。

セルフマネージド Hadoop

セルフマネージド Hadoop クラスタで Cloud Storage コネクタを有効にして、フォルダオペレーションを実行できます。

Cloud Storage コネクタバージョン 2.2.23 以降（バージョン 3.0.0 を除く）をインストールまたは更新します。
core-site.xml 構成ファイルに次の内容を追加します。
```
    <property>
      <name>fs.gs.hierarchical.namespace.folders.enable</name>
      <value>true</value>
    </property>
    <property>
      <name>fs.gs.http.read-timeout</name>
      <value>30000</value>
    </property>
  
```
ここで
- fs.gs.hierarchical.namespace.folders.enable は、バケットで階層型名前空間を有効にするために使用されます。
- fs.gs.http.read-timeout は、確立された接続からデータを読み取るために許容される最大時間（ミリ秒単位）です。この設定は省略できます。
  
  注: Cloud Storage コネクタのバージョンが 3.0.0、または 2.2.23 より前のバージョンを使用する場合、構成設定 fs.gs.hierarchical.namespace.folders.enable はサポートされていません。この設定を配置するとエラーが発生します。

Cloud Storage コネクタバージョン 3.0.0 または 2.2.23 より前のバージョンとの互換性

Cloud Storage コネクタバージョン 3.0.0 または 2.2.23 より前のバージョンを使用するか、階層型名前空間のフォルダオペレーションを無効にすると、次の制限が生じる可能性があります。

効率の悪いフォルダ名変更: Hadoop でのフォルダ名変更オペレーションは、オブジェクトレベルのコピーと削除のオペレーションを使用して行われます。これは、専用の rename folder オペレーションよりも遅く、効率が低くなります。
空のフォルダの蓄積: フォルダリソースが自動的に削除されないため、バケットに空のフォルダが蓄積されます。空のフォルダが蓄積すると、次のような影響が生じる可能性があります。
- 明示的に削除しないと、ストレージコストが増加します。
- リストオペレーションの速度が低下し、リストオペレーションのタイムアウトのリスクが高まります。
  
  注: リストオペレーションのタイムアウトのリスクを軽減するには、fs.gs.http.read-timeout のタイムアウト値を 30000 ミリ秒に構成します。タイムアウト設定を構成するには、使用しているサービスに応じて、Dataproc またはセルフマネージド Hadoop の手順をご覧ください。
互換性の問題: 古いバージョンと新しいバージョンのコネクタを混在して使用する、またはフォルダオペレーションを有効または無効にすると、フォルダ名を変更する際に互換性の問題が発生する可能性があります。コネクタバージョンの組み合わせを使用する次のようなシナリオについて検討してみます。
1. 2.2.23 より前のバージョンの Cloud Storage コネクタを使用して、次のタスクを行います。
  1. フォルダ foo/ の下にオブジェクトを書き込みます。
  2. フォルダ foo/ の名前を bar/ に変更します。名前変更オペレーションは、foo/ のオブジェクトをコピーして削除しますが、空の foo/ フォルダは削除しません。
2. フォルダオペレーションの設定を有効にして Cloud Storage コネクタバージョン 2.2.23 を使用し、フォルダ bar/ の名前を foo/ に変更します。
フォルダオペレーションが有効になっているコネクタバージョン 2.2.23 は、既存の foo/ フォルダを検出するため、名前変更オペレーションが失敗します。以前のコネクタバージョンでは、フォルダオペレーションが無効にされていたため、foo/ フォルダは削除されませんでした。

次のステップ

使ってみる

Google Cloud を初めて使用する場合は、アカウントを作成して、実際のシナリオでの Cloud Storage のパフォーマンスを評価してください。新規のお客様には、ワークロードの実行、テスト、デプロイができる無料クレジット $300 分を差し上げます。

Cloud Storage を無料で試す