Dataproc Metastore サービスを更新する

このページでは、Dataproc Metastore サービスを更新する方法について説明します。

Dataproc Metastore サービスを更新して、構成を変更したり、オプション機能を有効または無効したりできます。

始める前に

必要なロール

Dataproc Metastore サービスの更新に必要な権限を取得するには、最小権限の原則に基づいて、プロジェクトで次の IAM のロールを付与するよう管理者に依頼してください。

ロールの付与の詳細については、アクセスの管理をご覧ください。

この事前定義ロールには、Dataproc Metastore サービスを更新するために必要な metastore.services.update 権限が含まれています。

カスタムロールや他の事前定義ロールを使用して、この権限を取得することもできます。

Dataproc Metastore の特定のロールと権限については、Dataproc Metastore IAM の概要をご覧ください。

サービスの更新について

次の Dataproc Metastore パラメータを更新できます。

  • ポート番号。Apache Thrift インターフェースの TCP ポート番号を更新します。
  • サービスティア。デベロッパー サービスティアとエンタープライズ サービスティアを切り替えます。これらの階層はサービスの容量に影響します。
  • Data Catalog の同期。Data Catalog の同期機能をオンまたはオフにします。
  • メンテナンスの時間枠。メンテナンスの時間枠の頻度（曜日や時間帯など）を変更します。
  • Kerberos。Kerberos 認証を有効化または無効化します。以前に有効にしている場合は、Kerberos 構成ファイルを更新できます。
  • Hive メタストア構成。Hive ウェアハウス ディレクトリのロケーションを更新します。
  • 補助バージョン構成（プレビュー）。追加の補助バージョンを有効化、無効化、または追加します。
  • ラベル。メタデータを説明する省略可能なラベルを追加または削除します。
  • スケーリング ファクタスケーリング ファクタを変更します。自動スケーリングを有効または無効にでき、最小または最大のスケーリング ファクタを更新できます。

サービスの更新

更新を実行する前に、次の点に注意してください。

  • （各 Dataproc Metastore サービスにつき）一度に実行できる更新ジョブは 1 つのみです。
  • 1 回の更新ジョブで複数のパラメータを更新できます。
  • Dataproc Metastore は、更新中でも使用できます。

更新が成功すると、Dataproc Metastore は自動的にアクティブ状態になります。更新が失敗すると、Dataproc Metastore サービスは以前の正常な状態にロールバックされます。

次の手順では、Dataproc Metastore サービスを更新する方法を示します。

Console

  1. Google Cloud コンソールで、[Dataproc Metastore] ページを開きます。

    Dataproc Metastore を開く

  2. [Dataproc Metastore] ページで、更新するサービスのサービス名をクリックします。

    サービスの詳細ページが開きます。

    サービスの詳細ページ
    Dataproc Metastore サービスの詳細ページ

  3. [構成] タブで [編集] をクリックします。

    [Edit service] ページが開きます。

  4. サービスで更新する値を選択します。

  5. [送信] をクリックします。

    [Dataproc Metastore] ページに戻り、サービスが正常に更新されたことを確認します。

gcloud CLI

  1. サービスを更新するには、gcloud metastore services update コマンドを実行します。

    gcloud metastore services update SERVICE \
    --location=LOCATION \
    --port=PORT \
    --tier=TIER \
    --maintenance-window-day=MAINTENANCE_WINDOW_DAY \
    --maintenance-window-hour=MAINTENANCE_WINDOW_HOUR \
    --kerberos_principal=KERBEROS_PRINCIPAL \
    --keytab=KEYTAB \
    --krb5-config=KRB5_CONFIG \
    --update-hive-metastore-configs-from-file=[KEY=VALUE, ...] \
    --clear-hive-metastore-configs \
    --remove-hive-metastore-configs=[KEY, ...] \
    --update-labels=[KEY=VALUE, ...] \
    --clear-labels \
    --remove-labels=[KEY, ...]

    以下を置き換えます。

    • SERVICE: Dataproc Metastore サービスの名前。
    • LOCATION: Dataproc Metastore サービスが存在する Google Cloud リージョン。
    • PORT: 省略可: Dataproc Metastore サービスで使用している Thrift インターフェースの TCP ポート。
    • TIER: 省略可: Dataproc Metastore サービスの階層の容量。
    • MAINTENANCE_WINDOW_DAY: 省略可。サービス ウィンドウが開始する曜日。
    • MAINTENANCE_WINDOW_HOUR: 省略可: サービス ウィンドウが開始する時間。
    • KERBEROS_PRINCIPAL: 省略可: keytab と KDC の両方に存在する Kerberos プリンシパル。一般的なプリンシパルは「primary/instance@REALM」の形式ですが、厳密な形式はありません。
    • KEYTAB: 省略可: Kerberos キー配布センターを使用してサービス プリンシパルを認証するために使用される Kerberos keytab ファイル。
    • KRB5_CONFIG: 省略可: krb5.config ファイルには、KDC と Kerberos レルムの情報を指定します。このファイルには、レルムと Kerberos アプリケーションの KDC のロケーションとデフォルトが含まれています。
    • [KEY, ...]: 省略可: 更新する Hive メタストア構成ファイル。このフィールドに変数が存在する場合は、その値が更新されます。それ以外の場合は、新しい変数が作成されます。このフラグを設定すると、-clear-hive-metastore-configs も自動的に設定されます。
    • [KEY, ...]: 省略可: 削除する Hive メタストア構成ファイル。
    • [KEY=VALUE, ...]: 省略可: 更新するラベルまたは Hive メタストアの Key-Value ペアの構成。
    • [KEY, ...]: 省略可: 削除するラベルまたは Hive メタストアの Key-Value ペアの構成。

  2. 更新が正常に終了したことを確認します。

REST

API Explorer を使用し、API の手順に従ってサービスを更新します。

Hive メタストア ウェアハウス構成を更新する

Hive ウェアハウス ディレクトリが Cloud Storage にある場合、Metastore 構成のオーバーライドを設定する必要があります。このオーバーライドにより、特定のデータ ウェアハウスが Dataproc Metastore のデフォルトのウェアハウス ディレクトリとして設定されます。

このオーバーライドを設定する前に、Dataproc Metastore サービスに、ウェアハウス ディレクトリにアクセスするためのオブジェクトの読み取り / 書き込み権限があることを確認してください。詳しくは、Hive ウェアハウス ディレクトリをご覧ください。

Hive メタストア構成ファイルのオーバーライドを更新する方法は次のとおりです。

Console

  1. Google Cloud コンソールで、[Dataproc Metastore] ページを開きます。

    Dataproc Metastore を開く

  2. [Dataproc Metastore] ページで、更新するサービスのサービス名をクリックします。

    サービスの詳細ページが開きます。

  3. [構成] タブで [編集] をクリックします。

    [Edit service] ページが開きます。

  4. [Metastore 構成のオーバーライド] に以下を入力します。

    • Key: 次の値を入力します: hive.metastore.warehouse.dir。
    • 値: ウェアハウス ディレクトリの Cloud Storage の場所。例: gs://my-bucket/path/to/location

  5. [送信] をクリックします。

    [Dataproc Metastore] ページに戻り、サービスが正常に更新されたことを確認します。

gcloud

  1. サービスを更新するには、gcloud metastore services update コマンドを実行します。

    gcloud metastore services update SERVICE \
    --location=LOCATION \
    --update-hive-metastore-configs="hive.metastore.warehouse.dir=CUSTOMER_DIR"

    以下を置き換えます。

    • SERVICE: Dataproc Metastore サービスの名前。
    • LOCATION: Dataproc Metastore サービスが存在する Google Cloud リージョン。
    • CUSTOMER_DIR: ウェアハウス ディレクトリの Cloud Storage のロケーション。例: gs://my-bucket/path/to/location

  2. 更新が正常に終了したことを確認します。

次のステップ