このページでは、Dataproc Metastore サービスを更新する方法について説明します。
Dataproc Metastore サービスを更新して、構成を変更したり、オプション機能を有効または無効したりできます。
始める前に
- プロジェクトで Dataproc Metastore を有効にします。
- Dataproc Metastore サービスを作成します。
必要なロール
Dataproc Metastore サービスの更新に必要な権限を取得するには、最小権限の原則に基づいて、プロジェクトで次の IAM のロールを付与するよう管理者に依頼してください。
-
Dataproc Metastore リソースに対する完全アクセス権を付与する(
roles/metastore.editor
) -
IAM ポリシー管理を含むすべての Dataproc Metastore リソースに対する完全アクセス権を付与する(
roles/metastore.admin
)
ロールの付与の詳細については、アクセスの管理をご覧ください。
この事前定義ロールには、Dataproc Metastore サービスを更新するために必要な metastore.services.update
権限が含まれています。
カスタムロールや他の事前定義ロールを使用して、この権限を取得することもできます。
Dataproc Metastore の特定のロールと権限については、Dataproc Metastore IAM の概要をご覧ください。サービスの更新について
次の Dataproc Metastore パラメータを更新できます。
- ポート番号。Apache Thrift インターフェースの TCP ポート番号を更新します。
- サービスティア。デベロッパー サービスティアとエンタープライズ サービスティアを切り替えます。これらの階層はサービスの容量に影響します。
- Data Catalog の同期。Data Catalog の同期機能をオンまたはオフにします。
- メンテナンスの時間枠。メンテナンスの時間枠の頻度(曜日や時間帯など)を変更します。
- Kerberos。Kerberos 認証を有効化または無効化します。以前に有効にしている場合は、Kerberos 構成ファイルを更新できます。
- Hive メタストア構成。Hive ウェアハウス ディレクトリのロケーションを更新します。
- 補助バージョン構成(プレビュー)。追加の補助バージョンを有効化、無効化、または追加します。
- ラベル。メタデータを説明する省略可能なラベルを追加または削除します。
- スケーリング ファクタスケーリング ファクタを変更します。自動スケーリングを有効または無効にでき、最小または最大のスケーリング ファクタを更新できます。
サービスの更新
更新を実行する前に、次の点に注意してください。
- (各 Dataproc Metastore サービスにつき)一度に実行できる更新ジョブは 1 つのみです。
- 1 回の更新ジョブで複数のパラメータを更新できます。
- Dataproc Metastore は、更新中でも使用できます。
更新が成功すると、Dataproc Metastore は自動的にアクティブ状態になります。更新が失敗すると、Dataproc Metastore サービスは以前の正常な状態にロールバックされます。
次の手順では、Dataproc Metastore サービスを更新する方法を示します。
Console
Google Cloud コンソールで、[Dataproc Metastore] ページを開きます。
[Dataproc Metastore] ページで、更新するサービスのサービス名をクリックします。
サービスの詳細ページが開きます。
[構成] タブで [編集] をクリックします。
[Edit service] ページが開きます。
サービスで更新する値を選択します。
[送信] をクリックします。
[Dataproc Metastore] ページに戻り、サービスが正常に更新されたことを確認します。
gcloud CLI
サービスを更新するには、
gcloud metastore services update
コマンドを実行します。gcloud metastore services update SERVICE \ --location=LOCATION \ --port=PORT \ --tier=TIER \ --maintenance-window-day=MAINTENANCE_WINDOW_DAY \ --maintenance-window-hour=MAINTENANCE_WINDOW_HOUR \ --kerberos_principal=KERBEROS_PRINCIPAL \ --keytab=KEYTAB \ --krb5-config=KRB5_CONFIG \ --update-hive-metastore-configs-from-file=[KEY=VALUE, ...] \ --clear-hive-metastore-configs \ --remove-hive-metastore-configs=[KEY, ...] \ --update-labels=[KEY=VALUE, ...] \ --clear-labels \ --remove-labels=[KEY, ...]
以下を置き換えます。
SERVICE
: Dataproc Metastore サービスの名前。LOCATION
: Dataproc Metastore サービスが存在する Google Cloud リージョン。PORT
: 省略可: Dataproc Metastore サービスで使用している Thrift インターフェースの TCP ポート。TIER
: 省略可: Dataproc Metastore サービスの階層の容量。MAINTENANCE_WINDOW_DAY
: 省略可。サービス ウィンドウが開始する曜日。MAINTENANCE_WINDOW_HOUR
: 省略可: サービス ウィンドウが開始する時間。KERBEROS_PRINCIPAL
: 省略可: keytab と KDC の両方に存在する Kerberos プリンシパル。一般的なプリンシパルは「primary/instance@REALM」の形式ですが、厳密な形式はありません。KEYTAB
: 省略可: Kerberos キー配布センターを使用してサービス プリンシパルを認証するために使用される Kerberos keytab ファイル。KRB5_CONFIG
: 省略可: krb5.config ファイルには、KDC と Kerberos レルムの情報を指定します。このファイルには、レルムと Kerberos アプリケーションの KDC のロケーションとデフォルトが含まれています。[KEY, ...]
: 省略可: 更新する Hive メタストア構成ファイル。このフィールドに変数が存在する場合は、その値が更新されます。それ以外の場合は、新しい変数が作成されます。このフラグを設定すると、-clear-hive-metastore-configs
も自動的に設定されます。[KEY, ...]
: 省略可: 削除する Hive メタストア構成ファイル。[KEY=VALUE, ...]
: 省略可: 更新するラベルまたは Hive メタストアの Key-Value ペアの構成。[KEY, ...]
: 省略可: 削除するラベルまたは Hive メタストアの Key-Value ペアの構成。
更新が正常に終了したことを確認します。
REST
API Explorer を使用し、API の手順に従ってサービスを更新します。
Hive メタストア ウェアハウス構成を更新する
Hive ウェアハウス ディレクトリが Cloud Storage にある場合、Metastore 構成のオーバーライドを設定する必要があります。このオーバーライドにより、特定のデータ ウェアハウスが Dataproc Metastore のデフォルトのウェアハウス ディレクトリとして設定されます。
このオーバーライドを設定する前に、Dataproc Metastore サービスに、ウェアハウス ディレクトリにアクセスするためのオブジェクトの読み取り / 書き込み権限があることを確認してください。詳しくは、Hive ウェアハウス ディレクトリをご覧ください。
Hive メタストア構成ファイルのオーバーライドを更新する方法は次のとおりです。
Console
Google Cloud コンソールで、[Dataproc Metastore] ページを開きます。
[Dataproc Metastore] ページで、更新するサービスのサービス名をクリックします。
サービスの詳細ページが開きます。
[構成] タブで [編集] をクリックします。
[Edit service] ページが開きます。
[Metastore 構成のオーバーライド] に以下を入力します。
- Key: 次の値を入力します:
hive.metastore.warehouse.dir
。 - 値: ウェアハウス ディレクトリの Cloud Storage の場所。例:
gs://my-bucket/path/to/location
- Key: 次の値を入力します:
[送信] をクリックします。
[Dataproc Metastore] ページに戻り、サービスが正常に更新されたことを確認します。
gcloud
サービスを更新するには、
gcloud metastore services update
コマンドを実行します。gcloud metastore services update SERVICE \ --location=LOCATION \ --update-hive-metastore-configs="hive.metastore.warehouse.dir=CUSTOMER_DIR"
以下を置き換えます。
SERVICE
: Dataproc Metastore サービスの名前。LOCATION
: Dataproc Metastore サービスが存在する Google Cloud リージョン。CUSTOMER_DIR
: ウェアハウス ディレクトリの Cloud Storage のロケーション。例:gs://my-bucket/path/to/location
更新が正常に終了したことを確認します。