補助バージョン

Dataproc Metastore の補助バージョンは、プライマリ Dataproc Metastore サービスに接続されている Hive メタストア サービスです。補助バージョンは、プライマリ Dataproc Metastore バージョンよりも前のものです。これらのバージョンは、Hive メタストア クライアント ライブラリの異なるバージョンを使用するさまざまなデータ処理エンジンと Hive メタストア バージョンの互換性を提供します。

補助バージョンを使用する場面

補助バージョンを使用すると、Dataproc Metastore サービスのメタデータ データベース スキーマよりも前の Hive バージョンに対して、Hive メタストアのワイヤ プロトコルを使用する追加のエンドポイントを公開できます。これにより、異なるバージョンの Hive メタストア クライアント ライブラリを使用するデータ処理エンジン間でメタデータを共有できます。

補助バージョンの仕組み

Dataproc Metastore サービスの追加の Hive メタストア バージョンを指定すると、別々のエンドポイントで公開されるようにすることもできます。すべてのエンドポイントが共通のメタデータ データベースを共有します。

メタデータ データベースのスキーマ バージョンは、Dataproc Metastore サービスのプライマリ Hive メタストアのバージョンと一致します。すべての補助バージョンは、メタデータ スキーマとの上位互換性の問題を回避するため、プライマリ サービスのバージョンより前になります。

補助バージョンは、Dataproc Metastore サービスごとに 1 つだけサポートされます。

Dataproc Metastore サービスの作成時または更新時に補助バージョンを指定できます。サービスを更新するときに、補助バージョンを追加または削除できます。

Dataproc Metastore サービスで補助バージョンを作成する

次の手順は、Dataproc Metastore サービスで補助バージョンを作成する方法を示しています。

Console

  1. Cloud Console で、Dataproc Metastore ページを開きます。

    Cloud Console で Dataproc Metastore を開く

  2. Dataproc Metastore ページの上部にある [作成] ボタンをクリックします。[Create service] ページが開きます。

  3. 必要に応じてサービスを構成します。

  4. [補助バージョン構成] で、補助バージョンを有効にします。

  5. [補助バージョンを追加] をクリックします。

    1. 補助バージョンの名前を入力します。

    2. 補助バージョンのバージョンを選択します。

    3. 省略可: 補助バージョンにマッピングを適用するには、[+ オーバーライドを追加] をクリックします。

    4. [完了] をクリックします。

  6. [送信] をクリックします。

gcloud

  1. 次のいずれかの gcloud beta metastore services create コマンドを実行して、
    補助バージョンを持つサービスを作成します。

    gcloud beta metastore services create SERVICE \
        --location=LOCATION \
        --auxiliary-versions=AUXILIARY_VERSIONS, ...
    

    または

    gcloud beta metastore services create SERVICE \
        --location=LOCATION \
        --auxiliary-versions-from-file=AUXILIARY_VERSIONS_FROM_FILE
    

    次のように置き換えます。

    • SERVICE: 新しいサービスの名前。
    • LOCATION: Google Cloud のリージョン
    • AUXILIARY_VERSIONS: デプロイする補助 Hive メタストア バージョンのカンマ区切りのリスト
    • AUXILIARY_VERSIONS_FROM_FILE: 補助バージョン構成を含む YAML ファイルへのパス。詳細と例については、SDK のドキュメントをご覧ください。
  2. 正常に作成されたことを確認します。

curl

create メソッドを使用して Dataproc Metastore サービスを作成すると、補助バージョンを作成できます。

   ```
     curl -X POST -s -i \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -d '{"network":"projects/PROJECT_ID/global/networks/default", "port": 9083, "hive_metastore_config": {"auxiliary_versions": {"aux-version1": {"version": "AUX_VERSION"} } } }' \
     -H "Content-Type:application/json" \
     https://metastore.googleapis.com/v1beta/projects/PROJECT_ID/locations/LOCATION/services?service_id=SERVICE_ID
   ```

Dataproc Metastore サービスで補助バージョンを更新する

次の手順は、Dataproc Metastore サービスで補助バージョンを更新する方法を示しています。

Console

  1. Cloud Console で、Dataproc Metastore ページを開きます。

    Cloud Console で Dataproc Metastore を開く

  2. [Dataproc Metastore] ページで、更新するサービスのサービス名をクリックします。対象サービスの [サービスの詳細] ページが開きます。

  3. [CONFIGURATION] タブで [編集] ボタンをクリックします。[Edit service] ページが開きます。

  4. [補助バージョン構成] で、補助バージョンを有効または無効にします。

  5. 補助バージョンを削除するには、[削除] をクリックします。

  6. 新しい補助バージョンを追加するには、[Auxiliary バージョンを追加] をクリックします。

  7. 補助バージョンにマッピングを適用するには、[+ オーバーライドを追加] をクリックします。

  8. [送信] をクリックします。

gcloud

  1. Private Service Connect でサービスを更新するには、次の gcloud beta metastore services update コマンドを実行します。

    gcloud beta metastore services update SERVICE \
       --location=LOCATION \
       --add-auxiliary-versions=AUXILIARY_VERSIONS, ...
    

    または

    gcloud beta metastore services update SERVICE \
       --location=LOCATION \
       --update-auxiliary-versions-from-file=AUXILIARY_VERSIONS_FROM_FILE
    

    次のように置き換えます。

    • SERVICE: サービスの名前
    • LOCATION: Google Cloud のリージョン
    • AUXILIARY_VERSIONS: デプロイする補助 Hive メタストア バージョンのカンマ区切りのリスト
    • AUXILIARY_VERSIONS_FROM_FILE: 補助バージョン構成を含む YAML ファイルへのパス。詳細と例については、SDK のドキュメントをご覧ください。
  2. 更新が正常に終了したことを確認します。

curl

patch メソッドを使用して Dataproc Metastore サービスを更新すると、補助バージョンを更新できます。

 ```
   curl -X PATCH -s -i \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -d '{"hive_metastore_config": {"auxiliary_versions": {"aux-version1": {"version": "AUX_VERSION} } } }' \
   -H "Content-Type:application/json" \
   https://metastore.googleapis.com/v1beta/projects/PROJECT_ID/locations/LOCATION/services/SERVICE_ID?update_mask=hive_metastore_config.auxiliary_versions
 ```

動作とプロパティの共有

次の表は、Dataproc Metastore サービスのさまざまな動作とプロパティと、これらがサービス間で共有されるか、Hive メタストア バージョンごとに複製されるかを示しています。一般に、静的構成、メタデータ データベース、メタデータ自体に関連する側面は共有されます。一方、Hive メタストアのメタデータ リクエストのリクエストパスに影響する動作は、Hive メタストア バージョンごとに複製されます。

動作 サービスごと バージョンごと
エンドポイント
Hive 構成のオーバーライド
Kerberos config
エンドポイント プロトコル(Thrift/gRPC)
Trift ポート
Artifacts Cloud Storage バケット
ティア
メンテナンス時間枠
リリース チャンネル
Encryption config
データベースの種類
Data Catalog の同期の切り替え
リクエスト数の指標

Dataproc クラスタを接続する

補助のエンドポイント URI とウェアハウス ディレクトリを使用して、Dataproc Metastore の補助バージョンを Hive メタストアとして使用する Dataproc クラスタを接続できます。

Dataproc クラスタを接続する方法の詳細については、ENDPOINT_URIWAREHOUSE_DIR を使用して Dataproc クラスタを接続するをご覧ください。

補助バージョンに関する注意点

補助バージョンには以下の注意点があります。

  • 補助バージョンは、メイン バージョンよりも前のバージョンである必要があります。

  • 補助バージョンは、Dataproc Metastore サービスごとに 1 つだけサポートされます。

  • Private Service Connect の構成では、補助バージョンはサポートされていません。

  • Spanner データベース タイプは、補助バージョンではサポートされていません。

  • インポート、エクスポート、バックアップ、復元は補助バージョンには適用されません。

  • Hive バージョンによっては、補助バージョンの一部の Hive メタストア メソッドはメインのバージョンでは動作しない場合があります。

  • 補助バージョンのログは、メインのバージョンとは別のものです。Cloud Logging を使用して Hive メタストアの問題をデバッグできます。

次のステップ