Dataproc Metastore ネットワーキングの概要

このドキュメントでは、Dataproc Metastore サービスの設定に使用できるネットワーキング設定の概要について説明します。

ネットワーキングのトピックに関するクイック リファレンス

ネットワークの設定 メモ
デフォルトのネットワーク設定
VPC ネットワーク デフォルトでは、Dataproc Metastore サービスは VPC ネットワークを使用して Google Cloud に接続します。

VPC ネットワークが作成されると、Dataproc Metastore はサービスに VPC ネットワーク ピアリングも自動的に構成します。
VPC サブネットワーク 必要に応じて、Private Service Connect を使用して VPC サブネットワークを持つ Dataproc Metastore サービスを作成することもできます。これは、VPC ネットワークを使用する代わりに用いられる方法です。
その他のネットワーク設定
共有 VPC ネットワーク 必要に応じて、共有 VPC ネットワーク内に Dataproc Metastore サービスを作成することもできます。
オンプレミス ネットワーキング Cloud VPN または Cloud Interconnect を使用して、オンプレミス環境で Dataproc Metastore サービスに接続できます。
VPC Service Controls 必要に応じて、VPC Service Controls を使用して Dataproc Metastore サービスを作成することもできます。
ファイアウォール ルール デフォルト以外の環境または非公開のセキュリティ フットプリントが確立された環境では、独自のファイアウォール ルールの作成が必要になる場合があります。

デフォルトのネットワーキング設定

次のセクションでは、Dataproc Metastore が使用するデフォルトのネットワーク設定（VPC ネットワークと VPC ネットワーク ピアリング）について説明します。

VPC ネットワーク

デフォルトでは、Dataproc Metastore サービスは VPC ネットワークを使用して Google Cloud に接続します。VPC ネットワークは、Google の本番環境ネットワーク内に仮想的に実装された物理ネットワークです。Dataproc Metastore を作成すると、サービスによって VPC ネットワークが自動的に作成されます。

サービスを作成するときに設定を変更しない場合、Dataproc Metastore は default VPC ネットワークを使用します。 この設定では、Dataproc Metastore サービスで使用する VPC ネットワークは、同じ Google Cloud プロジェクトまたは別のプロジェクトに属することができます。 この設定を使用すると、単一の VPC ネットワークでサービスを公開したり、（サブネットワークを使用して）複数の VPC ネットワークからサービスにアクセスできるようになります。

Dataproc Metastore では、各 VPC ネットワークのリージョンごとに以下が必要です。

VPC ネットワーク ピアリング

VPC ネットワークが作成されると、Dataproc Metastore はサービスの VPC ネットワーク ピアリングも自動的に構成します。VPC は、Dataproc Metastore のエンドポイント プロトコルへのアクセスをサービスに提供します。サービスを作成すると、Google Cloud コンソールの [VPC ネットワーク ピアリング] ページで基盤となる VPC ネットワーク ピアリングを確認できます。

VPC ネットワーク ピアリングは推移的ではありません。 つまり、直接ピアリングされたネットワークのみが相互に通信できます。たとえば、次のシナリオについて考えてみましょう。

次のネットワーク（VPC ネットワーク N1、N2、N3）があります。

  • VPC ネットワーク N1 は N2 と N3 にペア設定されています。
  • VPC ネットワーク N2 と N3 は直接接続されていません。

これが意味すること

つまり、VPC ネットワーク N2 は VPC ネットワーク ピアリングを介して VPC ネットワーク N3 と通信できません。これにより、Dataproc Metastore 接続に次のような影響があります。

  • Dataproc Metastore プロジェクト ネットワークとピアリングしているネットワーク内の仮想マシンは、Dataproc Metastore に到達できません。
  • Dataproc Metastore サービスにアクセスできるのは、VPC ネットワーク上のホストに限られます。

VPC ネットワーク ピアリングのセキュリティに関する考慮事項

  • VPC ネットワーク ピアリングを介したトラフィックは、特定のレベルの暗号化により実現されます。詳細については、Google Cloud 仮想ネットワークの暗号化と認証をご覧ください。

  • 内部 IP アドレスを持つサービスごとに 1 つの VPC ネットワークを作成すると、すべてのサービスを default VPC ネットワークに接続するよりも適切にネットワークが分離されます。

VPC サブネットワーク

Private Service Connect（PSC）を使用すると、VPC ネットワーク全体で Dataproc Metastore メタデータへのプライベート接続を設定できます。PSC を使用すると、VPC ピアリングなしでサービスを作成できます。これにより、VPC ネットワークを離れたり、外部 IP アドレスを使用することなく、独自の内部 IP アドレスを使用して Dataproc Metastore にアクセスできます。

サービスを作成するときに Private Service Connect を設定する方法については、Dataproc Metastore で Private Service Connect を使用するをご覧ください。

IP アドレス

ネットワークに接続してメタデータを保護するために、Dataproc Metastore サービスは内部 IP アドレスのみを使用します。つまり、パブリック IP アドレスは公開されていないか、ネットワーク用に使用できます。

内部 IP アドレスを使用すると、Dataproc Metastore は、指定された Virtual Private Cloud（VPC）ネットワークまたはオンプレミス環境にある仮想マシン（VM）にのみ接続できます。

Dataproc Metastore サービスへの内部 IP アドレスを使用した接続には、RFC 1918 アドレス範囲が使用されます。これらの範囲を使用すると、Dataproc Metastore は各リージョンのアドレス空間から /17 範囲と /20 範囲を割り振ります。たとえば、Dataproc Metastore サービスを 2 つのリージョンに配置するには、割り振られる IP アドレス範囲に次のものが必要です。

  • サイズ /17 の未使用のアドレス ブロックが 2 つ以上。
  • サイズ /20 の未使用のアドレス ブロックが 2 つ以上。

RFC 1918 アドレス ブロックが見つからない場合、Dataproc Metastore は RFC 1918 以外の適切なアドレス ブロックを代わりに検出します。なお、RFC 1918 以外のブロックの割り振りでは、それらのアドレスが VPC ネットワークで使用されているか、オンプレミスで使用されているかは考慮されません。

その他のネットワーキング設定

別のネットワーキング設定が必要な場合は、Dataproc Metastore サービスで次のオプションを使用できます。

共有 VPC ネットワーク

Dataproc Metastore サービスは、共有 VPC ネットワークに作成できます。共有 VPC を使用すると、複数のプロジェクトの Dataproc Metastore リソースを共通の VPC（VPC）ネットワークに接続できます。

サービスの作成時に共有 VPC を設定するには、Dataproc Metastore サービスを作成するをご覧ください。

オンプレミス ネットワーキング

Cloud VPN または Cloud Interconnect を使用して、オンプレミス環境で Dataproc Metastore サービスに接続できます。

VPC Service Controls

VPC Service Controls を使用すると、データの引き出しのリスクを軽減できます。VPC Service Controls を使用して、Dataproc Metastore サービスの周囲に境界を作成します。VPC Service Controls により、境界内部のリソースへのアクセスが制限されます。境界内のクライアントとリソースだけが相互に通信可能です。

Dataproc Metastore で VPC Service Controls を使用するには、Dataproc Metastore を使用した VPC Service Controls をご覧ください。また、VPC Service Controls を使用する場合の Dataproc Metastore の制限もご覧ください。

Dataproc Metastore のファイアウォール ルール

デフォルト以外の環境または非公開のセキュリティ フットプリントが確立された環境では、独自のファイアウォール ルールの作成が必要になる場合があります。その場合は、Dataproc Metastore サービスの IP アドレス範囲またはポートをブロックするファイアウォール ルールを作成しないでください。

Dataproc Metastore サービスを作成する際は、サービスのデフォルトのネットワークをそのまま使用できます。デフォルトのネットワークでは、VM に対して完全な内部 IP ネットワーク アクセスが保証されます。

ファイアウォール ルールの詳細については、VPC ファイアウォール ルールと VPC ファイアウォール ルールの使用をご覧ください。

カスタム ネットワークのファイアウォール ルールを作成する

カスタム ネットワークを使用するときは、ファイアウォール ルールで Dataproc Metastore エンドポイント との間のトラフィックが許可されていることを確認してください。Dataproc Metastore トラフィックを明示的に許可するには、次の gcloud コマンドを実行します。

gcloud compute firewall-rules create dpms-allow-egress-DPMS_NETWORK-REGION --allow tcp --destination-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK --direction OUT

gcloud compute firewall-rules create dpms-allow-ingress-DPMS_NETWORK-REGION --allow tcp,udp --source-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK

DPMS_NET_PREFIX の場合は、/17 サブネット マスクを Dataproc Metastore サービス IP に適用します。 Dataproc Metastore の IP アドレス情報は、サービスの詳細ページの endpointUri 構成で確認できます。

考慮事項

ネットワークには暗黙の下り（外向き）許可ルールがあり、通常はネットワークから Dataproc Metastore へのアクセスは許可されます。下り（外向き）拒否ルールを作成して暗黙の下り（外向き）許可ルールをオーバーライドする場合は、それよりも優先度が高い下り（外向き）許可ルールを作成して Dataproc Metastore IP への下り（外向き）を許可する必要があります。

Kerberos などの一部の機能では、プロジェクト ネットワークのホストへの接続を開始するために、Dataproc Metastore が必要になります。すべてのネットワークには、このような接続をブロックしてこれらの機能が機能しないようにする、暗黙の上り（内向き）拒否ルールがあります。Dataproc Metastore IP を含む /17 IP ブロックからのすべてのポートで TCP および UDP 上り（内向き）を許可するファイアウォール ルールを作成する必要があります。

カスタム ルーティング

カスタムルートは、プライベートで使用されるパブリック IP アドレス（PUPI）を使用するサブネット用です。カスタムルートを使用すると、VPC ネットワークをピア ネットワークに接続できます。 カスタムルートは、VPC ネットワークがルートによってインポートされ、ピア ネットワークによって明示的にエクスポートされた場合にのみ受信できます。カスタムルートは静的または動的のいずれかです。

ピアリングされた VPC ネットワークとカスタムルートを共有すると、そのネットワークから直接ルートを「学習」できます。つまり、ピア ネットワークのカスタムルートが更新されると、VPC ネットワークは自動的にカスタムルートを学習して実装します。追加操作は必要ありません。

カスタム ルーティングの詳細については、ネットワーク構成をご覧ください。

Dataproc Metastore ネットワーキングの例

次の例では、Google がお客様の VPC ネットワークに 10.100.0.0/17 と 10.200.0.0/20 のアドレス範囲を Google サービス用に割り振り、ピアリングされた VPC ネットワーク内のアドレス範囲を使用します。

代替テキストをここに挿入
図 1. Dataproc Metastore VPC ネットワーク構成

ネットワーキングの例の説明:

  • VPC ピアリングの Google サービス側では、Google がお客様用のプロジェクトを作成します。このプロジェクトは分離されていて他のお客様と共有されることはなく、費用はお客様がプロビジョニングしたリソースに対してのみ発生します。
  • リージョンで最初の Dataproc Metastore サービスを作成すると、Dataproc Metastore は、そのリージョンとネットワークで今後使用するすべての Dataproc Metastore サービスの使用に対して、お客様のネットワークに /17 範囲と /20 範囲を割り当てます。Dataproc Metastore は、これらの範囲をさらに細分化して、サービス プロデューサー プロジェクトにサブネットワークとアドレス範囲を作成します。
  • Google Cloud サービスがサポートしている場合、お客様のネットワーク内の VM サービスは、任意のリージョンの Dataproc Metastore サービス リソースにアクセスできます。一部の Google Cloud サービスは、リージョン間通信をサポートしていない場合があります。
  • VM インスタンスが異なるリージョンのリソースと通信する場合、リージョン間トラフィックの下りのコストが引き続き適用されます。
  • Google は、Dataproc Metastore サービスに IP アドレス 10.100.0.100 を割り振ります。お客様の VPC ネットワークで、宛先が 10.100.0.100 のリクエストは、VPC ピアリングを介してサービス プロデューサーのネットワークに転送されます。サービス ネットワークに到達すると、サービス ネットワークにはリクエストを正しいリソースに送るルートが存在します。
  • VPC ネットワーク間のトラフィックは、公共のインターネットを経由せず、Google のネットワーク内を内部的に転送されます。

次のステップ