Dataproc Metastore のネットワーキングの概要

このドキュメントでは、Dataproc Metastore サービスの設定に使用できるネットワーク設定の概要について説明します。

注: このページのネットワーク コンセプトのほとんどは、Thrift エンドポイント プロトコルを使用する Dataproc Metastore サービスにのみ適用されます。gRPC エンドポイント プロトコルを使用している場合、このドキュメントで考慮する必要があるネットワーク構成は、VPC Service Controls のみです。

ネットワーキングのトピックに関するクイック リファレンス

ネットワークの設定	メモ
デフォルトのネットワーク設定
VPC ネットワーク	デフォルトでは、Dataproc Metastore サービスは VPC ネットワークを使用して Google Cloud に接続します。 VPC ネットワークを作成すると、Dataproc Metastore によって、サービスの VPC ネットワーク ピアリング も自動的に構成されます。
VPC サブネットワーク	必要に応じて、Private Service Connect を使用して、VPC サブネットワークで Dataproc Metastore サービスを作成することもできます。 これは、VPC ネットワークを使用する代わりに用いられる方法です。
追加のネットワーク設定
共有 VPC ネットワーク	必要に応じて、共有 VPC ネットワーク内に Dataproc Metastore サービスを作成することもできます。
オンプレミス ネットワーキング	Cloud VPN または Cloud Interconnect を使用して、オンプレミス環境で Dataproc Metastore サービスに接続できます。
VPC Service Controls	必要に応じて、VPC Service Controls で Dataproc Metastore サービスを作成することもできます。
ファイアウォール ルール	デフォルト以外の環境または非公開のセキュリティ フットプリントが確立された環境では、独自のファイアウォール ルールの作成が必要になる場合があります。

デフォルトのネットワーク設定

次のセクションでは、Dataproc Metastore で使用されるデフォルトのネットワーク設定（VPC ネットワークと VPC ネットワーク ピアリング）について説明します。

VPC ネットワーク

デフォルトでは、Dataproc Metastore サービスは VPC ネットワークを使用して Google Cloud に接続します。VPC ネットワークは、Google の本番環境ネットワーク内に仮想的に実装された物理ネットワークです。Dataproc Metastore を作成すると、サービスにより VPC ネットワークが自動的に作成されます。

サービスの作成時に設定を変更しない場合、Dataproc Metastore によって default VPC ネットワークが使用されます。この設定では、Dataproc Metastore サービスで使用する VPC ネットワークは、同じ Google Cloud プロジェクトまたは別のプロジェクトに属することができます。この設定では、単一の VPC ネットワークでサービスを公開することも、サブネットワークを使用して複数の VPC ネットワークからサービスにアクセスできるようにすることもできます。

Dataproc Metastore では、各 VPC ネットワークのリージョンごとに以下が必要です。

• 1 ピアリング割り当て
• /17 と /20 CIDR

VPC ネットワーク ピアリング

VPC ネットワークを作成すると、Dataproc Metastore によって、サービスの VPC ネットワーク ピアリングも自動的に構成されます。VPC は、Dataproc Metastore エンドポイント プロトコルへのアクセスを提供します。サービスを作成すると、Google Cloud コンソールの [VPC ネットワーク ピアリング] ページで、基盤となる VPC ネットワーク ピアリングを確認できます。

VPC ネットワーク ピアリングは推移的ではありません。 つまり、直接ピアリングしたネットワークだけが相互に通信できます。たとえば、次のシナリオについて考えてみましょう。

VPC ネットワーク N1、N2、N3 があります。

• VPC ネットワーク N1 は N2 および N3 とペアになっています。
• VPC ネットワーク N2 と N3 は直接接続されていません。

これが意味すること

つまり、VPC ネットワーク ピアリングを介して、VPC ネットワーク N2 は VPC ネットワーク N3 と通信できません。これは、次の点で Dataproc Metastore の接続に影響します。

• Dataproc Metastore プロジェクト ネットワークとピアリングしているネットワーク内の仮想マシンは、Dataproc Metastore に到達できません。
• Dataproc Metastore サービスにアクセスできるのは、VPC ネットワーク上のホストに限られます。

VPC ネットワーク ピアリングのセキュリティに関する考慮事項

• VPC ネットワーク ピアリングを介したトラフィックは、特定のレベルの暗号化により実現されます。詳細については、Google Cloud 仮想ネットワークの暗号化と認証をご覧ください。

• 内部 IP アドレスを持つサービスごとに 1 つの VPC ネットワークを作成すると、すべてのサービスを default VPC ネットワークに配置するよりも適切にネットワークが分離されます。

VPC サブネットワーク

Private Service Connect（PSC）を使用すると、VPC ネットワーク間に Dataproc Metastore メタデータへのプライベート接続を設定できます。PSC を使用すると、VPC ピアリングなしでサービスを作成できます。これにより、VPC ネットワークを離れる、または外部 IP アドレスを使用することなく、独自の内部 IP アドレスを使用して Dataproc Metastore にアクセスできます。

サービスの作成時に Private Service Connect を設定するには、Dataproc Metastore を使用した Private Service Connect をご覧ください。

IP アドレス

ネットワークに接続してメタデータを保護するため、Dataproc Metastore サービスは内部 IP アドレスのみを使用します。つまり、パブリック IP アドレスは公開されていないか、ネットワーク目的で使用できません。

内部 IP アドレスを使用して、Dataproc Metastore は、指定された Virtual Private Cloud（VPC）ネットワークまたはオンプレミス環境に存在する仮想マシン（VM）にのみ接続できます。

Dataproc Metastore サービスへの内部 IP アドレスを使用した接続には、RFC 1918 アドレス範囲が使用されます。これらの範囲を使用すると、Dataproc Metastore では、各リージョンのアドレス空間から /17 範囲と /20 範囲が割り当てられます。たとえば、Dataproc Metastore サービスを 2 つのリージョンに配置するには、割り振られる IP アドレス範囲に以下が含まれている必要があります。

• サイズが /17 の未使用のアドレス ブロックが 2 つ以上ある。
• サイズが /20 のサイズの未使用のアドレス ブロックが 2 つ以上ある。

RFC 1918 アドレス ブロックが見つからない場合、Dataproc Metastore は RFC 1918 以外の適切なアドレス ブロックを代わりに検出します。なお、RFC 1918 以外のブロックの割り振りでは、それらのアドレスが VPC ネットワークで使用されているか、オンプレミスで使用されているかは考慮されません。

追加のネットワーク設定

別のネットワーク設定が必要な場合は、Dataproc Metastore サービスで次のオプションを使用できます。

共有 VPC ネットワーク

Dataproc Metastore サービスは、共有 VPC ネットワークに作成できます。共有 VPC を使用すると、複数のプロジェクトの Dataproc Metastore リソースを共通の VPC（VPC）ネットワークに接続できます。

サービスの作成時に共有 VPC を設定するには、Dataproc Metastore サービスの作成をご覧ください。

オンプレミス ネットワーキング

Cloud VPN または Cloud Interconnect を使用して、オンプレミス環境で Dataproc Metastore サービスに接続できます。

VPC Service Controls

VPC Service Controls を使用すると、データの引き出しのリスクを軽減できます。VPC Service Controls で Dataproc Metastore サービスの周囲に境界を作成します。VPC Service Controls により、境界内部のリソースへのアクセスが制限されます。境界内のクライアントとリソースだけが相互に通信可能です。

Dataproc Metastore で VPC Service Controls を使用するには、Dataproc Metastore を使用した VPC Service Controls をご覧ください。また、VPC Service Controls を使用する場合の Dataproc Metastore の制限もご覧ください。

Dataproc Metastore のファイアウォール ルール

デフォルト以外の環境または非公開のセキュリティ フットプリントが確立された環境では、独自のファイアウォール ルールの作成が必要になる場合があります。その場合は、Dataproc Metastore サービスの IP アドレス範囲またはポートをブロックするファイアウォール ルールを作成しないでください。

Dataproc Metastore サービスを作成する際は、サービスのデフォルトのネットワークをそのまま使用できます。デフォルトのネットワークでは、VM に対して完全な内部 IP ネットワーク アクセスが保証されます。

ファイアウォール ルールの詳細については、VPC ファイアウォール ルールと VPC ファイアウォール ルールの使用をご覧ください。

カスタム ネットワークのファイアウォール ルールを作成する

カスタム ネットワークを使用するときは、ファイアウォール ルールで Dataproc Metastore エンドポイント との間のトラフィックが許可されていることを確認してください。Dataproc Metastore トラフィックを明示的に許可するには、次の gcloud コマンドを実行します。

gcloud compute firewall-rules create dpms-allow-egress-DPMS_NETWORK-REGION --allow tcp --destination-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK --direction OUT

gcloud compute firewall-rules create dpms-allow-ingress-DPMS_NETWORK-REGION --allow tcp,udp --source-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK

DPMS_NET_PREFIX の場合は、/17 サブネット マスクを Dataproc Metastore サービス IP に適用します。 Dataproc Metastore の IP アドレス情報は、サービスの詳細ページの endpointUri 構成で確認できます。

考慮事項

ネットワークには暗黙の下り（外向き）許可ルールがあり、通常はネットワークから Dataproc Metastore へのアクセスは許可されます。下り（外向き）拒否ルールを作成して暗黙の下り（外向き）許可ルールをオーバーライドする場合は、それよりも優先度が高い下り（外向き）許可ルールを作成して Dataproc Metastore IP への下り（外向き）を許可する必要があります。

Kerberos などの一部の機能では、プロジェクト ネットワークのホストへの接続を開始するために、Dataproc Metastore が必要になります。すべてのネットワークには、このような接続をブロックしてこれらの機能が機能しないようにする、暗黙の上り（内向き）拒否ルールがあります。Dataproc Metastore IP を含む /17 IP ブロックからのすべてのポートで TCP および UDP 上り（内向き）を許可するファイアウォール ルールを作成する必要があります。

カスタム ルーティング

カスタムルートは、プライベートで利用されるパブリック IP アドレス（PUPI）を使用するサブネット用です。カスタムルートを使用すると、VPC ネットワークはピア ネットワークに接続できます。 カスタムルートは、VPC ネットワークがルートによってインポートされ、ピア ネットワークによって明示的にエクスポートされた場合にのみ受信できます。カスタムルートは、静的ルートまたは動的ルートのいずれかです。

ピアリングされた VPC ネットワークとカスタムルートを共有すると、そのネットワークから直接ルートを「学習」できます。つまり、ピア ネットワークのカスタムルートが更新されると、VPC ネットワークは自動的にカスタムルートを学習して実装します。追加操作は必要ありません。

カスタム ルーティングの詳細については、ネットワーク構成をご覧ください。

Dataproc Metastore のネットワーキングの例

次の例では、Google がお客様の VPC ネットワークに 10.100.0.0/17 と 10.200.0.0/20 のアドレス範囲を Google サービス用に割り振り、ピアリングされた VPC ネットワーク内のアドレス範囲を使用します。

図 1. Dataproc Metastore VPC ネットワークの構成

ネットワーキングの例の説明:

• VPC ピアリングの Google サービス側では、Google がお客様用のプロジェクトを作成します。このプロジェクトは分離されていて他のお客様と共有されることはなく、費用はお客様がプロビジョニングしたリソースに対してのみ発生します。
• リージョンで最初の Dataproc Metastore サービスを作成すると、Dataproc Metastore は、そのリージョンとネットワークで今後使用するすべての Dataproc Metastore サービスの使用に対して、お客様のネットワークに /17 範囲と /20 範囲を割り当てます。Dataproc Metastore は、これらの範囲をさらに分割し、サービス プロデューサー プロジェクトにサブネットワークとアドレス範囲を作成します。
• お客様のネットワーク内の VM サービスは、Google Cloud サービスがサポートしていれば、任意のリージョンの Dataproc Metastore サービス リソースにアクセスできます。一部の Google Cloud サービスは、リージョン間通信をサポートしていない場合があります。
• VM インスタンスが異なるリージョンのリソースと通信する場合、リージョン間トラフィックの下りのコストが引き続き適用されます。
• Google は、Dataproc Metastore サービスに IP アドレス 10.100.0.100 を割り振ります。お客様の VPC ネットワークで、宛先が 10.100.0.100 のリクエストは、VPC ピアリングを介してサービス プロデューサーのネットワークに転送されます。サービス ネットワークに到達すると、サービス ネットワークにはリクエストを正しいリソースに送るルートが存在します。
• VPC ネットワーク間のトラフィックは、公共のインターネットを経由せず、Google のネットワーク内を内部的に転送されます。

次のステップ

• VPC Service Controls と Dataproc Metastore
• Dataproc Metastore IAM とアクセス制御
• Dataproc Metastore で Private Service Connect を使用する