Dataproc Metastore 網路總覽

本文將概述可用於設定 Dataproc Metastore 服務的網路設定。

網路主題簡要參考資訊

網路設定 附註
預設網路設定
虛擬私有雲網路 根據預設，Dataproc Metastore 服務會使用虛擬私有雲網路連線至 Google Cloud。

建立 VPC 網路後，Dataproc Metastore 也會自動為您的服務設定 VPC 網路對等互連 。
虛擬私有雲子網路 您可以選擇使用 Private Service Connect，透過虛擬私有雲子網路建立 Dataproc Metastore 服務。這是使用 VPC 網路的替代方案。
其他網路設定
共用虛擬私有雲網路 您也可以選擇在共用虛擬私有雲網路中建立 Dataproc Metastore 服務。
內部部署網路 您可以使用 Cloud VPN 或 Cloud Interconnect，從內部部署環境連線至 Dataproc Metastore 服務。
VPC Service Controls 您可以選擇使用 VPC Service Controls 建立 Dataproc Metastore 服務。
防火牆規則 在已建立安全防護程序的非預設或私有環境中，您可能需要自行建立防火牆規則。

預設網路設定

以下各節說明 Dataproc Metastore 使用的預設網路設定，包括 VPC 網路和 VPC 網路對等互連。

虛擬私有雲網路

根據預設，Dataproc Metastore 服務會使用「虛擬私有雲網路」連線至 Google Cloud。虛擬私有雲網路是實體網路的虛擬版本，而且已導入 Google 的正式環境網路。建立 Dataproc Metastore 時，服務會自動為您建立 VPC 網路。

如果您在建立服務時未變更任何設定，Dataproc Metastore 會使用 default 虛擬私有雲網路。使用這項設定時，您與 Dataproc Metastore 服務搭配使用的虛擬私有雲網路，可以屬於相同 Google Cloud 專案或不同專案。您也可以透過這項設定，在單一虛擬私有雲網路中公開服務，或讓多個虛擬私有雲網路存取服務 (透過使用子網路)。

Dataproc Metastore 每個虛擬私有雲網路的每個區域都需要下列項目：

虛擬私有雲網路對等互連

建立虛擬私有雲網路後，Dataproc Metastore 也會自動為您的服務設定 VPC 網路對等互連。虛擬私有雲可讓服務存取 Dataproc Metastore 端點通訊協定。建立服務後，您可以在 Google Cloud控制台的「VPC 網路對等互連」頁面，查看服務的基礎 VPC 網路對等互連。

虛擬私有雲網路對等互連不具備遞移性。也就是說，只有直接對等互連網路可以相互通訊。舉例來說，請參考以下情境：

您有下列網路：虛擬私有雲網路 N1、N2 和 N3。

  • 虛擬私有雲網路 N1 與 N2 和 N3 配對。
  • 虛擬私有雲網路 N2 和 N3 並未直接連線。

這代表什麼意思？

也就是說，虛擬私有雲網路 N2 無法透過虛擬私有雲網路對等互連與虛擬私有雲網路 N3 通訊。這會以以下方式影響 Dataproc Metastore 連線：

  • 與 Dataproc Metastore 專案網路對等的網路中的虛擬機器，無法連線至 Dataproc Metastore。
  • 只有虛擬私有雲網路上的主機可以連線至 Dataproc Metastore 服務。

虛擬私有雲網路對等互連安全性考量

  • 透過虛擬私有雲網路對等互連傳輸的流量會經過一定程度的加密。詳情請參閱 Google Cloud 虛擬網路加密和驗證。

  • 為每項服務建立一個虛擬私有雲網路，並使用內部 IP 位址，可提供比將所有服務放在 default 虛擬私有雲網路中更好的網路隔離效果。

虛擬私有雲子網路

Private Service Connect (PSC) 可讓您在虛擬私有雲網路之間，設定與 Dataproc Metastore 中繼資料的私人連線。透過 PSC，您可以建立服務，不必使用 VPC 對等互連。這樣一來，您就能使用自己的內部 IP 位址存取 Dataproc Metastore，不必離開 VPC 網路或使用外部 IP 位址。

如要在建立服務時設定 Private Service Connect，請參閱「搭配 Dataproc Metastore 使用 Private Service Connect」。

IP 位址

為連線至網路並保護中繼資料，Dataproc Metastore 服務只會使用內部 IP 位址。這表示公開 IP 位址不會公開，或可供網路用途。

使用內部 IP 位址時，Dataproc Metastore 只能連線至指定虛擬私有雲 (VPC) 網路或內部部署環境中的虛擬機器 (VM)。

使用內部 IP 位址連線至 Dataproc Metastore 服務時，會使用 RFC 1918 位址範圍。使用這些範圍表示 Dataproc Metastore 會從每個區域的位址空間，分別分配 /17 範圍和 /20 範圍。舉例來說，如果要在兩個區域中放置 Dataproc Metastore 服務，分配的 IP 位址範圍就必須包含下列項目：

  • 至少兩個大小為 /17 的未使用位址區塊。
  • 至少兩個大小為 /20 的未使用位址區塊。

如果找不到 RFC 1918 位址區塊，Dataproc Metastore 會改為尋找合適的非 RFC 1918 位址區塊。請注意，分配非 RFC 1918 區塊時，系統不會考量這些位址是否已在虛擬私有雲網路或內部部署環境中使用。

其他網路設定

如需其他網路設定，您可以搭配 Dataproc Metastore 服務使用下列選項。

共用的 VPC 網路

您可以在 共用 VPC 網路中建立 Dataproc Metastore 服務。共用虛擬私有雲可讓您將多個專案的 Dataproc Metastore 資源連線至通用虛擬私有雲 (VPC) 網路。

如要在建立服務時設定共用虛擬私有雲，請參閱「建立 Dataproc Metastore 服務」。

地端部署網路

您可以使用 Cloud VPN 或 Cloud Interconnect，從內部部署環境連線至 Dataproc Metastore 服務。

VPC Service Controls

VPC Service Controls 可讓您更進一步降低他人竊取資料的風險。透過 VPC Service Controls，您可以為 Dataproc Metastore 服務建立範圍。VPC Service Controls 會限制從外部存取範圍內的資源。只有周邊範圍內的用戶端和資源可以彼此互動。

如要透過 Dataproc Metastore 使用 VPC Service Controls，請參閱「 透過 Dataproc Metastore 使用 VPC Service Controls」。此外，請一併查看 使用 VPC Service Controls 時的 Dataproc Metastore 限制。

Dataproc Metastore 的防火牆規則

在已建立安全防護程序的非預設或私有環境中，您可能需要建立自己的防火牆規則。如果這麼做，請勿建立防火牆規則，封鎖 Dataproc Metastore 服務的 IP 位址範圍或通訊埠。

建立 Dataproc Metastore 服務時，您可以接受服務的預設網路。預設網路可確保 VM 享有完整的內部 IP 網路存取權。

如要進一步瞭解防火牆規則，請參閱「虛擬私有雲防火牆規則」和「使用虛擬私有雲防火牆規則」。

為自訂網路建立防火牆規則

使用自訂網路時，請確認防火牆規則允許往返 Dataproc Metastore 端點的流量。如要明確允許 Dataproc Metastore 流量，請執行下列 gcloud 指令：

gcloud compute firewall-rules create dpms-allow-egress-DPMS_NETWORK-REGION --allow tcp --destination-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK --direction OUT

gcloud compute firewall-rules create dpms-allow-ingress-DPMS_NETWORK-REGION --allow tcp,udp --source-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK

如果是 DPMS_NET_PREFIX，請將 /17 子網路遮罩套用至 Dataproc Metastore 服務 IP。您可以在「服務詳細資料」頁面的 endpointUri 設定中，找到 Dataproc Metastore IP 位址資訊。

注意事項

網路具有默示允許輸出規則，通常允許從網路存取 Dataproc Metastore。如果您建立的拒絕輸出規則會覆寫隱含的允許輸出規則，則應建立優先順序較高的允許輸出規則，允許輸出至 Dataproc Metastore IP。

部分功能 (例如 Kerberos) 需要 Dataproc Metastore 啟動與專案網路中主機的連線。所有網路都有默示拒絕連入規則，會封鎖這些連線，導致這些功能無法運作。您應建立防火牆規則，允許從包含 Dataproc Metastore IP 的 /17 IP 區塊，在所有通訊埠上輸入 TCP 和 UDP。

自訂路徑

自訂路徑適用於使用私用公開 IP 位址 (PUPI) 的子網路。自訂路徑可讓虛擬私有雲網路連線至對等互連網路。只有在虛擬私有雲網路匯入自訂路徑，且對等互連網路明確匯出自訂路徑時，虛擬私有雲網路才能接收自訂路徑。自訂路徑可以是靜態或動態。

與對等虛擬私有雲網路共用自訂路徑，可讓網路直接從對等網路「得知」路徑。也就是說，當對等互連網路中的自訂路徑更新時，虛擬私有雲端網路會自動得知並實作自訂路徑，您不需要採取任何額外動作。

如要進一步瞭解自訂路由，請參閱網路設定。

Dataproc Metastore 網路範例

在下列範例中，Google 會在客戶的虛擬私有雲網路中，為 Google 服務分配 10.100.0.0/17 和 10.200.0.0/20 位址範圍，並在對等互連的虛擬私有雲網路中使用這些位址範圍。

在此插入替代文字
圖 1. Dataproc Metastore VPC 網路設定

網路範例說明：

  • 在虛擬私有雲對等互連的 Google 服務端，Google 會為客戶建立專案。專案會獨立建立，代表沒有其他客戶會共用該專案，而且系統僅會針對客戶佈建的資源收取費用。
  • 在區域中建立第一個 Dataproc Metastore 服務時，Dataproc Metastore 會在客戶的網路中，為該區域和網路中所有未來的 Dataproc Metastore 服務使用量，分配 /17 範圍和 /20 範圍。Dataproc Metastore 會進一步細分這些範圍，在服務生產者專案中建立子網路和位址範圍。
  • 客戶網路中的 VM 服務可存取任何地區的 Dataproc Metastore 服務資源 (如果Google Cloud 服務提供相關支援)。部分 Google Cloud 服務 可能不支援跨地區通訊。
  • 如果 VM 執行個體與其他地區中的資源進行通訊，跨地區的流量仍會有輸出費用。
  • Google 會為 Dataproc Metastore 服務指派 IP 位址 10.100.0.100。在客戶虛擬私有雲網路中，目的地為 10.100.0.100 的要求會透過虛擬私有雲對等互連轉送至服務供應商的網路。連上服務網路後，服務網路會包含可將要求導向正確資源的路徑。
  • 虛擬私有雲網路之間的流量是在 Google 的網路內傳輸，而非透過公開網際網路傳輸。

後續步驟