設定 Dataproc Metastore 的網路存取權

本頁面提供詳細指南，說明如何為 Dataproc Metastore 執行個體設定網路存取權。正確設定網路是 Dataproc 叢集和 Dataproc Serverless 工作負載與代管 Dataproc Metastore 服務安全私下通訊的必要條件。

重要網路概念

Dataproc Metastore 執行個體通常位於 Google 管理的服務供應商網路中，並使用私人連線與虛擬私有雲網路通訊。如要順利完成設定，請務必瞭解下列概念：

  • 共用虛擬私有雲：如果您的 Dataproc 叢集或 Dataproc 無伺服器工作負載位於服務專案中，且該專案使用主專案的共用虛擬私有雲網路，請確認主專案中已完成適當的網路設定。詳情請參閱共用虛擬私有雲總覽。
  • 私人 Google 存取權：Dataproc Metastore 執行個體通常會依賴私人 Google 存取權，與虛擬私有雲網路進行私密通訊。這樣一來，虛擬私有雲中的虛擬機器 (VM) 執行個體就能使用內部 IP 位址連線至 Google API 和服務。詳情請參閱私人 Google 存取權。
  • VPC 網路對等互連：這項機制可在兩個虛擬私有雲網路之間建立私人 IP 連線，讓一個網路中的資源使用內部 IP 位址與另一個網路中的資源通訊。Dataproc Metastore 會在設定過程中，與虛擬私有雲網路建立受管理的虛擬私有雲網路對等互連連線。詳情請參閱「虛擬私有雲網路對等互連」。
  • 防火牆規則：您必須設定適當的防火牆規則，允許 Dataproc 工作負載與 Dataproc Metastore 執行個體之間的流量。
  • Cloud DNS 解析：確認虛擬私有雲網路中已正確設定 DNS 解析，可將 Dataproc Metastore 端點 URI 解析為私人 IP 位址。

設定步驟

如要驗證 Dataproc Metastore 執行個體的網路存取權是否正常，請按照下列步驟操作：

1. 設定 Private Service Access

Dataproc Metastore 會使用 Private Service Access，在虛擬私有雲網路與 Google 管理的服務生產者網路之間建立私人連線，而 Dataproc Metastore 執行個體就位於該網路中。

  • 驗證 Private Service Access 連線：
    1. 在 Google Cloud 控制台中，前往「虛擬私有雲網路」>「虛擬私有雲網路對等互連」。
    2. 確認名為 servicenetworking-googleapis-com 的對等互連連線存在，且狀態為 ACTIVE。
    3. 如果缺少這項連線或連線未啟用，請按照「設定 Private Service Access」一文的操作說明進行設定。包括為服務供應商網路分配 IP 位址範圍。

2. 設定防火牆規則

確認虛擬私有雲網路 (或共用虛擬私有雲主機專案，如適用) 中的防火牆規則允許必要流量。

  • 從工作負載到 Metastore 的輸出規則：
    • 確認輸出防火牆規則允許從 Dataproc 叢集或 Dataproc 無伺服器工作負載，輸出 TCP 流量至 Dataproc Metastore 執行個體的 IP 位址範圍，通訊埠為 9083。這是 Hive Metastore 的預設通訊埠。
    • 如果使用私人服務存取權，這類流量會以私密方式轉送。
  • 輸入規則 (用戶端到 Metastore 較不常見)：
    • 一般來說，您不需要在虛擬私有雲上設定輸入規則，讓流量從 Dataproc Metastore 執行個體傳送至工作負載，因為通訊通常是從工作負載發起。不過，請確認沒有過於嚴格的 Ingress 規則，以免不慎封鎖必要的回應。

3. 驗證 DNS 解析

Dataproc 工作負載需要將 Dataproc Metastore 端點 URI 解析為私人 IP 位址。

  • DNS 對等互連或私人區域：如果您使用自訂 DNS 伺服器或私人 Cloud DNS 區域，請確認 Dataproc Metastore 端點 (例如your-metastore-endpoint.us-central1.dataproc.cloud.google.com) 正確轉送或解析至 Private Service Access 使用的私人 IP 範圍。
  • 測試 DNS 解析：從與 Dataproc 工作負載位於相同子網路的 VM 中，使用 nslookup 或 dig 驗證 Dataproc Metastore 端點是否解析為私人 IP 位址。

排解網路連線問題

設定網路存取權後，如果遇到連線問題，請嘗試下列疑難排解步驟：

  • 查看 Dataproc Metastore 狀態：確認Google Cloud 控制台中的 Dataproc Metastore 執行個體處於 HEALTHY 狀態。
  • 檢查 Cloud Logging：檢查 Dataproc Metastore 執行個體和相關 Dataproc 工作負載的 Cloud Logging，找出網路相關的錯誤訊息或連線逾時。
  • 使用 Network Intelligence Center 連線測試：使用 Google Cloud的「連線測試」，診斷從 Dataproc 工作負載的 VM 到 Dataproc Metastore 端點的網路路徑。
  • 請參閱一般疑難排解：如需更詳細的網路診斷資訊，請參閱：

後續步驟