設定 VPC Service Controls

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

VPC Service Controls 可讓機構在Google Cloud 資源周圍定義安全範圍，降低資料竊取風險。

您可以在服務安全防護範圍內部署 Cloud Composer 環境。透過使用 VPC Service Controls 設定環境，您就能使用 Cloud Composer 的全代管工作流程自動化調度管理功能，同時確保機密資料不外洩。

VPC Service Controls 支援 Cloud Composer，代表：

• 現在可以在 VPC Service Controls 範圍內選取 Cloud Composer 做為安全服務。
• Cloud Composer 使用的所有基礎資源都已設定為支援 VPC Service Controls 架構，並遵循相關規則。

使用 VPC Service Controls 部署 Cloud Composer 環境可提供以下優勢：

• 降低資料外洩風險。
• 防止因存取控制設定錯誤而導致資料外洩。
• 降低惡意使用者將資料複製到未經授權的Google Cloud 資源，或外部攻擊者從網際網路存取Google Cloud 資源的風險。

Cloud Composer 中的 VPC Service Controls 簡介

• 所有 VPC Service Controls 網路限制也適用於 Cloud Composer 環境。詳情請參閱 VPC Service Controls 說明文件。

• 如果 Cloud Composer 環境受到安全防護範圍保護，則無法存取公開 PyPI 存放區。詳情請參閱「在 VPC Service Controls 中安裝 PyPI 套件」。

• 如果您的環境使用私人 IP 網路，所有內部流量都會路由至您的虛擬私有雲網路，但透過私人 Google 存取權可供私人 IP 環境使用的 Google API、服務和網域除外。

• 視虛擬私有雲網路的設定方式而定，私人 IP 環境可透過虛擬私有雲網路存取網際網路。

• Cloud Composer 不支援在連入和連出規則中使用第三方身分，以允許 Apache Airflow UI 作業。不過，您可以在傳入和傳出規則中使用 ANY_IDENTITY 身分類型，允許存取所有身分，包括第三方身分。如要進一步瞭解 ANY_IDENTITY 身分類型，請參閱「連入和連出規則」。

• 在 VPC Service Controls 模式下，系統會透過範圍保護網路伺服器的存取權，並封鎖範圍外的存取要求。如要允許從服務範圍外部存取，請視需要設定存取層級或輸入和輸出規則。此外，您也可以限制只有特定 IP 範圍能存取網路伺服器。

關於 VPC Service Controls 中的 Google API 和服務連線

Cloud Composer 3 會透過 restricted.googleapis.com 將流量導向 Google 服務，以便存取此範圍支援的 Google API、服務和網域。

注意： 如果您的環境已附加至虛擬私有雲網路，則restricted.googleapis.com以外的所有內部流量都會轉送至虛擬私有雲網路。視虛擬私有雲網路的設定方式而定，您的環境可以透過虛擬私有雲網路存取網際網路。

如要進一步瞭解 restricted.googleapis.com，以及透過 restricted.googleapis.com 存取的服務和網域清單，請參閱虛擬私有雲說明文件中的「網路設定」。

Cloud Composer 3 會封鎖對 Google API、服務和網域的呼叫，這些項目不在必要 API 和服務清單中。如要從 DAG 呼叫 API，請務必：

• 將服務新增至受限制的服務
• 將服務新增至可透過虛擬私有雲存取的服務

舉例來說，如果您使用 VertexAI Operator，請將 aiplatform.googleapis.com 新增至受限制的服務和可透過虛擬私有雲存取的服務。

詳情請參閱 VPC Service Controls 說明文件中的「管理服務範圍」。

在範圍內建立環境

如要在安全防護範圍內部署 Cloud Composer，請按照下列步驟操作：

1. 為專案啟用 Access Context Manager API 和 Cloud Composer API。如需參考資料，請參閱「啟用 API」。

2. 按照 VPC Service Controls 說明文件中的範圍設定說明建立範圍。請確認受限制的服務清單包含 Cloud Composer 使用的所有服務，以及您要限制的其他服務：

   • Cloud Composer API (composer.googleapis.com)
   • Artifact Registry API (artifactregistry.googleapis.com)
   • Compute Engine API (compute.googleapis.com)
   • Kubernetes Engine API (container.googleapis.com)
   • Container File System API (containerfilesystem.googleapis.com)
   • Cloud DNS API (dns.googleapis.com)
   • Service Account Credentials API (iamcredentials.googleapis.com)
   • Cloud Logging API (logging.googleapis.com)
   • Cloud Monitoring API (monitoring.googleapis.com)
   • Cloud Pub/Sub API (pubsub.googleapis.com)
   • Cloud SQL Admin API (sqladmin.googleapis.com)

   • Cloud Storage API (storage.googleapis.com)

   • 對於 DAG 使用的所有其他服務：

     1. 將服務新增至受限制的服務。
     2. 將服務新增至可透過虛擬私有雲存取的服務。

3. 建立新的 Cloud Composer 環境：

   1. 使用 Google Cloud CLI 建立環境。
   2. 使用 --enable-private-environment 引數啟用私人 IP。
   3. 使用 --web-server-allow-all、--web-server-allow-ip 或 --web-server-deny-all 引數，指定網路伺服器的存取參數。如要進一步瞭解如何使用這些引數，請參閱「建立環境」。為提升保護力，請只允許特定 IP 範圍存取網路伺服器。

   4. 使用 --enable-private-builds-only 引數，禁止安裝公開網際網路存放區中的套件。

      範例：

      gcloud composer environments create example-environment \
        --location us-central1 \
        --enable-private-environment \
        --web-server-allow-all \
        --enable-private-builds-only
      

4. 根據預設，只有在安全防護範圍內，才能存取 Airflow UI 和 API。如要讓服務範圍以外的使用者存取，請設定存取層級或輸入和輸出規則。

將現有環境新增至範圍

如果環境使用私人 IP，且已停用從公開存放區安裝 PyPI 套件，您可以將含有環境的專案新增至安全防護範圍。

如要將現有 Cloud Composer 3 環境更新為這項設定，請按照下列步驟操作：

1. 請確認您已按照上一節的說明建立或設定安全防護範圍。
2. 使用 Google Cloud CLI 更新環境。
3. 使用 --enable-private-environment 引數啟用私人 IP。
4. 使用 --enable-private-builds-only 引數，禁止從公開網際網路存放區安裝套件。
5. 如有需要，請設定 Airflow 網路伺服器的存取權。為提升保護力，請只允許特定 IP 範圍存取網路伺服器。

範例：

gcloud composer environments update example-environment \
  --location us-central1 \
  --enable-private-environment \
  --enable-private-builds-only

在 VPC Service Controls 中安裝 PyPI 套件

在預設的 VPC Service Controls 設定中，Cloud Composer 僅支援從可透過 VPC 網路內部 IP 位址空間存取的私人存放區安裝 PyPI 套件。

根據預設，VPC Service Controls 範圍內的所有 Cloud Composer 環境都無法存取公開 PyPI 存放區。

從私人存放區安裝

建議設定私人 PyPI 存放區：

1. 填入貴機構使用的經過審查的套件，然後設定 Cloud Composer從私人存放區安裝 Python 依附元件。

從公開存放區安裝

注意： 使用這項設定時，請務必瞭解使用外部存放區的風險。請務必信任所有外部存放區的內容和完整性，因為這些連線可能會做為外洩向量。

如要從外部存放區安裝 PyPI 套件，請按照下列步驟操作：

1. 建立 Artifact Registry 遠端存放區。
2. 授予這個存放區上游來源的存取權。
3. 設定 Airflow，從 Artifact Registry 存放區安裝套件。

VPC Service Controls 記錄

排解環境建立問題時，您可以分析 VPC Service Controls 產生的稽核記錄。

除了其他記錄訊息，您還可以查看記錄，瞭解設定環境元件的[e-mail]和[e-mail]服務帳戶資訊。

Cloud Composer 服務會使用 [e-mail] 服務帳戶管理環境的租戶專案元件。

[e-mail] 服務帳戶 (又稱 Composer 服務代理程式服務帳戶) 會管理服務和主專案中的環境元件。

後續步驟

• 建立環境
• 安裝 PyPI 套件