停止及啟動 Dataproc 叢集

建立叢集後，您可以停止叢集，然後在需要時重新啟動。停止閒置叢集可避免產生費用，也不必刪除閒置叢集，之後再以相同設定建立叢集。

注意：

• 如要使用叢集啟動和停止功能，請使用下列版本或更新版本發布的映像檔建立叢集：
  • 1.4.35-debian10/ubuntu18
  • 1.5.10-debian10/ubuntu18
  • 2.0.0-RC6-debian10/ubuntu18
• 不建議停止個別叢集節點，因為停止的 VM 狀態可能與叢集狀態不同步，導致發生錯誤。

注意： 如要排定停止叢集，請參閱排定停止叢集。

停止叢集

停止叢集會停止所有叢集 Compute Engine VM。VM 停止時不會產生費用。不過，您仍須為任何相關聯的叢集資源付費，例如永久磁碟。

注意：

• 正在執行的作業：如果叢集有正在執行的作業 (例如更新或診斷作業)，停止要求會失敗。
• 執行中的工作：如果叢集有執行中的工作，停止要求就會成功：VM 會停止，執行中的工作會失敗。
• 停止回應：停止要求傳回停止作業時，叢集會處於 STOPPING 狀態，且不允許提交任何其他工作 (SubmitJob 要求會失敗)。
• 自動調度資源：如果停止已啟用自動調度資源的叢集，Dataproc 自動調度資源功能會停止調度叢集資源。叢集重新啟動後，系統就會繼續調整叢集大小。如果對已停止的叢集啟用自動調度資源，叢集重新啟動後，自動調度資源政策就會生效。

監控停止作業

您可以執行 gcloud dataproc operations describe operation-id 來監控長時間執行的叢集停止作業。您可以使用 gcloud dataproc clusters describe cluster-name 指令，監控叢集狀態從 RUNNING 轉換為 STOPPING，再轉換為 STOPPED 的過程。

限制

• 你無法停止：

  • 具有次要工作站的叢集
  • 具有本機 SSD 的叢集

• 叢集停止後，您無法：

  • 更新叢集
  • 將工作提交至叢集
  • 使用 Dataproc 元件閘道存取叢集上執行的筆記本

啟動叢集

• 重新啟動已停止的叢集時，系統不會重新執行任何初始化動作。 初始化動作只會在建立叢集時，或在叢集擴充時新增節點時，於叢集節點上執行。

• 啟動作業完成後，您就能立即將工作提交至叢集。不過，作業執行作業可能會延遲約 30 秒，讓 HDFS 和 YARN 正常運作。

如何停止及啟動叢集

您可以使用 Google Cloud 主控台、gcloud CLI 或 Dataproc API 停止及啟動叢集。

Google Cloud 控制台

在 Google Cloud 控制台的 Dataproc「Clusters」(叢集) 頁面中，按一下叢集名稱，然後按一下「STOP」(停止) 停止叢集，或按一下「START」(啟動) 啟動叢集。

gcloud CLI

停止叢集

gcloud dataproc clusters stop CLUSTER_NAME \
    --region=REGION

啟動叢集

gcloud dataproc clusters start CLUSTER_NAME \
    --region=REGION

REST API

停止叢集

提交 clusters.stop 要求。

啟動叢集

提交 clusters.start 要求。