檔案系統轉移作業的相關規定

建立檔案系統移轉工作前，請先啟用必要 API 並安裝 Docker。

如果在首次設定時收到錯誤訊息，請確認您登入的使用者具備執行設定步驟所需的權限。在許多情況下，並非所有使用者都能取得這些權限，您可能需要聯絡專案管理員尋求協助。

系統需求

如要使用 Storage 移轉服務轉移檔案系統，您需要：

  • 符合 POSIX 標準的來源和/或目的地。

  • 沒有保留政策的 Cloud Storage 值區。如要轉移至設有保留政策的值區，請參閱「轉移至設有保留政策的值區」。

  • 開啟 TCP 通訊埠 443 (HTTPS)，以供對外連線。

轉移代理程式機器的需求如下：

  • 支援 Docker 的 64 位元 Linux 伺服器或虛擬機器，可存取您要轉移的資料。Docker Community Edition 支援 CentOs、Debian、Fedora 和 Ubuntu 作業系統。

    如要使用其他 Linux 作業系統，請參閱 Docker Enterprise。

  • 每個容器至少需要 8 GB 的記憶體，以及至少四個 CPU，才能發揮最大效用。

  • 允許的程序 ID 數量如有任何系統層級或使用者層級限制 (例如透過 ulimit -u 設定)，都必須考量您打算執行的代理程式數量。每個代理程式程序最多可建立數百個執行緒。執行轉移代理程式時，建議移除程序 ID 限制。

    使用 Podman 建立代理程式容器的客戶，應指定足夠高的 --pids-limit 值，以容納 Storage 移轉服務代理程式執行緒。預設 --pids-limit 值為 2048，如果執行多個代理程式，可能會導致問題。建議您將 --pids-limit=-1 設為允許每個容器使用無限個程序 ID。

工作和代理程式的調度限制

Storage 移轉服務對移轉工作和代理程式有下列規模限制：

  • 每項工作少於 10 億個檔案
  • 頻寬上限必須超過 1 MBps
  • 每個代理程式集區最多 100 個代理程式
  • 每個專案最多 800 個代理程式集區

啟用 API

  1. Enable the Google Storage Transfer API.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the API

安裝 Docker

如果您使用 Google Cloud CLI 或 Docker 安裝及執行轉移代理程式，請在實體或虛擬 Linux 電腦上安裝 Docker Engine。

如果使用 Podman 安裝及執行轉移代理程式，請直接跳至 Podman 專用的安裝說明。

curl -fsSL https://get.docker.com -o get-docker.sh

sudo sh get-docker.sh

sudo systemctl enable docker --now

如果發生安裝錯誤，請參閱疑難排解。

允許 Docker 進行驗證

如要讓 Docker 容器透過您的gcloud預設憑證進行驗證，請執行以下指令，建立包含您應用程式預設憑證檔案的 Docker 磁碟區：

sudo docker run -ti --name gcloud-config google/cloud-sdk gcloud auth application-default login

後續步驟