透過主控台建立及管理資料移轉

本頁面說明如何使用 Google Cloud Platform 主控台設定並管理移轉工作。如要透過程式使用 Storage 移轉服務,請參閱建立 Storage 移轉服務用戶端透過程式建立及管理資料移轉

事前準備

在 GCP 主控台設定移轉工作前,請確認您具有必要的存取權:

  • Cloud Storage 存取權:您必須成為該專案中可管理資料移轉的擁有者編輯者。這個專案不需要與來源或接收器建立關聯。

    如需如何新增和檢視專案層級權限的逐步指南,請參閱在專案中使用身分與存取權管理權限一文。

  • 來源與接收器存取權:Storage 移轉服務會使用服務帳戶來執行移轉工作。如要存取資料來源與資料接收器,此服務帳戶必須擁有來源權限接收器權限

設定移轉工作

  1. 開啟 Google Cloud Platform 主控台中的「移轉」頁面。

    開啟「移轉」頁面

  2. 按一下 [Create transfer job] (建立移轉工作)

    選取下方分頁標籤來取得設定的操作說明。所需執行的步驟取決於您的來源為 Cloud Storage 值區、Amazon S3 值區還是網址清單

Google Cloud Storage

  1. 在 [選取來源]底下,選擇 [Google Cloud Storage 值區]

  2. 在 [Cloud Storage 值區] 文字方塊中,輸入來源值區名稱 (不加前置字串 gs://),或是瀏覽到該值區再選取。

  3. 如要指定來源中的檔案子集,請按一下值區欄位下方的 [指定檔案篩選條件]。可根據檔案名稱的前置字串和檔案的存在時間,將檔案納入或排除。如需更多資訊,請參閱選取要移轉的來源物件一文。

  4. 在 [選取目標位置] 下方,選擇接收器值區或是建立新值區。

    如要選擇現有值區,可輸入該值區的名稱 (不加前置字串 gs://) 或按一下 [瀏覽] 並瀏覽至該值區。

    如要將檔案移轉至新值區,請依序按一下 [Browse] (瀏覽) 和 [New bucket] (新增值區) 圖示。

  5. 如有需要,可啟用覆寫/刪除選項。

    按照預設,Storage 移轉服務只會在來源版本與接收器版本不一致時,才會覆寫物件。系統不會覆寫或刪除其他物件。可在「Transfer options」(移轉選項) 底下啟用其他的覆寫/刪除選項。如需更多關於其他選項的資訊,請參閱 API 參考資料中的 TransferOptions 一節。

  6. 在 [Configure transfer] (設定移轉作業) 下方,將您的移轉工作時間設定為 [Run now] (立即執行) (一次性),或是在當地時區的某個時間點 [Run daily] (每天執行)

  7. (選用) 在 [說明] 底下編輯移轉工作的名稱。使用不重複的描述性名稱,有助日後辨識移轉工作。

  8. 按一下 [建立]。

Amazon S3

  1. 在 [Select source] (選取來源) 底下,選擇 [Amazon S3 bucket] (Amazon S3 值區)

  2. 在 [Amazon S3 值區] 文字方塊中,指定來源的 Amazon S3 值區名稱。

    值區名稱即是在 AWS 管理主控台中顯示的名稱。

  3. 在個別文字方塊中,分別輸入與 Amazon S3 值區相關聯的「Access key ID」(存取金鑰 ID) 和「Secret key」(私密金鑰)

  4. 如要指定來源中一部分的檔案,請按一下該值區欄位下方的 [Specify file filters] (指定檔案篩選條件)。可根據檔案名稱的前置字串和檔案的存在時間,將檔案納入或排除。如需更多資訊,請參閱選取要移轉的來源物件一文。

  5. 在 [選取目標位置] 下方,選擇接收器值區或是建立新值區。

    如要選擇現有值區,可輸入該值區的名稱 (不加前置字串 gs://) 或按一下 [瀏覽] 並瀏覽至該值區。

    如要將檔案移轉至新值區,請依序按一下 [Browse] (瀏覽) 和 [New bucket] (新增值區) 圖示。

  6. 如有需要,可啟用覆寫/刪除選項。

    依據預設,移轉工作只會在來源版本與接收器版本不同時,才會覆寫物件。系統不會覆寫或刪除其他物件。可在「Transfer options」(移轉選項) 底下啟用其他的覆寫/刪除選項。如需更多關於其他選項的資訊,請參閱 API 參考資料中的 TransferOptions 一節。

  7. 在 [Configure transfer] (設定移轉作業) 下方,將您的移轉工作時間設定為 [Run now] (立即執行) (一次性),或是在您指定的當地時間 [Run daily] (每天執行)

  8. (選用) 在 [說明] 底下編輯移轉工作的名稱。使用不重複的描述性名稱,有助日後辨識移轉工作。

  9. 按一下 [建立]。

網址清單

  1. 在 [選取來源] 底下,選擇 [物件網址清單]

  2. 在 [TSV 檔的網址] 底下,提供定位點分隔值 (TSV) 的檔案網址,接著按一下 [繼續]。請參閱建立網址清單一文,進一步瞭解如何建立 TSV 檔案。

  3. 在 [選取目標位置] 下方,選擇接收器值區或是建立新值區。

    如要選擇現有值區,可輸入該值區的名稱 (不加前置字串 gs://) 或按一下 [瀏覽] 並瀏覽至該值區。

    如要將檔案移轉至新值區,請依序按一下 [Browse] (瀏覽) 和 [New bucket] (新增值區) 圖示。

  4. 如有需要,可啟用覆寫/刪除選項。

    依據預設,移轉工作只會在來源版本與接收器版本不同時,才會覆寫物件。系統不會覆寫或刪除其他物件。可在「Transfer options」(移轉選項) 底下啟用其他的覆寫/刪除選項。如需更多關於其他選項的資訊,請參閱 API 參考資料中的 TransferOptions 一節。

  5. 在 [Configure transfer] (設定移轉作業) 下方,將您的移轉工作時間設定為 [Run now] (立即執行) (一次性),或是在您指定的當地時間 [Run daily] (每天執行)

  6. (選用) 在 [說明] 底下編輯移轉工作的名稱。使用不重複的描述性名稱,有助日後辨識移轉工作。

  7. 按一下 [建立]。

本機資料

Storage 移轉服務可讓您將線上資料移轉至 Cloud Storage。如要將 Cloud Storage 值區與本機資料同步,請使用 gsutil rsync

編輯移轉工作

當移轉工作處於以下狀態時,才可編輯移轉工作的設定:

  • 未處於停止狀態的週期性移轉工作
  • 尚未開始執行的一次性移轉工作

如果符合其中一項條件,可按照以下步驟來編輯設定:

  1. 開啟 Google Cloud Platform 主控台中的「移轉」頁面。

    開啟「移轉」頁面

  2. 按一下移轉工作名稱以取得詳細資訊。

  3. 選取 [Edit configuration] (編輯設定) ,並遵循設定移轉作業的操作說明。

    對目前執行的週期性移轉工作所做之變更,將於下一次排定的移轉工作生效。

查看移轉工作的記錄

  1. 開啟 Google Cloud Platform 主控台中的「移轉」頁面。

    開啟「移轉」頁面

  2. 按一下移轉工作名稱以取得詳細資訊。

  3. 選取「作業」分頁。

  4. 在項目清單中,按一下移轉作業的開始日期,即可查看詳細資料,發生過的所有錯誤也包含在內。

    一次性移轉工作只會執行一次,因此在移轉作業記錄上只會有一筆項目。

暫停或取消進行中的移轉作業

暫停或取消正在進行的移轉作業:

  1. 開啟 Google Cloud Platform 主控台中的「移轉」頁面。

    開啟「移轉」頁面

  2. 按一下移轉工作名稱以取得詳細資訊。

  3. 選取「作業」分頁。

    在項目清單中,進行中移轉作業的狀態欄位右側,可看見暫停 (||) 和取消 (X) 按鈕。

  4. 按一下暫停按鈕,即可暫時停止移轉作業;按一下取消按鈕則會永久取消移轉作業。

  5. 如果您暫停了移轉作業,按一下繼續按鈕 (►) 即可繼續移轉作業。

    如果您要取消移轉作業,系統會顯示確認視窗。按一下 [取消移轉作業] 即可確認取消要求。

刪除已排定和週期性的移轉工作

  1. 開啟 Google Cloud Platform 主控台中的「移轉」頁面。

    開啟「移轉」頁面

  2. 選取您想要移除的移轉工作核取方塊。

  3. 按一下移轉工作清單上方的 [刪除]

  4. 在系統顯示的確認視窗中,按一下 [確定] 按鈕。

選取要移轉的來源物件

Storage 移轉服務提供前置字串,可用來選擇要從資料來源納入或排除的檔案。一般而言,可以將前置字串視為用來縮小移轉物件的範圍。您可以選擇只使用「納入」前置字串、只使用「排除」前置字串,或是同時採用兩者。以下的說明指南適用於來自 Amazon Simple Storage Service (Amazon S3) 和 Cloud Storage 值區的資料來源。

  • 請勿加入前置字串開頭的正斜線。舉例而言,從下列值區路徑「s3://my-aws-bucket/logs/y=2015/requests.gz」移轉時,如果要納入 requests.gz 物件,請將「納入」前置字串指定為 logs/y=2015/requests.gz

  • 如果要同時使用「納入」前置字串及「排除」前置字串,「排除」前置字串的開頭則必須為其中一個「納入」前置字串的值。舉例來說,如果指定 a 作為「納入」前置字串,有效的「排除」前置字串即為 a/baaaabc

  • 如果您只要使用「排除」前置字串,則可使用的前置字串並無限制。

  • 如果不指定任何前置字串,則值區中的所有物件都會一併移轉。

  • 請勿提供資料來源或接收器值區名稱的路徑名稱。例如 s3://my-aws-bucketgs://example-bucket 為有效值,然而 s3://my-aws-bucket/subfoldergs://example-bucket/files 就並非有效值。如要納入路徑,請使用「納入」及「排除」前置字串。

  • Storage 移轉服務不支援重新對應,也就是說,您無法將資料來源中的 files/2015 路徑複製到資料接收器中的 files/2016

如需進一步瞭解如何使用「納入」與「排除」前置字串,請參閱 API 中 includePrefixesexcludePrefixes 的欄位說明。

如需前置字串的一般資訊,請參閱 Amazon S3 說明文件中的使用前置字串與分隔符號以階層方式列出金鑰或是 Cloud Storage 的物件清單列出方法

建立 Amazon S3 IAM 使用者

以下步驟大致說明了 Amazon S3 憑證的建立流程,此憑證可用於 Amazon S3 值區到 Cloud Storage 值區的資料移轉作業上。詳情請參閱在您的 AWS 帳戶中建立身分與存取權管理使用者值區政策範例

  1. AWS 身分與存取權管理主控台中建立新使用者。

  2. 請記下或下載存取憑證。

    下載的憑證包含使用者名稱、存取金鑰 ID 和私密存取金鑰。在 Cloud Storage 設定移轉工作時,只需要存取金鑰 ID 和私密存取金鑰。

  3. 請在 IAM 使用者上附加含有移轉完成所需權限的代管政策。

    若您將移轉工作設定為會刪除來源物件,請附加 AmazonS3FullAccess 政策,否則請附加 AmazonS3ReadyOnlyAccess 政策。舉例而言,透過 IAM 主控台附加到使用者上的 AmazonS3FullAccess 代管政策為:

    {
      "Version": "2012-10-17",
      "Statement": [
        {
          "Effect": "Allow",
          "Action": "s3:*",
          "Resource": "*"
        }
      ]
    }
    
  4. 或者也可以建立比代管政策更加嚴格的政策。

    例如,您建立的政策可將存取權限制在 Amazon S3 值區。詳情請參閱值區政策範例一文。

本頁內容對您是否有任何幫助?請提供意見:

傳送您對下列選項的寶貴意見...

這個網頁
Cloud Storage 移轉服務說明文件