在 Google Cloud Platform 上刪除資料

資料刪除影片縮圖

在 Google Cloud Platform 上刪除資料

總覽

資訊長層級摘要

  • Google 是根據相關原則來儲存和刪除客戶資料。Google Cloud Platform 旨在提供速度極快且高度可用、耐久和一致的服務,系統的設計也為了滿足這些效能上的特性而經過最佳化處理,同時必須謹慎地兼顧適時刪除資料的需求。
  • 當您刪除客戶資料時,Google 的刪除管道會先確認刪除要求,接著在使用中儲存系統和備份儲存系統的應用程式和儲存層上反覆清除資料。Google 的資料刪除與資料保留聲明中概略說明了這項程序。
  • 邏輯刪除會分階段進行,先是立刻在使用中的儲存系統標示出要刪除的資料,再將這些資料與應用程式層的一般處理程序隔離開來。Google 儲存層中則會發生連續壓縮以及「標記、清除」刪除週期,隨著時間覆寫已刪除的資料。系統也會使用加密編譯清除功能,讓刪除的資料無法復原。最後,含有 Google 使用中系統快照的備份系統就會在標準週期中淘汰。
  • 應用程式層和儲存層的刪除作業可能會立刻進行,這點取決於相關儲存層和資料中心的資料儲存設定,以及進行中的刪除週期時間點。至於使用中系統上的刪除作業,則通常會於刪除要求提出後的兩個月內完成。最後,客戶資料會從 Google 的長期備份系統上移除。長期備份系統會將 Google 系統的快照保留長達六個月 (180 天),以防發生天災和災難性事件。

簡介

本文件會概略說明您在刪除 Google Cloud Platform 上儲存的客戶資料 (如 Google Cloud Platform 服務條款所定義) 時,系統會進行的安全程序。在任何運算平台上處理資料時,最基本的一點就是,確保客戶在資料的生命週期末期可以安全地刪除資料。

如果處理資料的雲端平台保證在任何位置均能提供高水準的可用性、速度和存取能力,且具備足以防範資料損失和意外災害的耐用性,這種平台就需要擁有創新的技術,才有能力迅速地大規模刪除資料。Google 身為設計打造儲存平台的先鋒,提供的產品可處理數兆筆的資料元素,具備長達十年的產業經驗,能夠讓高效能儲存系統達到最佳化,足以勝任這項工作。

本白皮書會先概略介紹 Google Cloud Platform 的客戶資料儲存方式。接下來會說明 Google 的刪除管道,以及各階段刪除作業一般所需的完成時間。最後,我們會講解如何透過安全的硬體停用和清除程序,避免儲存於平台上的資料遭到他人修復重建。

資料儲存和複製

若要瞭解 Google Cloud Platform 是如何刪除客戶資料,必得先概要說明 Google 基礎架構內部的資料儲存運作方式。Google Cloud Platform 提供 Cloud Bigtable 和 Cloud Spanner 這類資料儲存服務。大多數的 Google Cloud Platform 應用程式和服務會透過這些雲端儲存服務或其他 Google 使用的內部儲存服務,來間接存取 Google 的儲存系統。

Google Cloud Platform 的設計,旨在提供低延遲、高可用性、可擴充且耐用的解決方案。為了達成這些重要的效能目標,資料複製的功能可謂相當重要。依您採用的設定和客戶專案的需求而定,您可在本機、地區甚至全球的層級儲存客戶資料的備援複本。在 Google Cloud Platform 中針對資料所採取的操作,可以同時複製到數個資料中心內,因此客戶資料會具有高度可用性。當硬體、軟體或網路環境發生了嚴重影響效能的變動時,系統會依據客戶的設定,自動將客戶資料移轉至其他系統或設施。如此一來,客戶的專案就能繼續維持大規模運行,不受干擾。

在實體儲存層中,客戶資料會以靜態儲存的方式存於兩種類型的系統中:使用中的儲存系統和備份儲存系統。這兩種系統處理資料的方式並不相同,使用中的儲存系統是 Google Cloud Platform 實際運作的伺服器,用以執行 Google 應用程式和儲存層。使用中的系統是由磁碟和硬碟組成的大規模陣列,既會用來寫入新資料,也會將資料儲存在多個備用複本內,並從中擷取資料。使用中的儲存系統經過最佳化處理,最適合針對客戶資料執行迅速且大規模的即時讀取/寫入作業。

Google 的備份儲存系統會在設定期間內存放 Google 使用中系統的完整和增量複本,讓 Google 得以在遇到災難性斷電或天災意外時復原資料和系統。與使用中的系統不同的是,備份系統是用來接收 Google 系統的定期快照,備份複本僅保留一段有限的時間,新備份複本產生後即會淘汰。

在上述的儲存系統中,客戶資料在靜態儲存時即會進行加密。Google Cloud 安全性白皮書中對 Google 加密技術有更詳盡的說明。使用中和備份儲存媒體上的應用程式層和儲存層均會加密靜態資料。

安全有效地刪除資料

資料刪除管道

只要客戶資料儲存在 Google Cloud Platform 上,在該筆資料完成 Google 資料刪除管道的最終階段前,系統都會將資料安全地儲存起來。本節會詳細說明這項程序。

第 1 階段:刪除要求

在客戶提出刪除要求後,就會開始進行客戶資料刪除作業。通常系統會將刪除要求引導至特定資源,可能是 Google Cloud Platform 專案或客戶的 Google 帳戶。刪除要求有多種不同的處理方式,端看客戶要求的範圍而定:

  • 資源刪除:含有客戶資料的個別資源 (如 Google Cloud Storage 值區) 可透過 Cloud Console 或 API 以多種方式刪除。舉例來說,客戶可發出移除值區或 rm -r 指令,透過指令列刪除儲存值區,或是使用 Cloud Storage 瀏覽器選取某個儲存值區並將其刪除。
  • 專案刪除:如果您是 Google Cloud Platform 專案擁有者,就可關閉專案。刪除專案即是大批刪除與對應 project_number 相連的所有資源。
  • 帳戶刪除:當您刪除 Google 帳戶時,也會同時刪除 Google Cloud Platform 上專屬於您的所有專案。請注意,當一個專案有多個擁有者時,該專案並不會跟著刪除,除非該專案的所有擁有者均遭移除,或是每個擁有者均刪除了自己的 Google 帳戶。此做法可確保 Google Cloud Platform 專案只要處在具有擁有者的情況下,就能繼續執行。

雖然刪除要求的設計主要是用來讓客戶管理自己資料,Google 也可能會自動發出刪除要求,比方說客戶終止與 Google 的關係時。

第 2 階段:虛刪除

虛刪除是程序中的一種自然環節,用以提供短暫的內部暫存期和還原期,確保系統有時間復原因意外或出錯而標示為要刪除的資料。只要符合 Google 整體的刪除時程,Google Cloud Platform 的個別產品可在從基礎儲存系統刪除資料前,採用並設定這類經過定義的復原期。

如要進一步詳細說明,就是在刪除專案時,Google Cloud Platform 會先辨別該專案的專屬 project_number,接著對含有該 project_number 的 Google Cloud Platform 產品播送停權訊號,例如對 App Engine 和 Cloud Bigtable 進行播送。在這種情況下,App Engine 會立即停止對該 project_number 的作業,且 Cloud Bigtable 內相關的資料表會進入長達 30 天的內部復原期。在復原期快結束的時候,Google Cloud Platform 會對相同的產品播送訊號,開始對專案專屬的 project_number 相連的資源進行邏輯刪除作業。然後 Google 會等待 (如果需要的話,再次播送訊號) 以便收集來自適用產品的確認訊號 (ACK),以完成專案刪除作業。

當 Google 帳戶關閉時,視帳戶先前的活動而定,Google Cloud Platform 可能會設下多達 30 天的內部復原期。一旦寬限期終止,就會將含有刪除的帳單帳號 user_id 的訊號播送給 Google 產品,僅和該 user_id 相連的 Google Cloud Platform 資源便會標示為刪除。

第 3 階段:使用中系統的邏輯刪除作業

將資料標示為待刪除,且復原期也全數到期後,資料就會從 Google 使用中的儲存系統與備份儲存系統中相繼刪除。在使用中的系統內,會以兩種方式刪除資料。

除了 Google Cloud Storage 之外,在 Compute、儲存和資料庫以及大數據的所有 Cloud 產品中,系統會將已刪除資料的複本標示為可用儲存空間,並隨著時間演進而進行覆寫。在使用中的儲存系統中,舉 Cloud Bigtable 為例,刪除的資料會在項目的形式儲存在大量結構化的資料表之內。壓縮現有資料表來覆寫刪除資料的成本可能會過於高昂,因為系統需要重新寫入現存 (非刪除) 的資料表,所以系統會安排定期收集標示清除的垃圾資料及進行主要壓縮事件的時間,以便收回儲存空間,並對已刪除的資料進行覆寫。

在 Google Cloud Storage 內,也會透過加密編譯清除的方式來刪除客戶資料。此為業界標準技術做法,將解密資料所需的加密金鑰刪除,讓資料轉變為無法讀取的狀態。使用加密編譯清除法的一大優點在於,不論資料的加密金鑰是由 Google 提供或是客戶自己提供,甚至在 Google Cloud Platform 使用中和備份儲存系統內所有刪除的資料區覆寫完畢之前,就能完成邏輯刪除作業。

第 4 階段:備份系統的到期時間

Google 備份系統對已刪除資料的清除方式,與 Google 使用中系統大致相同,兩者均採用覆寫和加密編譯技術。然而,以備份系統的情況看來,客戶資料通常儲存於使用中系統的大型匯總快照內,並會以靜態資料的狀態保留一段時間,以確保業務持續性不受災難事件影響 (如影響整個資料中心的斷電問題),因為此時必須花時間和成本以備份系統重建完整的系統。為了延續合理的業務持續性做法,使用中的系統會依照每日、每週及每月的週期產生完整快照和增量快照,並在預先定義的期間過後淘汰舊版快照,挪出空間儲存最新的快照。

備份資料在淘汰後,會標示為可用空間,並在執行每日/每週/每月的新備份時覆寫資料。

請注意,任何合理程度的備份週期,都會在傳遞資料刪除要求時,透過備份系統施加預先定義的延遲時間。客戶資料從使用中的系統刪除後,就不會再複製到備份系統上。在刪除前所做的備份,會按照預先定義的備份週期定時到期。

最後一點是,在含有客戶資料的備份到期之前,可能會先以加密編譯的方式清除已刪除的資料。若缺少用來加密特定客戶資料的加密金鑰,客戶資料在 Google 備份系統上就算仍有效期,也無法復原。

刪除時程

Google Cloud Platform 旨在提供速度極快且高度可用、耐久和一致的服務,系統的設計也為了滿足這些效能上的特性而經過最佳化處理,同時必須謹慎地兼顧適時刪除資料的需求。Google Cloud Platform 承諾在最久不超過 6 個月 (180 天) 的期限內刪除客戶資料。這項承諾涵蓋上述的 Google 刪除管道階段,且包含以下階段:

  • 第 2 階段:刪除要求提出後,資料通常會立即標示為刪除,我們的目標是在最久不超過 24 小時的時間內執行這個步驟。在標示完待刪除的資料後,系統可能會套用最久 30 天的內部復原期,視服務或刪除要求而定。

  • 第 3 階段:在使用中的系統上完成垃圾收集工作,並達成邏輯刪除狀態所需的時間。系統接收到刪除要求後,可能會立即啟動這些程序,端看資料複製的層級和進行中的垃圾收集週期時間而定。從提出刪除要求開始,通常需要兩個月的時間,才能從使用中的系統刪除資料。一般而言,這段時間足以完成兩次主要垃圾收集週期,並確保得以完成邏輯刪除作業。

  • 第 4 階段:Google 備份週期的設計是在刪除要求提出後的六個月內,將資料中心備份中的已刪除資料淘汰。視資料複製的層級和 Google 的進行中備份週期時間點而定,刪除作業可能會更快執行。

刪除管道圖表 圖 1:Google Cloud Platform 刪除管道的各個階段

確保媒體清理作業安全無虞

除了 Google Cloud Platform 的刪除管道之外,還有另一項嚴格的媒體清理計畫可加強刪除程序的安全性,避免實體儲存媒體在生命週期結束後,遭受鑑識型或實驗室型惡意攻擊。

Google 的資料中心皆謹慎追蹤每台儲存設備的位置和狀態,追蹤範圍涵蓋收購、安裝、淘汰和銷毀等階段,Google 資產資料庫會追蹤設備的條碼和資產標記,藉此加以管理。我們會運用各式各樣的技術,包括生物特徵辨識技術、金屬探測器、監視攝影機、實體路障和雷射入侵偵測系統等,預防設備在未獲授權的情況下,遭人移出資料中心。詳情請參閱 Google 基礎架構安全性設計總覽一文。

實體儲存媒體可能會因為幾種原因而停用。如果某個元件在生命週期的任一環節未通過效能測試,就會將之從庫存清單中移除並淘汰。Google 也會將過時的硬體升級,以改善處理速度和能源效率,或是增加儲存容量。不論硬體是否因為故障、升級或其他原因而停用,停用儲存媒體時,都會採取適當的保護措施。Google 硬碟會使用全磁碟加密 (FDE) 和硬碟鎖定等技術,在停用期間保護靜態資料。淘汰硬碟時,經授權的個別使用者需確認已使用零值覆寫磁碟內容,將資訊清除完畢,並執行多重步驟的驗證程序,以確保硬碟內已無資料。

如果儲存媒體因為某些問題而無法清除內容,我們會妥善存放硬碟,直到可供實體銷毀時再進行作業。屆時會依據可用的設備而定,將硬碟摧毀或搗毀成碎片。無論是何種情況,磁碟都會回收至安全的設施中,確保沒有人能從淘汰的 Google 磁碟讀取資料。各資料中心均需遵守嚴格的資料處置政策,並使用上述手法來遵循以下規範:美國國家標準暨技術研究院特別刊物 (NIST SP) 800-88 修訂版 1《Guidelines for Media Sanitization》(媒體清理規範) 和美國國防部 (DoD) 5220.22-M《National Industrial Security Program Operating Manual》(國家工業安全計畫操作手冊)。