在 Google Cloud 中執行風險計算

隨著法規持續演變、市場狀況不斷變化,以及資料量不斷增加,金融服務業正面臨著複雜多變的環境。為了有效管理風險並做出明智的決策,金融服務機構 (FSI) 越來越傾向採用高效能運算 (HPC) 技術。

高效能運算能協助金融服務機構達成下列目標:

  • 加速風險計算:以更快的速度及更高的準確率執行複雜的模擬和計算作業,提升風險評估與決策效率。
  • 擴充運算能力:在高效能機器上處理大量資料集並執行平行運算,縮短處理時間並提升效率。
  • 最佳化資源使用率:利用以量計價的資源和雲端彈性,讓基礎架構成本發揮最大效益,有效管理資源分配。

總覽

以下各節將說明:

  • 使用 Google Cloud 執行風險計算:我們將探討使用 Google Cloud 執行風險計算的優勢,並著重說明這能為金融服務機構帶來哪些獨特的功能與好處。
  • 參考架構:本節介紹一種參考架構,並說明如何使用此架構與 HPC 資源,在 Google Cloud 中建構典型的風險計算解決方案。
  • 解決方案的構成要素:我們深入探討解決方案的構成要素,包括運算、儲存、網路,以及其他必要工具和服務。
  • 風險計算入門指南:本節為金融服務機構提供實用的指南,教導他們如何使用 HPC 在 Google Cloud 中開始執行風險計算。
  • 基準:我們透過效能基準彰顯 Google Cloud 在處理風險計算工作負載時所展現的效率和擴充性。
  • 效能和成本最佳化:本節提供實用指引,讓您瞭解在使用 HPC 執行風險計算時,如何達到最佳效能與成本效益。
  • 個案研究:我們提供實際案例,說明金融服務機構如何成功運用 Google Cloud 和 HPC 技術執行風險計算。

使用 Google Cloud 執行風險計算

在現今瞬息萬變的金融市場中,風險計算的重要性與日俱增,金融服務機構 (FSI) 必須有效執行風險計算,以便評估及管理任何潛在的損失風險。執行風險計算通常涉及複雜的模擬和建模作業,且需耗用大量的運算能力和資源。Google Cloud 具備傑出的能力,能協助金融服務機構完成可靠且有效的風險計算工作。

Google Cloud 在處理風險計算工作負載上的優勢

  • 易用性:Google Cloud 提供直覺易用的介面和 API,以及詳盡的說明文件和支援資源,讓金融服務機構能更輕鬆地設定及管理風險計算工作流程。
  • 高效能:Google Cloud 具備強大的基礎架構,並配備先進的 CPU、GPU 和 TPU,能讓金融服務機構快速有效地執行風險計算。H3 和 C3D 等 VM 已完成高效能工作負載的最佳化,有助於輕鬆進行風險計算的資源調度。
  • 擴充性和彈性:Google Cloud 的彈性架構可讓金融服務機構根據不斷變化的工作負載需求動態調整運算資源,不需使用昂貴的地端部署基礎架構,並能採用即付即用的計費模式。
  • 安全性和法規遵循:Google Cloud 遵循嚴格的業界標準和法規,可確保風險計算中所使用的機密金融資料,符合最高等級的安全性和法規遵循要求。如此一來,金融服務機構便可安心將資料放在這個值得信賴的雲端環境,不用再擔心安全問題。
  • 縮短上市時間:Google Cloud 穩固可靠的基礎架構可讓金融服務機構迅速執行風險計算,進而快速因應市場變化,並縮短新產品的上市時間。
  • 成本最佳化:Google Cloud 提供彈性的定價模式,能讓金融服務機構的資源使用率達到最佳化,與傳統地端部署解決方案相比,可省下大筆費用。
  • 增強敏捷性與創新能力:Google Cloud 能消除地端部署基礎架構的複雜管理流程,讓金融服務機構專心推動創新並制定新的風險管理策略。這種敏捷性可讓他們及早掌握市場趨勢,取得競爭優勢。

以下將介紹參考架構,並說明 Google Cloud 提供的解決方案如何有效協助金融服務機構改善風險計算流程。我們提供的效能、擴充性和安全性,加上完善的工具與服務,能讓金融服務機構的風險管理作業在敏捷性、效率和創新能力方面均達到前所未有的水準。

參考架構

Google Cloud 提供一系列可執行風險計算的平台。提供的平台會因貴公司的需求而異。

Google Compute Engine 是透過 HPC Toolkit 啟用,提供各種架構,在這些架構中可以輕鬆佈建適當的基礎架構。

GKE 提供彈性且穩固可靠的平台,能執行各種風險計算作業。

Batch 是 Google Compute Engine 中提供的一種代管服務。基礎架構可視需求佈建,並在工作完成後取消佈建。

Dataflow (Apache Beam) 可將特大型資料集中的交易分成不同群組並執行匯總作業,並且提供批次處理和串流分析功能。

解決方案元件

運算

Google Cloud 具備強大的運算能力,提供用途多元的 VM 執行個體和加速器來達到效能最佳化,是金融服務機構在處理風險計算工作負載時的堅強後盾。

  • 高效能 VM 執行個體:利用 Google Cloud 類型廣泛且已針對 HPC 工作負載最佳化的 VM 執行個體。例如,適合用於記憶體密集型計算的 H2 執行個體,以及可在運算效能與網路效能間達到平衡的 N2 執行個體。
  • GPU 和 TPU:運用強大的 GPU 和 TPU 資源加快工作執行速度,提高風險計算效能。
  • 代管執行個體群組:利用代管執行個體群組根據工作負載需求,自動進行資源調度,確保資源使用率達到最佳狀態。

網路

在風險計算環境中,穩固且安全的網路基礎架構可確保資料傳輸和通訊的效率。

  • 虛擬私有雲網路:在安全獨立的虛擬私有雲 (VPC) 網路中託管風險計算基礎架構。
  • 高效能網路:利用如 Cloud Interconnect 和虛擬私有雲網路對接等高頻寬網路服務,提供 VM 和儲存空間資源間的卓越資料傳輸速度。

儲存空間

高效能儲存解決方案可加快資料存取與管理作業,提高風險計算建模和生成式輸出的效率。

  • 區塊儲存空間:利用如 HDD 和 SSD 等永久磁碟以及本機 SSD,提升風險計算時的資料存取效率。
  • 雲端儲存空間:利用具擴充性和成本效益的 Cloud Storage 儲存大量歷來資料和模型輸出。
  • 雲端檔案儲存空間:使用 Cloud Filestore 做為高效能共用儲存空間,可由風險計算叢集中的多個 VM 存取。

工具

專用工具可簡化風險計算基礎架構的部署、管理與監控作業,確保工作流程作業順暢。

  • Cloud HPC Toolkit:這個工具包可簡化在 Google Cloud 中部署及管理 HPC 叢集的作業,並讓您享有彈性設定和輕鬆調度資源的好處。
  • 預先設定的 VM 映像檔:使用預先設定的 VM 映像檔,搭配已預先安裝的熱門風險計算應用程式與工具,加快環境設定速度。
  • Cloud Monitoring:使用具備即時深入分析與資源最佳化功能的全方位監控工具,來監控及分析風險計算工作流程的效能。

開始執行風險計算

想要踏上運用 Google Cloud 執行風險計算的旅程嗎?以下提供整個導入流程的實用指引。

考量事項

  • 確立目標:確立明確的目標,有助於瞭解需要執行哪些風險計算作業,以及期望的成果。
  • 評估目前的工作流程:分析現有的風險計算流程,找出需要改善的地方,並評估進行雲端遷移的可能性。
  • 識別資料需求:擬定執行風險計算所需的資料來源,並確保可在雲端環境中存取資料。
  • 選擇工具:根據風險計算的工作流程需求,選擇合適的 Google Cloud HPC 資源和工具。
  • 安全性和法規遵循:為雲端環境制定完善的安全策略,並遵守相關的金融資料保護法規。

可部署藍圖/程式碼

基準

為了客觀評估 Google Cloud 在處理風險計算工作負載時的效能,我們採用業界標準基準。下節將重點說明 STAC 基準評測結果,展現 Google Cloud 在此領域的能力。

STAC 基準

Securities Technology Analysis Center (STAC) 發布了一套業界標準基準,旨在評估金融服務工作負載的技術解決方案成效和效率。Google Cloud 參與了多項 STAC 基準,展現可用於風險計算情境的能力。

延續我們之前的 STAC-M3 基準稽核 (SUT ID KDB181001),這項經過重新設計的 Google Cloud 架構運用了最新版的 kdb+ 4.0 (KX 的時間序列資料庫),而且獲得大幅提升的成效:與 Google Cloud 先前的測試結果相比,在 41 項基準中,有 35 項在新叢集的執行速度最多快 18 倍。亮眼成績包括:

  • 與 Google Cloud 上先前的 STAC-M3 Antuco 套件結果相比:
  • 在 17 個平均回應時間基準中,有 13 個速度更快
  • 在允許快取的 Year-High Bid 版本 (STAC-M3.ß1.1T.YRHIBID-2.TIME) 中,速度加快了 18 倍,執行時間減少 94%,同時還設下所有已發布結果的整體記錄。
  • Year-High Bid (STAC-M3.ß1.1T.YRHIBID.MBPS) 的處理量提高了 9 倍
  • 與 Google Cloud 上先前的 STAC-M3 Kanaga 套件結果相比:
  • 在 24 個平均回應時間基準中,有 22 個速度更快
  • 在所有 4 個 Market Snapshot 工作負載 (STAC-M3.ß1.10T.YR[2,3,4,5]-MKTSNAP.TIME) 中,速度快 10 倍以上
  • 在 Year-High Bid 涉及 2 年的資料 (STAC-M3.ß1.1T.2YRHIBID.MBPS) 中,處理量多 5 倍

在我們近期的 STAC 基準網誌文章中,詳細分析了 Google Cloud 在 STAC 基準方面的成效。

效能和成本最佳化

選擇合適的機器類型

Google Cloud 提供多種機器類型,每一種都提供不同的 CPU、GPU 和記憶體設定。為風險計算工作負載選取合適的機型,會大幅影響效能和費用。

選擇機型時,請考慮以下因素:

  • CPU 效能:針對會耗用大量運算資源的風險模型,選擇核心數量和時脈速度較高的執行個體。
  • 記憶體需求:選取記憶體充足的執行個體,以因應風險計算作業的資料規模和複雜度。
  • 成本最佳化:考量可爆發效能和先占執行個體等因素,在效能需求和成本之間取得平衡。

選取最佳儲存空間

Google Cloud 提供多種儲存空間方案,各有不同的效能和費用特性。為風險計算選擇合適的儲存空間,是提升效率和成本最佳化的關鍵。

以下是可供考慮的各種儲存空間類型:

主要儲存空間

  • 儲存共用的使用者檔案、設定、指令碼和後續處理資料
  • 永久性,且通常以 NFS 通訊協定為基礎來建構
  • 選項包括 Google Cloud Filestore 與 NetApp Cloud Volumes Service 等合作夥伴產品

暫存儲存空間

  • 用於暫時檔案,例如中繼結果和模擬輸出資料
  • 不一定會在不同節點之間共用
  • 通常以本機快閃儲存空間或平行檔案系統等高效能系統為基礎
  • Google Cloud 原生選項包括 Persistent Disk、本機 SSD、Cloud Filestore 和 Parallelstore
  • 合作夥伴提供的服務包括 NetApp Cloud Volumes Service、DDN EXAScaler Lustre、Sycomp (IBM Storage Scale) 和 Weka

封存儲存空間

  • 用於儲存不常存取的資料,提供具成本效益的價格
  • 我們建議使用 Google Cloud Storage 作為封存儲存空間

運用 Spot VM 提高成本效益

Spot VM 提供具成本效益的解決方案,可用於計算風險。這些 VM 享有相當高的折扣,但可能會臨時終止。

如果您的工作流程可容忍潛在中斷,並在短時間內 (< 4 小時) 內執行,請考慮測試 Spot VM。我們的客戶發現,相較於以量計價,這麼做最多可節省 91% 的成本,因此可以容許輕微中斷。

請注意,並非所有 VM 類型 (例如 H3) 都支援 Spot 模型。

個案研究

為說明 Google Cloud 和 HPC 技術在風險計算方面的實際應用,我們會提出個案研究,探討頂尖 FSI 的成功實作。

HSBC

HPC Days Digital:HSBC 客戶經驗談

這部影片展示 HSBC 如何運用 Google Cloud HPC 解決方案進行風險管理和規劃依法呈報機制。

HSBC STAR 運用 Google Cloud 解決方案,每天完成 44 億次風險計算。這篇網誌文章詳細說明 HSBC 如何成功將策略交易配置和重新平衡 (STAR) 平台遷移至 Google Cloud,大幅提升效能和效率。

HSBC STAR 運用 Google Cloud 解決方案,每天完成 44 億次風險計算

Goldman Sachs

Goldman Sachs 客戶經驗談:提升規模、靈活性和客戶信任度

這部影片介紹 Goldman Sachs 如何運用 Google Cloud 建立高度可擴充和安全的基礎架構,以便支援重要財務活動,包括風險計算。

瞭解詳情

進一步瞭解 Google Cloud HPC

Google Cloud HPC

Google Cloud HPC:進一步瞭解 Google Cloud 適用於各產業的 HPC 解決方案。

Cloud HPC Toolkit:開始使用 Cloud HPC Toolkit,輕鬆在 Google Cloud 設定及部署 HPC 基礎架構。

Cloud HPC Toolkit 藍圖目錄:從一系列預先建構的 HPC Toolkit 藍圖中選擇,輕鬆部署完整的 HPC 環境。

Google Cloud HPC 網誌:詳情請參閱 Google 的 HPC 主題網誌頻道。

金融服務

衡量風險價值 (維基百科)

金融服務適用的 Google Cloud 解決方案:探索 Google Cloud 為滿足金融服務業的獨特需求量身打造的解決方案。

透過 Google Cloud HPC 執行財務風險模擬的單頁簡介