在 Google Cloud 上执行风险计算

金融服务行业面临着一个错综复杂的局面,包括不断变化的法规、动态多变的市场环境以及不断增长的数据量。为了有效管理风险并做出明智的决策,金融机构 (FSI) 正逐渐转向使用高性能计算 (HPC) 技术。

HPC 助力 FSI 实现以下目标:

  • 加速风险计算:以更快的速度和更高的准确率执行复杂的模拟和计算,以更快地评估风险和做出决策。
  • 扩缩计算:处理海量数据集并在高性能机器上运行并行计算,从而减少处理时间并提高效率。
  • 优化资源利用率:利用云的按需资源和弹性来优化基础设施费用,并有效地管理资源分配。

概览

您在以下各部分应该会看到以下内容:

  • 使用 Google Cloud 进行风险计算:我们将探索使用 Google Cloud 进行风险计算的优势,并重点介绍其在 FSI 方面的独特功能和优势。
  • 参考架构:此部分介绍了使用 HPC 资源在 Google Cloud 上构建典型风险计算解决方案的参考架构。
  • 解决方案组成部分:我们更深入地探究了该解决方案的关键组成部分,包括计算、存储、网络和其他基本工具和服务。
  • 风险计算入门:此部分为 FSI 提供了一份实用指南,可协助 FSI 开始使用 HPC 在 Google Cloud 上实现风险计算。
  • 基准:我们展示性能基准,以证明 Google Cloud 在风险计算工作负载方面的效率和可伸缩性。
  • 性能和费用优化:此部分提供了在使用 HPC 进行风险计算时优化性能和费用的有用指导。
  • 案例研究:我们提供了 FSI 成功利用 Google Cloud 和 HPC 技术进行风险计算的真实案例。

使用 Google Cloud 进行风险计算

在当今动态变化的金融市场中,风险计算对于金融机构 (FSI) 评估和管理潜在损失风险越来越重要。执行这些计算通常需要复杂的模拟和建模,需要大量的计算能力和资源。在这方面,Google Cloud 擅长于寻求强大且高效的风险计算能力的金融服务行业。

Google Cloud 在风险计算工作负载方面的优势

  • 易于使用:Google Cloud 提供直观的界面和 API,以及全面的文档和支持资源,让 FSI 能够更轻松地配置和管理其风险计算工作流。
  • 高性能:Google Cloud 拥有强大的基础设施,配备高级 CPU、GPU 和 TPU,让 FSI 能够快速、高效地执行风险计算。H3 和 C3D 等虚拟机专门针对高性能工作负载进行了优化,有助于轻松扩展风险计算。
  • 可伸缩性和灵活性:Google Cloud 的弹性架构使 FSI 能够根据不断变化的工作负载需求动态调整计算资源,消除了对昂贵的本地基础设施的需求,并实现了随用随付模式。
  • 安全性与合规性:Google Cloud 遵循严格的行业标准和法规,确保在风险计算中采用针对敏感财务数据的最高级别的安全性和合规性。这样可以让 FSI 放下心来,因为其数据在可信的云环境中得到保护。
  • 加快上市速度:Google Cloud 强大的基础设施使金融服务行业能够快速执行风险计算,从而能够快速响应市场变化,并缩短新产品的上市期。
  • 费用优化:Google Cloud 灵活的价格模式允许 FSI 优化资源利用率,与传统的本地解决方案相比,可以显著节省费用。
  • 增强敏捷性和创新性:通过消除管理本地基础设施的复杂性,Google Cloud 使金融服务机构能够专注于创新和制定新的风险管理策略。这种敏捷性使他们能够在市场趋势中保持领先地位并获得竞争优势。

我们来看一下参考架构,了解它如何使 Google Cloud 成为 FSI 寻求改进风险计算流程所用的令人信服的解决方案。我们以性能、可伸缩性和安全性,外加全面的工具和服务,助力金融服务行业在风险管理方面实现卓越的敏捷性、效率和创新。

参考架构

Google Cloud 提供了一系列用于执行风险计算的平台。具体取决于您企业的要求。

HPC Toolkit 支持的 Google Compute Engine 提供了一套广泛的架构,您可以在其中轻松配置适当的基础设施。

GKE 提供了一个灵活而强大的平台,支持各种风险计算选项。

Batch 作为 Google Compute Engine 上的托管式服务提供。基础设施可按需预配,并在工作完成后取消预配。

Dataflow (Apache Beam) 可以对交易进行分组,并跨超大型数据集执行聚合。它可以提供批处理和流式分析。

解决方案组件

计算

Google Cloud 的强大计算选项为处理要求苛刻的风险计算工作负载奠定了基础,并具有多用途虚拟机实例和加速器以实现最佳性能。

  • 高性能虚拟机实例:利用 Google Cloud 针对 HPC 工作负载进行了优化的各种虚拟机实例。例如,用于内存密集型计算的 H2 实例和用于均衡计算和网络性能的 N2 实例。
  • GPU 和 TPU:利用强大的 GPU 和 TPU 资源加快任务执行速度,提升风险计算的性能。
  • 托管式实例组:利用托管式实例组进行自动扩缩,确保根据工作负载需求实现最优资源利用率。

网络

强大安全的网络基础设施可确保风险计算环境中高效的数据传输和通信。

  • VPC 网络:建立安全、隔离的 Virtual Private Cloud (VPC) 网络,以托管风险计算基础设施。
  • 高性能网络:利用 Cloud Interconnect 和 VPC 网络对等互连等高带宽网络选项,实现虚拟机和存储资源之间的卓越数据传输速度。

存储空间

高性能存储解决方案有助于快速访问和管理风险计算模型和生成的输出的数据。

  • 块存储:使用 HDD 和 SSD 以及本地 SSD 等永久性磁盘选项,在风险计算期间快速访问数据。
  • Cloud Storage:利用 Cloud Storage 存储大量历史数据和模型输出,发挥其可伸缩性和成本效益。
  • Cloud Filestore:使用 Cloud Filestore 提供可供风险计算集群中的多个虚拟机访问的高性能共享存储空间。

工具

利用专门的工具简化风险计算基础设施的部署、管理和监控,确保工作流程顺利运行。

  • Cloud HPC 工具包:此工具包简化了 HPC 集群在 Google Cloud 上的部署和管理,可实现灵活配置和轻松扩缩。
  • 预配置的虚拟机映像:利用预配置的虚拟机映像以及预安装的流行风险计算应用和工具来更快地设置环境。
  • Cloud Monitoring:使用全面的监控工具监控和分析风险计算工作流的性能,以获得实时的数据洞见和进行资源优化。

风险计算入门

开始利用 Google Cloud 进行风险计算?下面提供了一份路线图,可帮助您有效地完成实施流程。

注意事项

  • 定义目标:一组定义明确的目标有助于确定您需要执行的特定风险计算以及预期结果。
  • 评估当前工作流:分析现有风险计算流程,以确定需要改进的领域并评估迁移到云端的潜在操作。
  • 确定数据需求:规划风险计算所需的数据源,并确保数据可在云环境中访问。
  • 选择工具:选择符合您的风险计算工作流要求的适当 Google Cloud HPC 资源和工具。
  • 安全性与合规性:为您的云环境制定可靠的安全策略,从而遵守与金融数据保护相关的行业法规。

可部署的蓝图/代码

基准

为了客观地评估 Google Cloud 在风险计算工作负载方面的性能,我们利用业界标准基准。以下部分重点介绍 STAC 基准结果,展示了 Google Cloud 在此领域的功能。

STAC 基准

证券技术分析中心 (Securities Technology Analysis Center, STAC) 发布了一套业界标准基准,旨在评估适用于金融服务工作负载的技术解决方案的性能和效率。Google Cloud 参与了多项 STAC 基准测试,彰显了其在风险计算场景中的能力。

继之前的 STAC-M3 基准审核 (SUT ID KDB181001) 之后,重新设计的 Google Cloud 架构利用了 KX 的时序数据库 kdb+ 4.0 的最新版本,并取得了显著改进:在新集群中,41 项基准测试中有 35 项的运行速度更快,具体表现为速度比 Google Cloud 之前的结果更快,最高可达 18 倍。主要亮点包括:

  • 与 Google Cloud 上之前的 STAC-M3 Antuco 套件结果相比:
  • 在 17 项平均响应时间基准测试中,有 13 项的速度更快
  • 在允许缓存的 Year-High Bid 版本 (STAC-M3.ß1.1T.YRHIBid-2.TIME) 中速度提升至 18 倍,运行时间缩短了 94%,还创下了所有已发布结果的总体表现记录
  • 在 Year-High Bid (STAC-M3.ß1.1T.YRHIBID.MBPS) 中,吞吐量提升至原来的 9 倍
  • 与 Google Cloud 上之前的 STAC-M3 Kanaga 套件结果相比:
  • 在 24 项平均响应时间基准测试中,有 22 项的速度更快
  • 在所有四个“Market Snapshot”工作负载 (STAC-M3.ß1.10T.YR[2,3,4,5]-MKTSNAP.TIME) 中,速度均快至 10 倍以上
  • 在涉及 2 年数据的 Year-High Bid (STAC-M3.ß1.1T.2YRHIBID.MBPS) 中,吞吐量为原来的 5 倍

我们最新的 STAC 基准博文中深入分析了 Google Cloud 在 STAC 基准测试中的性能。

性能和费用优化

选择合适的机器类型

Google Cloud 提供多种多样的机器类型,每种机器类型都提供不同的 CPU、GPU 和内存配置。为您的风险计算工作负载选择合适的机器类型会明显影响性能和费用。

选择机器类型时,请考虑以下因素:

  • CPU 性能:为计算密集型风险模型选择核心数和时钟速度较高的实例。
  • 内存要求:选择具有足够内存的实例,以处理数据大小和风险计算的复杂性。
  • 费用优化:通过考虑可爆发性能和抢占式实例等因素,实现性能需求与费用的平衡。

选择最佳存储方案

Google Cloud 提供了各种存储方案,这些方案的性能和费用特征各不相同。为您的风险计算选择合适的存储方案对于效率和费用优化至关重要。

以下是需要考虑的不同存储类型:

主存储

  • 存储共享的用户文件、配置、脚本和处理后的数据
  • 具有永久性,通常基于 NFS 协议构建
  • 可选方案包括 Google Cloud Filestore 和 NetApp Cloud Volumes Service 等合作伙伴产品

临时存储

  • 用于保存临时文件,例如中间结果和模拟输出数据
  • 不一定会在不同节点之间共享
  • 通常基于高性能系统构建,例如本地闪存或并行文件系统
  • Google Cloud 原生方案包括 Persistent Disk、本地 SSD、Cloud Filestore 和 Parallelstore
  • 合作伙伴的产品包括 NetApp Cloud Volumes Service、DDN EXAScaler Lustre、Sycomp (IBM Storage Scale) 和 Weka

归档存储

  • 用于以经济实惠的价格存储不经常访问的数据
  • 我们建议使用 Google Cloud Storage 进行归档存储

利用 Spot 虚拟机提升成本效益

Spot 虚拟机为运行风险计算提供了经济高效的潜在解决方案。这些虚拟机提供大幅折扣,但可能会在短时间内终止。

如果您的工作流可以容忍潜在的中断并在短时间内(不到 4 小时)运行,请考虑测试 Spot 虚拟机。客户发现,节省高达 91% 的费用与按需模式相比,足以容忍轻微中断。

请注意,并非所有虚拟机类型(例如 H3)都支持 Spot 模型。

案例研究

为了说明 Google Cloud 和 HPC 技术在风险计算方面的实际应用,我们提供了案例研究,突出介绍领先金融服务行业的成功实施情况。

汇丰银行

HPC Days Digital:汇丰银行客户聚焦

此视频展示了汇丰银行如何利用 Google Cloud HPC 解决方案进行风险管理和监管报告。

汇丰银行 STAR 利用 Google Cloud 解决方案每天完成 44 亿次风险计算。此博文详细介绍了汇丰银行如何成功将其战略性贸易分配和再平衡 (STAR) 平台迁移至 Google Cloud,从而显著提升性能和效率。

汇丰银行 STAR 利用 Google Cloud 解决方案每天完成 44 亿次风险计算

高盛

高盛客户聚焦:提供可扩缩性、敏捷性和信任度

此视频介绍了高盛如何利用 Google Cloud 构建高度可伸缩且安全的基础设施,以支持包括风险计算在内的关键金融活动。

了解详情

详细了解 Google Cloud HPC

Google Cloud HPC

Google Cloud HPC:详细了解 Google Cloud 的 HPC 解决方案在不同行业中的情况。

Cloud HPC Toolkit:开始使用 Cloud HPC Toolkit,以便在 Google Cloud 上轻松配置和部署您的 HPC 基础设施。

Cloud HPC Toolkit 蓝图目录:从一系列选定的预构建 HPC Toolkit 蓝图中进行选择,以轻松部署完整的 HPC 环境。

Google Cloud HPC 博客:查阅 Google 重点介绍 HPC 的博客频道,以了解详情。

金融服务

风险价值(维基百科)

Google Cloud 金融服务解决方案:探索 Google Cloud 为满足金融服务行业的独特需求而定制的解决方案。

用于金融风险模拟的 Google Cloud HPC 简明介绍