本指南介绍如何使用 Cloud Deployment Manager 部署包含 SAP HANA 主机自动故障切换故障恢复解决方案的 SAP HANA 横向扩容系统。使用 Deployment Manager，您可以部署一个符合 SAP 支持要求并遵循 SAP 和 Compute Engine 最佳做法的系统。
生成的 SAP HANA 系统包含一个主实例主机、最多 15 个工作器主机和最多 3 个备用主机，所有主机都位于同一个 Compute Engine 可用区内。
该系统还包括适用于 SAP HANA 备用节点的 Google Cloud 存储空间管理器（SAP HANA 的存储空间管理器），该管理器负责管理故障切换期间将存储设备转移到备用节点的操作。SAP HANA 的存储空间管理器安装在 SAP HANA /shared 卷中。
如果您并不需要使用主机自动故障切换功能，请不要使用本指南，而是参阅 Deployment Manager：SAP HANA 部署指南。
如需使用 Terraform 自动部署 SAP HANA 横向扩容系统，请参阅具备主机自动故障切换功能的 SAP HANA 横向扩容系统部署指南。
如果您需要在 Linux 高可用性集群中部署 SAP HANA，请使用以下指南之一：
本指南适用于熟悉 SAP 横向扩容配置（包括用于实现高可用性的备用主机，以及网络文件系统）的 SAP HANA 高级用户。
前提条件
在创建 SAP HANA 高可用性横向扩容系统之前，请确保满足以下前提条件：
- 您已阅读 SAP HANA 规划指南和 SAP HANA 高可用性规划指南。
- 您或您的组织已有一个 Google Cloud 账号，并且您已为 SAP HANA 部署创建了一个项目。如需了解如何创建 Google Cloud 账号和项目，请参阅 SAP HANA 部署指南中的设置 Google 账号。
- 如果您需要 SAP 工作负载根据数据驻留、访问权限控制、支持人员或监管要求运行，则必须创建所需的 Assured Workloads 文件夹。如需了解详情，请参阅 SAP on Google Cloud 的合规性和主权控制。
- SAP HANA 安装媒体存储在可用于您的部署项目和区域的 Cloud Storage 存储桶中。如需了解如何将 SAP HANA 安装媒体上传到 Cloud Storage 存储桶，请参阅 SAP HANA 部署指南中的创建 Cloud Storage 存储桶。
- 您已有一个 NFS 解决方案（例如代管式 Filestore 解决方案），用于在横向扩容 SAP HANA 系统中的主机之间共享 SAP HANA
/hana/shared和/hanabackup卷。在部署该系统之前，应先在 Deployment Manager 配置文件中指定 NFS 服务器的装载点。 如需部署 Filestore NFS 服务器，请参阅创建实例。 托管 SAP HANA 横向扩容节点的 SAP HANA 子网中的所有虚拟机之间都必须能够进行通信。
如果在项目元数据中启用了 OS Login，则需要暂时停用 OS Login，直到部署完成。出于部署目的，此过程会在实例元数据中配置 SSH 密钥。启用 OS Login 后，基于元数据的 SSH 密钥配置会停用，并且此部署将失败。部署完成后，您可以再次启用 OS Login。
如需了解详情，请参阅以下主题：
创建网络
出于安全考虑，建议您创建一个新的网络。您可以通过添加防火墙规则或使用其他访问权限控制方法来控制哪些人有权访问该网络。
如果您的项目具有默认 VPC 网络，请勿使用。 请创建自己的 VPC 网络，以保证只有您明确创建的防火墙规则在起作用。
在部署期间，虚拟机实例通常需要访问互联网来下载 Google Cloud's Agent for SAP。如果您使用的是由 Google Cloud 提供的某一经 SAP 认证的 Linux 映像，那么虚拟机实例还需要访问互联网来注册许可以及访问操作系统供应商代码库。具有 NAT 网关和虚拟机网络标记的配置支持这种访问，即使目标虚拟机没有外部 IP 地址，也是如此。
如需设置网络，请执行以下操作：
控制台
- 在 Google Cloud 控制台中，转到 VPC 网络页面。
- 点击创建 VPC 网络。
- 输入网络的名称。
名称必须遵循命名惯例。VPC 网络使用 Compute Engine 命名惯例。
- 对于子网创建模式，选择自定义。
- 在新子网部分，为子网指定以下配置参数：
- 输入子网的名称。
- 对于区域，请选择您要在其中创建子网的 Compute Engine 区域。
- 对于 IP 栈类型，请选择 IPv4（单栈），然后输入 CIDR 格式的 IP 地址范围，例如
10.1.0.0/24。这是子网的主要 IPv4 地址范围。如果您计划添加多个子网，请为网络中的每个子网分配互不重叠的 CIDR IP 地址范围。请注意，每个子网及其内部 IP 地址范围都映射到一个区域。
- 点击完成。
- 如需添加更多子网，请点击添加子网，然后重复上述步骤。您可以在创建网络后向网络添加更多子网。
- 点击创建。
gcloud
- 转至 Cloud Shell。
- 如需在自定义子网模式下创建新网络，请运行以下命令：
gcloud compute networks create NETWORK_NAME --subnet-mode custom
将
NETWORK_NAME替换为新网络的名称。名称必须遵循命名惯例。VPC 网络使用 Compute Engine 命名惯例。指定
--subnet-mode custom可避免使用默认的自动模式，该模式会自动在每个 Compute Engine 区域创建一个子网。如需了解详情，请参阅子网创建模式。 - 创建一个子网，并指定区域和 IP 地址范围：
gcloud compute networks subnets create SUBNETWORK_NAME \ --network NETWORK_NAME --region REGION --range RANGE替换以下内容：
SUBNETWORK_NAME：新子网的名称NETWORK_NAME：您在上一步中创建的网络的名称REGION：该子网所在的区域RANGE：以 CIDR 格式指定的 IP 地址范围，例如10.1.0.0/24如果您计划添加多个子网，请为网络中的每个子网分配互不重叠的 CIDR IP 地址范围。请注意，每个子网及其内部 IP 地址范围均映射到一个区域。
- （可选）重复上述步骤并添加更多子网。
设置 NAT 网关
如果您需要创建一个或多个没有公共 IP 地址的虚拟机，则需要使用网络地址转换 (NAT) 以使虚拟机能够访问互联网。使用 Cloud NAT，这是 Google Cloud 提供的一项软件定义的代管式服务，可让虚拟机将出站数据包发送到互联网，并接收任何对应的已建立入站响应数据包。或者，您可以将单独的虚拟机设置为 NAT 网关。
如需为项目创建 Cloud NAT 实例，请参阅使用 Cloud NAT。
为项目配置 Cloud NAT 后，虚拟机实例可以在没有公共 IP 地址的情况下安全地访问互联网。
添加防火墙规则
默认情况下，隐式防火墙规则会阻止从 Virtual Private Cloud (VPC) 网络外部传入的连接。如需允许传入的连接，请为您的虚拟机设置防火墙规则。在与虚拟机建立传入的连接后，防火墙会允许通过此连接的双向流量。
您还可以创建防火墙规则，允许对指定端口进行外部访问，或限制同一网络中各虚拟机之间的访问。如果使用 default VPC 网络类型，则系统还会应用一些其他默认规则（例如 default-allow-internal 规则），以允许在同一网络中所有端口上的各虚拟机之间建立连接。
您可能需要通过创建防火墙规则来隔离或限制与数据库主机的连接，具体取决于适用于您的环境的 IT 政策。
根据您的使用场景，您可以创建防火墙规则来允许下列各项中的访问：
- 所有 SAP 产品的 TCP/IP 中列出的默认 SAP 端口。
- 从您的计算机或公司网络环境到 Compute Engine 虚拟机实例的连接。如果您不确定使用哪个 IP 地址，请与您公司的网络管理员联系。
- SAP HANA 子网中虚拟机之间的通信，包括 SAP HANA 横向扩容系统中节点之间的通信，或采用三层架构的数据库服务器和应用服务器之间的通信。您可以通过创建允许来自子网的流量的防火墙规则，使虚拟机之间能够互相通信。
如需创建防火墙规则，请执行以下操作：
控制台
在 Google Cloud 控制台中，进入 VPC 网络防火墙页面。
点击页面顶部的创建防火墙规则。
- 在网络字段中，选择虚拟机所在的网络。
- 在目标字段中，指定要应用此规则的 Google Cloud 资源。例如，指定网络中的所有实例。或者，若要将规则限制为仅应用于 Google Cloud 上的特定实例，请在指定的目标标记中输入标记。
- 在来源过滤条件字段中，选择下列选项之一：
- IP 地址范围：用于允许从特定 IP 地址传入的流量。 请在来源 IP 地址范围字段中指定相应 IP 地址范围。
- 子网：用于允许从特定子网传入的流量。请在下面的子网字段中指定相应子网名称。此选项可用于允许 3 层式或横向扩缩式配置中的各虚拟机之间互相访问。
- 在协议和端口部分，选择指定的协议和端口并输入
tcp:PORT_NUMBER。
点击创建以创建防火墙规则。
gcloud
使用以下命令创建防火墙规则：
$ gcloud compute firewall-rules create FIREWALL_NAME
--direction=INGRESS --priority=1000 \
--network=NETWORK_NAME --action=ALLOW --rules=PROTOCOL:PORT \
--source-ranges IP_RANGE --target-tags=NETWORK_TAGS创建具有备用主机的 SAP HANA 横向扩容系统
在以下说明中，您将完成下列操作：
- 使用您完成的配置文件模板调用 Deployment Manager，以创建 SAP HANA 系统。
- 验证部署。
- 通过模拟主机故障来测试备用主机。
以下说明中的某些步骤使用 Cloud Shell 来输入 gcloud 命令。如果您安装了最新版本的 Google Cloud CLI，则可以从本地终端输入 gcloud 命令。
定义并创建 SAP HANA 系统
在以下步骤中，您将下载和完成 Deployment Manager 配置文件模板并调用 Deployment Manager，然后 Deployment Manager 会部署虚拟机、永久性磁盘和 SAP HANA 实例。
确认项目资源（例如永久性磁盘和 CPU）的当前配额是否足以满足您要安装的 SAP HANA 系统的要求。如果配额不足，则部署将失败。如需了解 SAP HANA 配额需求，请参阅有关 SAP HANA 的价格和配额考虑因素。
打开 Cloud Shell。
将用于 SAP HANA 高可用性横向扩容系统的
template.yaml配置文件模板下载到您的工作目录：wget https://storage.googleapis.com/cloudsapdeploy/deploymentmanager/latest/dm-templates/sap_hana_scaleout/template.yaml
（可选）重命名
template.yaml文件以标识其定义的配置。例如，您可以使用类似hana2sp3rev30-scaleout.yaml的文件名。在 Cloud Shell 代码编辑器中打开
template.yaml文件。如需打开 Cloud Shell 代码编辑器，请点击 Cloud Shell 终端窗口右上角的铅笔图标。
在
template.yaml文件中更新以下属性值，并将括号及其内容替换为安装值。例如，您可以将“[ZONE]”替换为“us-central1-f”。属性 数据类型 说明 类型 字符串 指定要在部署期间使用的 Deployment Manager 模板的位置、类型和版本。
YAML 文件包含两个
type规范，其中一个被注释掉。默认处于活跃状态的type规范将模板版本指定为latest。注释掉的type规范使用时间戳指定特定模板版本。如果您需要所有部署都使用相同的模板版本，请使用包含时间戳的
type规范。instanceName字符串 SAP HANA 主实例主机的虚拟机实例的名称。必须使用小写字母、数字或连字符指定该名称。工作器主机和备用主机的虚拟机实例使用相同的名称并在后面附加“w”和各自的主机编号。 instanceType字符串 需要运行 SAP HANA 的 Compute Engine 虚拟机的类型。如果您需要自定义虚拟机类型，请指定一个预定义虚拟机类型，其中 vCPU 的数量最接近但仍大于所需的数量。部署完成后，修改 vCPU 数量和内存量。 zone字符串 将在其中部署要运行的 SAP HANA 系统的可用区。该可用区必须位于您为子网选择的区域中。 subnetwork字符串 您在上一步中创建的子网的名称。如果您要部署到共享 VPC，请以 [SHAREDVPC_PROJECT]/[SUBNETWORK]的格式指定此值。例如myproject/network1。linuxImage字符串 您用于 SAP HANA 的 Linux 操作系统映像或映像系列的名称。如需指定映像系列，请将前缀 family/添加到系列名称中，例如family/rhel-8-1-sap-ha或family/sles-15-sp2-sap。如需指定某一特定映像，请仅指定该映像的名称。如需查看可用映像系列的列表，请参阅 Google Cloud 控制台的映像页面。linuxImageProject字符串 您要使用的映像所属的 Google Cloud 项目。此项目可以是您自己的项目，也可以是某个 Google Cloud 映像项目。对于 Compute Engine 映像，请指定 rhel-sap-cloud或suse-sap-cloud。如需查找操作系统的映像项目，请参阅操作系统详细信息。sap_hana_deployment_bucket字符串 您在上一步中上传的 SAP HANA 安装文件所属项目中的 Cloud Storage 存储桶的名称。 sap_hana_sid字符串 SAP HANA 系统 ID。此 ID 必须由 3 个字母数字字符组成，并以字母开头。所有字母必须大写。 sap_hana_instance_number整数 SAP HANA 系统的实例编号（0 到 99）。默认值为 0。 sap_hana_sidadm_password字符串 操作系统管理员在部署期间要使用的临时密码。密码必须至少包含 8 个字符，并且至少包含 1 个大写字母、1 个小写字母和 1 个数字。 sap_hana_system_password字符串 数据库超级用户要在部署期间使用的临时密码。密码必须至少包含 8 个字符，并且至少包含 1 个大写字母、1 个小写字母和 1 个数字。 sap_hana_worker_nodes整数 您需要的额外 SAP HANA 工作器主机的数量。您可以指定 1 到 15 个工作器主机。默认值为 1。 sap_hana_standby_nodes整数 您需要的额外 SAP HANA 备用主机的数量。您可以指定 1 到 3 个备用主机。默认值为 1。 sap_hana_shared_nfs字符串 /hana/shared卷的 NFS 装载点。 例如10.151.91.122:/hana_shared_nfs。sap_hana_backup_nfs字符串 /hanabackup卷的 NFS 装载点。 例如10.216.41.122:/hana_backup_nfs。networkTag字符串 可选。一个或多个英文逗号分隔的网络标记，表示用于防火墙或路由的虚拟机实例。如果您指定 publicIP: No而不指定网络标记，请务必另外提供一种访问互联网的方法。nic_type字符串 可选，但建议使用（如果适用于目标机器和操作系统版本）。指定要用于虚拟机实例的网络接口。您可以指定值 GVNIC或VIRTIO_NET。如需使用 Google 虚拟 NIC (gVNIC)，您需要指定一个支持 gVNIC 的操作系统映像作为linuxImage属性的值。如需查看操作系统映像列表，请参阅操作系统详细信息。如果您没有为此属性指定值，则系统会根据您为
此参数在 Deployment Manager 模板版本instanceType属性指定的机器类型自动选择网络接口。202302060649或更高版本中提供。publicIP布尔值 可选。决定是否为虚拟机实例添加一个公共 IP 地址。默认为 Yes。sap_hana_double_volume_size整数 可选。将 HANA 卷大小翻倍。如果您希望在同一虚拟机上部署多个 SAP HANA 实例或一个灾难恢复 SAP HANA 实例，这会非常有用。默认情况下，卷大小会自动计算为您的内存空间所需的最小大小，同时仍然满足 SAP 认证和支持要求。 sap_hana_sidadm_uid整数 可选。替换 SID_LCadm用户 ID 的默认值。默认值为 900。您可以将此值更改为其他值，以便在 SAP 环境中保持一致性。sap_hana_sapsys_gid整数 可选。替换 sapsys 的默认组 ID。默认值为 79。 sap_deployment_debug布尔值 可选。如果此值设置为 Yes，则部署将生成详细的部署日志。除非 Google 支持工程师要求您启用调试，否则请勿开启此设置。post_deployment_script布尔值 可选。部署完成后要运行的脚本的网址或存储位置。该脚本应托管在 Web 服务器上或 Cloud Storage 存储桶中。该值应以 http://、https:// 或 gs:// 开头。请注意，系统将对模板创建的所有虚拟机执行此脚本。如果您只想在主实例上运行该脚本，则需要在脚本的开头添加一项检查。 以下示例展示了一个已完成的配置文件，该文件在 us-central1-f 可用区部署了一个包含三个工作器主机和一个备用主机的 SAP HANA 横向扩容系统。 每个主机安装在运行 Compute Engine 公共映像提供的 Linux 操作系统的 n2-highmem-32 虚拟机上。NFS 卷由 Filestore 提供。临时密码仅在部署和配置处理期间使用。指定的自定义服务账号将成为已部署虚拟机的服务账号。
resources: - name: sap_hana_ha_scaleout type: https://storage.googleapis.com/cloudsapdeploy/deploymentmanager/latest/dm-templates/sap_hana_scaleout/sap_hana_scaleout.py # # By default, this configuration file uses the latest release of the deployment # scripts for SAP on Google Cloud. To fix your deployments to a specific release # of the scripts, comment out the type property above and uncomment the type property below. # # type: https://storage.googleapis.com/cloudsapdeploy/deploymentmanager/YYYYMMDDHHMM/dm-templates/sap_hana_scaleout/sap_hana_scaleout.py # properties: instanceName: hana-scaleout-w-failover instanceType: n2-highmem-32 zone: us-central1-f subnetwork: example-sub-network-sap linuxImage: family/sles-15-sp2-sap linuxImageProject: suse-sap-cloud sap_hana_deployment_bucket: hana2-sp5-rev53 sap_hana_sid: HF0 sap_hana_instance_number: 00 sap_hana_sidadm_password: TempPa55word sap_hana_system_password: TempPa55word sap_hana_worker_nodes: 3 sap_hana_standby_nodes: 1 sap_hana_shared_nfs: 10.74.146.58:/hana_shr sap_hana_backup_nfs: 10.188.249.170:/hana_bup serviceAccount: sap-deploy-example@example-project-123456.iam.gserviceaccount.com创建实例：
gcloud deployment-manager deployments create [DEPLOYMENT_NAME] --config [TEMPLATE_NAME].yaml上述命令调用 Deployment Manager，它会设置 Google Cloud 基础架构，然后调用另一个脚本以配置操作系统并安装 SAP HANA。
当 Deployment Manager 拥有控制权时，状态消息将写入 Cloud Shell。调用脚本后，状态消息将写入 Logging，并可在 Google Cloud 控制台中查看，如检查 Logging 日志中所述。
完成时间可能有所不同，但整个流程通常可在 30 分钟内完成。
验证部署
如需验证部署，请检查 Cloud Logging 中的部署日志，检查主要主机和工作器主机的虚拟机上的磁盘和服务，在 SAP HANA Studio 中显示该系统，然后测试备用主机的接管情况。
查看日志
在 Google Cloud 控制台中，打开 Cloud Logging 以监控安装进度并检查错误。
过滤日志：
日志浏览器
在日志浏览器页面中，转到查询窗格。
从资源下拉菜单中选择全局，然后点击添加。
如果您没有看到全局选项，请在查询编辑器中输入以下查询：
resource.type="global" "Deployment"点击运行查询。
旧式日志查看器
- 在旧版日志查看器页面中，从基本选择器菜单选择全局作为日志记录资源。
分析过滤后的日志：
- 如果显示
"--- Finished"，则表示部署已完成处理，您可以继续执行下一步。 如果出现配额错误，请执行以下步骤：
对于任何不符合 SAP HANA 规划指南中列出的 SAP HANA 要求的配额，请在“IAM 和管理”的配额页面上提高配额。
在 Deployment Manager 的部署页面上，删除部署以清理失败安装中的虚拟机和永久性磁盘。
重新运行部署。
- 如果显示
连接到虚拟机以检查磁盘和 SAP HANA 服务
部署完成后，通过检查主实例主机和一个工作器主机的磁盘和服务，确认磁盘和 SAP HANA 服务是否已正确部署。
在 Compute Engine 虚拟机实例页面上，连接到主实例主机的虚拟机和一个工作器主机的虚拟机，方法是分别点击这两个虚拟机实例对应行上的 SSH 按钮。
连接到工作器主机时，请确保未连接到备用主机。备用主机与工作器主机使用相同的命名惯例，但在第一次接管之前，前者的工作器主机后缀编号值最大。例如，如果您有三个工作器主机和一个备用主机，则在第一次接管之前，备用主机的后缀为“w4”。
在每个终端窗口中，切换到根用户。
sudo su -
在每个终端窗口中，显示磁盘文件系统。
df -h
在主实例主机上，您应该会看到类似如下所示的输出：
hana-scaleout-w-failover:~ # df -h Filesystem Size Used Avail Use% Mounted on devtmpfs 126G 8.0K 126G 1% /dev tmpfs 189G 0 189G 0% /dev/shm tmpfs 126G 18M 126G 1% /run tmpfs 126G 0 126G 0% /sys/fs/cgroup /dev/sda3 45G 5.6G 40G 13% / /dev/sda2 20M 2.9M 18M 15% /boot/efi 10.135.35.138:/hana_shr 1007G 50G 906G 6% /hana/shared tmpfs 26G 0 26G 0% /run/user/473 10.197.239.138:/hana_bup 1007G 0 956G 0% /hanabackup tmpfs 26G 0 26G 0% /run/user/900 /dev/mapper/vg_hana-data 709G 7.7G 702G 2% /hana/data/HF0/mnt00001 /dev/mapper/vg_hana-log 125G 5.3G 120G 5% /hana/log/HF0/mnt00001 tmpfs 26G 0 26G 0% /run/user/1003
在工作器主机上，请注意
/hana/data和/hana/log目录的装载点不同。hana-scaleout-w-failoverw2:~ # df -h Filesystem Size Used Avail Use% Mounted on devtmpfs 126G 8.0K 126G 1% /dev tmpfs 189G 0 189G 0% /dev/shm tmpfs 126G 9.2M 126G 1% /run tmpfs 126G 0 126G 0% /sys/fs/cgroup /dev/sda3 45G 5.6G 40G 13% / /dev/sda2 20M 2.9M 18M 15% /boot/efi tmpfs 26G 0 26G 0% /run/user/0 10.135.35.138:/hana_shr 1007G 50G 906G 6% /hana/shared 10.197.239.138:/hana_bup 1007G 0 956G 0% /hanabackup /dev/mapper/vg_hana-data 709G 821M 708G 1% /hana/data/HF0/mnt00003 /dev/mapper/vg_hana-log 125G 2.2G 123G 2% /hana/log/HF0/mnt00003 tmpfs 26G 0 26G 0% /run/user/1003
在备用主机上，除非备用主机接管故障主机，否则系统不会装载数据和日志目录。
hana-scaleout-w-failoverw4:~ # df -h Filesystem Size Used Avail Use% Mounted on devtmpfs 126G 8.0K 126G 1% /dev tmpfs 189G 0 189G 0% /dev/shm tmpfs 126G 18M 126G 1% /run tmpfs 126G 0 126G 0% /sys/fs/cgroup /dev/sda3 45G 5.6G 40G 13% / /dev/sda2 20M 2.9M 18M 15% /boot/efi tmpfs 26G 0 26G 0% /run/user/0 10.135.35.138:/hana_shr 1007G 50G 906G 6% /hana/shared 10.197.239.138:/hana_bup 1007G 0 956G 0% /hanabackup tmpfs 26G 0 26G 0% /run/user/1003
在每个终端窗口中，切换到 SAP HANA 操作系统用户。
su - SID_LCadm
将
SID_LC替换为您在配置文件模板中指定的 SID 值。对于任何字母，请使用小写字母。在每个终端窗口中，确保 SAP HANA 服务（例如
hdbnameserver、hdbindexserver及其他服务）正在实例上运行。HDB info
在主实例主机上，您应该会看到类似于以下截断示例的输出：
hf0adm@hana-scaleout-w-failover:/usr/sap/HF0/HDB00> HDB info USER PID PPID %CPU VSZ RSS COMMAND hf0adm 5936 5935 0.7 18540 6776 -sh hf0adm 6011 5936 0.0 14128 3856 \_ /bin/sh /usr/sap/HF0/HDB00/HDB info hf0adm 6043 6011 0.0 34956 3568 \_ ps fx -U hf0adm -o user:8,pid:8,ppid:8,pcpu:5,vsz:10 hf0adm 17950 1 0.0 23052 3168 sapstart pf=/hana/shared/HF0/profile/HF0_HDB00_hana-scaleout hf0adm 17957 17950 0.0 457332 70956 \_ /usr/sap/HF0/HDB00/hana-scaleout-w-failover/trace/hdb.sa hf0adm 17975 17957 1.8 9176656 3432456 \_ hdbnameserver hf0adm 18334 17957 0.4 4672036 229204 \_ hdbcompileserver hf0adm 18337 17957 0.4 4941180 257348 \_ hdbpreprocessor hf0adm 18385 17957 4.5 9854464 4955636 \_ hdbindexserver -port 30003 hf0adm 18388 17957 1.2 7658520 1424708 \_ hdbxsengine -port 30007 hf0adm 18865 17957 0.4 6640732 526104 \_ hdbwebdispatcher hf0adm 14230 1 0.0 568176 32100 /usr/sap/HF0/HDB00/exe/sapstartsrv pf=/hana/shared/HF0/profi hf0adm 10920 1 0.0 710684 51560 hdbrsutil --start --port 30003 --volume 3 --volumesuffix mn hf0adm 10575 1 0.0 710680 51104 hdbrsutil --start --port 30001 --volume 1 --volumesuffix mn hf0adm 10217 1 0.0 72140 7752 /usr/lib/systemd/systemd --user hf0adm 10218 10217 0.0 117084 2624 \_ (sd-pam)
在工作器主机上，您应该会看到类似于以下截断示例的输出：
hf0adm@hana-scaleout-w-failoverw2:/usr/sap/HF0/HDB00> HDB info USER PID PPID %CPU VSZ RSS COMMAND hf0adm 22136 22135 0.3 18540 6804 -sh hf0adm 22197 22136 0.0 14128 3892 \_ /bin/sh /usr/sap/HF0/HDB00/HDB info hf0adm 22228 22197 100 34956 3528 \_ ps fx -U hf0adm -o user:8,pid:8,ppid:8,pcpu:5,vsz:10 hf0adm 9138 1 0.0 23052 3064 sapstart pf=/hana/shared/HF0/profile/HF0_HDB00_hana-scaleout hf0adm 9145 9138 0.0 457360 70900 \_ /usr/sap/HF0/HDB00/hana-scaleout-w-failoverw2/trace/hdb. hf0adm 9163 9145 0.7 7326228 755772 \_ hdbnameserver hf0adm 9336 9145 0.5 4670756 226972 \_ hdbcompileserver hf0adm 9339 9145 0.6 4942460 259724 \_ hdbpreprocessor hf0adm 9385 9145 2.0 7977460 1666792 \_ hdbindexserver -port 30003 hf0adm 9584 9145 0.5 6642012 528840 \_ hdbwebdispatcher hf0adm 8226 1 0.0 516532 52676 hdbrsutil --start --port 30003 --volume 5 --volumesuffix mn hf0adm 7756 1 0.0 567520 31316 /hana/shared/HF0/HDB00/exe/sapstartsrv pf=/hana/shared/HF0/p
在备用主机上，您应该会看到类似于以下截断示例的输出：
hana-scaleout-w-failoverw4:~ # su - hf0adm hf0adm@hana-scaleout-w-failoverw4:/usr/sap/HF0/HDB00> HDB info USER PID PPID %CPU VSZ RSS COMMAND hf0adm 19926 19925 0.2 18540 6748 -sh hf0adm 19987 19926 0.0 14128 3864 \_ /bin/sh /usr/sap/HF0/HDB00/HDB info hf0adm 20019 19987 0.0 34956 3640 \_ ps fx -U hf0adm -o user:8,pid:8,ppid:8,pcpu:5,vsz:10 hf0adm 8120 1 0.0 23052 3232 sapstart pf=/hana/shared/HF0/profile/HF0_HDB00_hana-scaleout hf0adm 8127 8120 0.0 457348 71348 \_ /usr/sap/HF0/HDB00/hana-scaleout-w-failoverw4/trace/hdb. hf0adm 8145 8127 0.6 7328784 708284 \_ hdbnameserver hf0adm 8280 8127 0.4 4666916 223892 \_ hdbcompileserver hf0adm 8283 8127 0.4 4939904 256740 \_ hdbpreprocessor hf0adm 8328 8127 0.4 6644572 534044 \_ hdbwebdispatcher hf0adm 7374 1 0.0 633568 31520 /hana/shared/HF0/HDB00/exe/sapstartsrv pf=/hana/shared/HF0/p
如果您使用的是 RHEL for SAP 9.0 或更高版本，请确保虚拟机实例上已安装软件包
chkconfig和compat-openssl11。如需查看 SAP 提供的详细信息，请参阅 SAP 说明 3108316 - Red Hat Enterprise Linux 9.x：安装和配置。
连接 SAP HANA Studio
从 SAP HANA Studio 连接到 SAP HANA 主实例主机。
您可以从 Google Cloud 外部的 SAP HANA Studio 实例进行连接，也可以从 Google Cloud 上的实例进行连接。您可能需要允许目标虚拟机和 SAP HANA Studio 之间的网络访问。
如需在 Google Cloud 上使用 SAP HANA Studio 并允许访问 SAP HANA 系统，请参阅在 Compute Engine Windows 虚拟机上安装 SAP HANA Studio。
在 SAP HANA Studio 中，点击默认系统管理面板上的 Landscape 标签页。您应该会看到类似于以下示例的显示内容。
如果任何验证步骤显示安装失败，请执行以下操作：
- 更正错误。
- 在部署页面上，删除部署。
- 重新运行部署。
执行故障切换测试
在确认 SAP HANA 系统已成功部署后，请测试故障切换功能。
以下说明介绍了通过切换到 SAP HANA 操作系统用户并输入 HDB stop 命令来触发故障切换。HDB stop 命令会启动 SAP HANA 的正常关停，并将磁盘与主机分离，从而实现相对快速的故障切换。
如需执行故障切换测试，请执行以下操作：
使用 SSH 连接到工作器主机的虚拟机。您可以在 Compute Engine“虚拟机实例”页面中通过点击每个虚拟机实例对应的 SSH 按钮进行连接，也可以使用自己偏好的 SSH 方法。
切换到 SAP HANA 操作系统用户。在以下示例中，将
SID_LC替换为您为系统定义的 SID。su - SID_LCadm
通过停止 SAP HANA 来模拟故障：
HDB stop
HDB stop命令会启动关停 SAP HANA 的操作，以触发故障切换。在故障切换期间，磁盘会与故障主机分离，然后重新挂接到备用主机。故障主机将重启并成为备用主机。在等待一段时间直至接管完成后，使用 SSH 重新连接到接管故障主机的主机。
切换到 root 用户。
sudo su -
显示主实例主机和工作器主机的虚拟机的磁盘文件系统。
df -h
您应该会看到类似如下所示的输出。故障主机中的
/hana/data和/hana/log目录现已装载到接管的主机上。hana-scaleout-w-failoverw4:~ # df -h Filesystem Size Used Avail Use% Mounted on devtmpfs 126G 8.0K 126G 1% /dev tmpfs 189G 0 189G 0% /dev/shm tmpfs 126G 9.2M 126G 1% /run tmpfs 126G 0 126G 0% /sys/fs/cgroup /dev/sda3 45G 5.6G 40G 13% / /dev/sda2 20M 2.9M 18M 15% /boot/efi tmpfs 26G 0 26G 0% /run/user/0 10.74.146.58:/hana_shr 1007G 50G 906G 6% /hana/shared 10.188.249.170:/hana_bup 1007G 0 956G 0% /hanabackup /dev/mapper/vg_hana-data 709G 821M 708G 1% /hana/data/HF0/mnt00003 /dev/mapper/vg_hana-log 125G 2.2G 123G 2% /hana/log/HF0/mnt00003 tmpfs 26G 0 26G 0% /run/user/1003
在 SAP HANA Studio 中，打开 SAP HANA 系统的 Landscape 视图以确认故障切换是否成功：
- 故障切换所涉及的主机的状态应为
INFO。 - Index Server Role (Actual) 列应该会将故障主机显示为新备用主机。
- 故障切换所涉及的主机的状态应为
验证 Google Cloud 的 Agent for SAP 的安装
部署虚拟机并安装您的 SAP 系统后，请验证 Google Cloud's Agent for SAP 是否正常运行。
验证 Google Cloud 的 Agent for SAP 是否正在运行
如需验证代理是否正在运行，请按照以下步骤操作：
与主机虚拟机实例建立 SSH 连接。
运行以下命令：
systemctl status google-cloud-sap-agent
如果代理正常运行，则输出包含
active (running)。例如：google-cloud-sap-agent.service - Google Cloud Agent for SAP Loaded: loaded (/usr/lib/systemd/system/google-cloud-sap-agent.service; enabled; vendor preset: disabled) Active: active (running) since Fri 2022-12-02 07:21:42 UTC; 4 days ago Main PID: 1337673 (google-cloud-sa) Tasks: 9 (limit: 100427) Memory: 22.4 M (max: 1.0G limit: 1.0G) CGroup: /system.slice/google-cloud-sap-agent.service └─1337673 /usr/bin/google-cloud-sap-agent
如果代理未在运行，请重启代理。
验证 SAP Host Agent 正在接收指标
如需验证基础架构指标是否由 Google Cloud's Agent for SAP 收集并正确发送到 SAP Host Agent，请按照以下步骤操作：
- 在您的 SAP 系统中，输入事务
ST06。 在概览窗格中，检查以下字段的可用性和内容，以确保 SAP 与 Google 监控基础架构的端到端设置正确无误：
- Cloud Provider：
Google Cloud Platform - Enhanced Monitoring Access：
TRUE - Enhanced Monitoring Details：
ACTIVE
- Cloud Provider：
为 SAP HANA 设置监控
（可选）您可以使用 Google Cloud 的 Agent for SAP 来监控 SAP HANA 实例。从 2.0 版开始，您可以将代理配置为收集 SAP HANA 监控指标并将其发送到 Cloud Monitoring。借助 Cloud Monitoring，您可以创建信息中心以直观呈现这些指标，并根据指标阈值设置提醒等。
如需详细了解如何使用 Google Cloud 的 Agent for SAP 收集 SAP HANA 监控指标，请参阅 SAP HANA 监控指标收集。
启用 SAP HANA 快速重启
Google Cloud 强烈建议为 SAP HANA 的每个实例（尤其是较大的实例）启用 SAP HANA 快速重启。当 SAP HANA 终止但操作系统保持运行时，SAP HANA 快速重启可以减少重启时间。
Google Cloud 提供的自动化脚本会代您将操作系统和内核设置配置为支持 SAP HANA 快速重启。您只需定义 tmpfs 文件系统并配置 SAP HANA。
如需定义 tmpfs 文件系统并配置 SAP HANA，您可以按照手动步骤进行操作，也可以使用 Google Cloud 提供的自动化脚本来启用 SAP HANA 快速重启。如需了解详情，请参阅：
如需了解 SAP HANA 快速重启的完整权威说明，请参阅 SAP HANA 快速重启选项文档。
手动步骤
配置 tmpfs 文件系统
成功部署主机虚拟机和基本 SAP HANA 系统后，您需要在 tmpfs 文件系统中创建和装载 NUMA 节点的目录。
显示虚拟机的 NUMA 拓扑
在映射所需的 tmpfs 文件系统之前，您需要知道虚拟机有多少 NUMA 节点。如需显示 Compute Engine 虚拟机上的可用 NUMA 节点，请输入以下命令：
lscpu | grep NUMA
例如，m2-ultramem-208 虚拟机类型有四个 NUMA 节点（编号为 0-3），如以下示例所示：
NUMA node(s): 4 NUMA node0 CPU(s): 0-25,104-129 NUMA node1 CPU(s): 26-51,130-155 NUMA node2 CPU(s): 52-77,156-181 NUMA node3 CPU(s): 78-103,182-207
创建 NUMA 节点目录
为虚拟机中的每个 NUMA 节点创建一个目录，并设置权限。
例如，对于编号为 0-3 的四个 NUMA 节点：
mkdir -pv /hana/tmpfs{0..3}/SID
chown -R SID_LCadm:sapsys /hana/tmpfs*/SID
chmod 777 -R /hana/tmpfs*/SID
将 NUMA 节点目录装载到 tmpfs
装载 tmpfs 文件系统目录，并使用 mpol=prefer 为每个目录指定 NUMA 节点首选设置：
SID 使用大写字母指定 SID。
mount tmpfsSID0 -t tmpfs -o mpol=prefer:0 /hana/tmpfs0/SID mount tmpfsSID1 -t tmpfs -o mpol=prefer:1 /hana/tmpfs1/SID mount tmpfsSID2 -t tmpfs -o mpol=prefer:2 /hana/tmpfs2/SID mount tmpfsSID3 -t tmpfs -o mpol=prefer:3 /hana/tmpfs3/SID
更新 /etc/fstab
为了确保装载点在操作系统重新启动后可用，请将条目添加到文件系统表 /etc/fstab 中：
tmpfsSID0 /hana/tmpfs0/SID tmpfs rw,relatime,mpol=prefer:0 tmpfsSID1 /hana/tmpfs1/SID tmpfs rw,relatime,mpol=prefer:1 tmpfsSID1 /hana/tmpfs2/SID tmpfs rw,relatime,mpol=prefer:2 tmpfsSID1 /hana/tmpfs3/SID tmpfs rw,relatime,mpol=prefer:3
可选：设置内存用量限制
tmpfs 文件系统可以动态扩缩。
如需限制 tmpfs 文件系统使用的内存，您可以使用 size 选项设置 NUMA 节点卷的大小限制。例如：
mount tmpfsSID0 -t tmpfs -o mpol=prefer:0,size=250G /hana/tmpfs0/SID
您还可以通过设置 global.ini 文件的 [memorymanager] 部分中的 persistent_memory_global_allocation_limit 参数，限制给定 SAP HANA 实例和给定服务器节点的所有 NUMA 节点的总 tmpfs 内存用量。
快速重启的 SAP HANA 配置
要配置 SAP HANA 以使用快速重启，请更新 global.ini 文件并指定要存储在永久性内存中的表。
更新 global.ini 文件中的 [persistence] 部分
配置 SAP HANA global.ini 文件中的 [persistence] 部分以引用 tmpfs 位置。用英文分号分隔每个 tmpfs 位置：
[persistence] basepath_datavolumes = /hana/data basepath_logvolumes = /hana/log basepath_persistent_memory_volumes = /hana/tmpfs0/SID;/hana/tmpfs1/SID;/hana/tmpfs2/SID;/hana/tmpfs3/SID
上述示例为 4 个 NUMA 节点指定了 4 个内存卷，对应于 m2-ultramem-208。如果您是在 m2-ultramem-416 上运行，则需要配置 8 个内存卷 (0..7)。
修改 global.ini 文件后，重启 SAP HANA。
SAP HANA 现在可以将 tmpfs 位置用作永久性内存空间。
指定要存储在永久性内存中的表
指定要存储在永久性内存中的特定列表或分区。
例如，如需为现有表启用永久性内存，请执行 SQL 查询：
ALTER TABLE exampletable persistent memory ON immediate CASCADE
如需更改新表的默认设置，请在 indexserver.ini 文件中添加参数 table_default。例如：
[persistent_memory] table_default = ON
如需详细了解如何控制列、表以及哪些监控视图提供详细信息，请参阅 SAP HANA 永久性内存。
自动步骤
Google Cloud 提供的用于启用 SAP HANA 快速重启的自动化脚本会更改目录 /hana/tmpfs*、文件 /etc/fstab 和 SAP HANA 配置。运行脚本时，您可能需要执行其他步骤，具体取决于这是 SAP HANA 系统的初始部署，还是需要将机器大小调整为其他 NUMA 大小。
对于 SAP HANA 系统的初始部署或调整机器大小以增加 NUMA 节点的数量，请确保在执行 Google Cloud 提供的用于启用 SAP HANA 快速重启的自动化脚本期间正在运行 SAP HANA。
当您调整机器大小以减少 NUMA 节点的数量时，请确保在执行 Google Cloud 提供的用于启用 SAP HANA 快速重启的自动化脚本期间已停止 SAP HANA。执行脚本后，您需要手动更新 SAP HANA 配置以完成 SAP HANA 快速重启设置。如需了解详情，请参阅用于快速重启的 SAP HANA 配置。
如需启用 SAP HANA 快速重启，请按照以下步骤操作：
与主机虚拟机建立 SSH 连接。
切换到根用户：
sudo su -
下载
sap_lib_hdbfr.sh脚本：wget https://storage.googleapis.com/cloudsapdeploy/terraform/latest/terraform/lib/sap_lib_hdbfr.sh
让该文件可执行：
chmod +x sap_lib_hdbfr.sh
验证脚本没有错误：
vi sap_lib_hdbfr.sh ./sap_lib_hdbfr.sh -help
如果该命令返回错误，请与 Cloud Customer Care 团队联系。如需详细了解如何与 Customer Care 团队联系，请参阅获取 Google Cloud 上的 SAP 支持。
在替换 SAP HANA 数据库的 SYSTEM 用户的 SAP HANA 系统 ID (SID) 和密码后运行脚本。要安全地提供密码，我们建议您在 Secret Manager 中使用 Secret。
使用 Secret Manager 中的 Secret 名称运行脚本。此 Secret 必须存在于包含主机虚拟机实例的 Google Cloud 项目中。
sudo ./sap_lib_hdbfr.sh -h 'SID' -s SECRET_NAME
替换以下内容：
SID：使用大写字母指定 SID。例如AHA。SECRET_NAME：指定与 SAP HANA 数据库的 SYSTEM 用户密码相对应的 Secret 名称。此 Secret 必须存在于包含主机虚拟机实例的 Google Cloud 项目中。
或者，您可以使用纯文本密码运行脚本。启用 SAP HANA 快速重启后，请务必更改密码。不建议使用纯文本密码，因为密码将记录在虚拟机的命令行历史记录中。
sudo ./sap_lib_hdbfr.sh -h 'SID' -p 'PASSWORD'
替换以下内容：
SID：使用大写字母指定 SID。例如AHA。PASSWORD：指定 SAP HANA 数据库的 SYSTEM 用户的密码。
如果系统成功运行了初始运行，您应该会看到如下所示的输出：
INFO - Script is running in standalone mode
ls: cannot access '/hana/tmpfs*': No such file or directory
INFO - Setting up HANA Fast Restart for system 'TST/00'.
INFO - Number of NUMA nodes is 2
INFO - Number of directories /hana/tmpfs* is 0
INFO - HANA version 2.57
INFO - No directories /hana/tmpfs* exist. Assuming initial setup.
INFO - Creating 2 directories /hana/tmpfs* and mounting them
INFO - Adding /hana/tmpfs* entries to /etc/fstab. Copy is in /etc/fstab.20220625_030839
INFO - Updating the HANA configuration.
INFO - Running command: select * from dummy
DUMMY
"X"
1 row selected (overall time 4124 usec; server time 130 usec)
INFO - Running command: ALTER SYSTEM ALTER CONFIGURATION ('global.ini', 'SYSTEM') SET ('persistence', 'basepath_persistent_memory_volumes') = '/hana/tmpfs0/TST;/hana/tmpfs1/TST;'
0 rows affected (overall time 3570 usec; server time 2239 usec)
INFO - Running command: ALTER SYSTEM ALTER CONFIGURATION ('global.ini', 'SYSTEM') SET ('persistent_memory', 'table_unload_action') = 'retain';
0 rows affected (overall time 4308 usec; server time 2441 usec)
INFO - Running command: ALTER SYSTEM ALTER CONFIGURATION ('indexserver.ini', 'SYSTEM') SET ('persistent_memory', 'table_default') = 'ON';
0 rows affected (overall time 3422 usec; server time 2152 usec)
连接到 SAP HANA
请注意，由于此处的说明不使用 SAP HANA 的外部 IP，因此您只能使用 SSH 通过堡垒实例连接到 SAP HANA 实例，或使用 SAP HANA Studio 通过 Windows Server 进行连接。
如需通过堡垒实例连接到 SAP HANA，请使用您选择的 SSH 客户端连接到堡垒主机，然后再连接到 SAP HANA 实例。
如需通过 SAP HANA Studio 连接到 SAP HANA 数据库，请使用远程桌面客户端连接到 Windows Server 实例。连接后，手动安装 SAP HANA Studio 并访问 SAP HANA 数据库。
执行部署后任务
在使用 SAP HANA 实例之前，我们建议您执行以下几个部署后步骤。如需了解详情，请参阅 SAP HANA 安装和更新指南。
更改 SAP HANA 系统管理员和数据库超级用户的临时密码。
使用最新补丁程序更新 SAP HANA 软件。
安装任何其他组件，如应用函数库 (AFL) 或智能数据访问 (SDA)。
如果要升级现有 SAP HANA 系统，请使用标准备份和恢复过程或使用 SAP HANA 系统复制从现有系统加载数据。
配置和备份新的 SAP HANA 数据库。如需了解详情，请参阅 SAP HANA 操作指南。
后续步骤
- 如需详细了解虚拟机管理和监控，请参阅 SAP HANA 操作指南。