RHEL 기반 SAP HANA용 HA 수평 확장 클러스터 구성 가이드

이 가이드에서는 내부 패스 스루 네트워크 부하 분산기를 사용하여 가상 IP(VIP) 주소를 관리하는 Google Cloud 기반 SAP HANA 수평 확장 시스템에 Red Hat Enterprise Linux(RHEL) 고가용성(HA) 클러스터를 배포하고 수동으로 구성하는 방법을 보여줍니다.

이 가이드에는 다음을 수행하는 단계가 포함되어 있습니다.

장애가 발생할 경우 트래픽을 다시 라우팅하도록 내부 패스 스루 네트워크 부하 분산기 구성
장애 조치 중에 SAP 시스템과 기타 리소스를 관리하도록 RHEL에서 Pacemaker 클러스터 구성

이 가이드에는 SAP HANA 시스템 복제를 구성하는 단계도 포함되어 있지만 정확한 지침은 SAP 문서를 참조하세요.

Linux 고가용성 클러스터나 대기 노드 호스트 없이 SAP HANA 시스템을 배포하려면 SAP HANA 배포 가이드를 참조하세요.

이 가이드는 SAP HANA용 Linux 고가용성 구성에 익숙한 SAP HANA 고급 사용자를 대상으로 합니다.

이 가이드에서 배포하는 시스템

이 가이드를 따라 tie-breaker 노드로 알려진 다수의 결정권자 역할을 수행하는 추가 인스턴스를 사용하여 전체 영역 중복성을 위해 구성된 멀티 노드 SAP HANA HA 시스템을 배포합니다. 여기서는 하나의 영역이 손실된 경우에도 클러스터 쿼럼이 유지되도록 보장합니다.

최종 배포는 다음 리소스로 구성됩니다.

각 인스턴스에 영역별 대응 인스턴스가 있는 기본 및 보조 사이트
동기 복제용으로 구성된 사이트 2개
다수의 결정권자 역할을 하는 단일 컴퓨팅 인스턴스
펜싱 메커니즘이 있는 Pacemaker 고가용성 클러스터 리소스 관리자
각 SAP HANA 인스턴스에 연결된 SAP HANA 데이터 및 로그 볼륨용 영구 디스크

멀티노드 SAP HANA 수평 확장 시스템의 고가용성 Linux 클러스터 개요

이 가이드에서는 Google Cloud에서 제공하는 Terraform 템플릿을 사용하여 Compute Engine 가상 머신(VM)과 SAP HANA 인스턴스를 배포합니다. 이렇게 하면 VM과 기본 SAP HANA 시스템에서 SAP 지원 요구사항을 충족하고 현재 권장사항을 준수하게 됩니다.

이 가이드에서는 SAP HANA Studio를 사용하여 SAP HANA 시스템 복제를 테스트합니다. 원하는 경우 SAP HANA Cockpit를 대신 사용할 수도 있습니다. SAP HANA Studio 설치에 대한 상세 설명은 다음을 참조하세요.

기본 요건

SAP HANA 고가용성 클러스터를 만들기 전에 다음 기본 요건을 충족하는지 확인하세요.

SAP HANA 계획 가이드와 SAP HANA 고가용성 계획 가이드를 읽어야 합니다.
사용자 또는 사용자의 조직에 Google Cloud 계정이 있어야 하고 SAP HANA 배포를 위한 프로젝트를 만들어야 합니다. Google Cloud 계정 및 프로젝트를 만드는 방법에 대한 상세 설명은 SAP HANA 배포 가이드의 Google 계정 설정을 참조하세요.
데이터 상주, 액세스 제어, 지원 담당자 또는 규제 요건에 따라 SAP 워크로드를 실행해야 하는 경우 필요한 Assured Workloads 폴더를 만들어야 합니다. 자세한 내용은 Google Cloud 기반 SAP의 규정 준수 및 주권 제어를 참조하세요.
SAP HANA 설치 미디어가 배포 프로젝트 및 리전에서 사용할 수 있는 Cloud Storage 버킷에 저장되어 있어야 합니다. SAP HANA 설치 미디어를 Cloud Storage 버킷에 업로드하는 방법에 대한 상세 설명은 SAP HANA 배포 가이드의 SAP HANA 다운로드를 참조하세요.
프로젝트 메타데이터에 OS 로그인이 사용 설정된 경우 배포가 완료될 때까지 OS 로그인을 일시적으로 사용 중지해야 합니다. 이 절차는 배포 목적으로 인스턴스 메타데이터에 SSH 키를 구성합니다. OS 로그인이 사용 설정되면 메타데이터 기반 SSH 키 구성이 사용 중지되고 이 배포가 실패합니다. 배포가 완료되면 OS 로그인을 다시 사용 설정할 수 있습니다.

자세한 내용은 다음을 참고하세요.
- OS 로그인 사용 설정 또는 사용 중지
- 메타데이터 기반 SSH 키를 사용하는 VM에 SSH 키 추가
VPC 내부 DNS를 사용하는 경우 전체 영역에서 노드 이름을 확인하려면 프로젝트 메타데이터의 vmDnsSetting 변수 값이 GlobalOnly 또는 ZonalPreferred여야 합니다. vmDnsSetting의 기본 설정은 ZonalOnly입니다. 자세한 내용은 다음을 참고하세요.
수평 확장 SAP HANA 시스템의 호스트 간에 SAP HANA /hana/shared 및 /hanabackup 볼륨을 공유할 수 있는 관리형 Filestore 솔루션과 같은 NFS 솔루션이 있습니다. Filestore NFS 서버를 배포하려면 인스턴스 만들기를 참조하세요.
- 데이터를 덮어쓰지 않으려면 기본 및 보조 사이트에 자체 전용 NFS 경로에 대한 액세스 권한이 있어야 합니다. 단일 Filestore 인스턴스를 사용하려면 고유한 하위 디렉터리를 마운트 경로로 사용하도록 배포를 구성해야 합니다.

네트워크 만들기

보안 문제로 새 네트워크를 만들어야 합니다. 방화벽 규칙을 추가하거나 다른 액세스 제어 방법을 사용하여 액세스 권한이 있는 사용자를 제어할 수 있습니다.

프로젝트에 기본 VPC 네트워크가 있더라도 사용하지 마세요. 명시적으로 직접 만든 방화벽 규칙만 적용되도록 VPC 네트워크를 직접 만드시기 바랍니다.

배포 중에 VM 인스턴스는 일반적으로 SAP용 Google Cloud 에이전트를 다운로드하기 위해 인터넷에 액세스할 수 있어야 합니다. Google Cloud에서 제공하는 SAP 인증 Linux 이미지 중 하나를 사용하는 경우 VM 인스턴스도 라이선스를 등록하고 OS 공급업체 저장소에 액세스하기 위해 인터넷에 액세스할 수 있어야 합니다. NAT 게이트웨이 및 VM 네트워크 태그가 있는 구성은 대상 VM에 외부 IP가 없더라도 이러한 액세스를 지원합니다.

프로젝트의 VPC 네트워크를 만들려면 다음 단계를 완료합니다.

커스텀 모드 네트워크를 만듭니다. 자세한 내용은 커스텀 모드 네트워크 만들기를 참조하세요.
서브네트워크를 만들고 리전과 IP 범위를 지정합니다. 자세한 내용은 서브넷 추가를 참조하세요.

NAT 게이트웨이 설정

공개 IP 주소가 없는 VM을 하나 이상 만들어야 하는 경우 네트워크 주소 변환(NAT)을 사용하여 VM이 인터넷에 액세스하도록 설정해야 합니다. VM이 인터넷에 아웃바운드 패킷을 보내고 그에 따라 설정된 인바운드 응답 패킷을 받을 수 있도록 하는 Google Cloud 분산 소프트웨어 정의 관리형 서비스인 Cloud NAT를 사용하세요. 또는 별도의 VM을 NAT 게이트웨이로 설정할 수 있습니다.

프로젝트에 Cloud NAT 인스턴스를 만들려면 Cloud NAT 사용을 참조하세요.

프로젝트에 Cloud NAT를 구성하면 VM 인스턴스가 공개 IP 주소 없이 인터넷에 안전하게 액세스할 수 있습니다.

방화벽 규칙 추가

묵시적인 방화벽 규칙은 Virtual Private Cloud(VPC) 네트워크 외부에서 들어오는 연결을 차단하는 것이 기본 설정되어 있습니다. 들어오는 연결을 허용하려면 VM에 방화벽 규칙을 설정합니다. VM에 들어오는 연결이 설정되면 이 연결을 통한 양방향 트래픽이 허용됩니다.

또한 동일한 네트워크에서 지정된 포트에 대한 외부 액세스를 허용하거나 VM 간 액세스를 제한하는 방화벽 규칙을 만들 수 있습니다. default VPC 네트워크 유형이 사용되는 경우 모든 포트에서 동일한 네트워크에 있는 VM 간의 연결을 허용하는 default-allow-internal 규칙과 같은 일부 기본 규칙도 추가로 적용됩니다.

사용자 환경에 적용 가능한 IT 정책 마다 다를 수 있지만, 방화벽 규칙 생성을 통해 데이터베이스 호스에 대한 연결을 격리하거나 제한해야 할 수도 있습니다.

시나리오에 따라 다음에 대한 액세스를 허용하는 방화벽 규칙을 만들 수 있습니다.

모든 SAP 제품의 TCP/IP에 나열된 기본 SAP 포트
사용자 컴퓨터 또는 기업 네트워크 환경에서 Compute Engine VM 인스턴스에 연결. 사용할 IP 주소를 모르는 경우 회사의 네트워크 관리자에게 문의하세요.

프로젝트의 방화벽 규칙을 만들려면 방화벽 규칙 만들기를 참조하세요.

VM 및 SAP HANA 배포

이 가이드에서는 Google Cloud에서 제공하는 Terraform 구성 파일을 사용하여 다음을 배포합니다.

각각 VM 인스턴스가 2개 이상 있는 일치하는 SAP HANA 시스템 2개
tie-breaker 노드라고도 하는 단일의 다수 결정권자 인스턴스로 영역 하나가 손실되더라도 클러스터 쿼럼이 유지됩니다.

SAP HANA 시스템은 SAP HANA 시스템 중 하나가 기본 활성 시스템 역할을 하고 다른 시스템 하나는 보조 대기 시스템 역할을 하도록 비동기 시스템 복제를 사용합니다. 같은 리전 내에서, 이상적으로는 서로 다른 영역의 SAP HANA 시스템 두 개 모두를 배포합니다.

SAP HANA 자동 호스트 장애 조치를 위한 대기 호스트가 있는 수평 확장 시스템이 필요한 경우에는 대신 Terraform: 호스트 자동 장애 조치가 포함된 SAP HANA 수평 확장 시스템 배포 가이드를 참조하세요.

Terraform 구성 파일에서 SAP HANA 고가용성 클러스터의 구성 옵션을 정의합니다.

다음 안내에서는 Cloud Shell을 사용하지만 일반적으로 Google 제공업체에서 Terraform을 설치하고 구성한 로컬 터미널에 적용할 수 있습니다.

영구 디스크, CPU 등 리소스의 현재 할당량이 설치하려는 SAP HANA 시스템에 충분한지 확인합니다. 할당량이 충분하지 않은 경우 배포가 실패합니다.

SAP HANA 할당량 요구사항은 SAP HANA의 가격 책정 및 할당량 고려사항을 참조하세요.

할당량으로 이동
Cloud Shell 또는 로컬 터미널을 엽니다.

Cloud Shell 열기
Cloud Shell 또는 터미널에서 다음 명령어를 실행하여 manual_sap_hana_scaleout_ha.tf 구성 파일을 작업 디렉터리에 다운로드합니다.
```
$ wget https://storage.googleapis.com/cloudsapdeploy/terraform/latest/terraform/sap_hana_ha/terraform/manual_sap_hana_scaleout_ha.tf
```
참고: 작업 디렉터리에 Terraform 구성 파일이 하나만 있는지 확인하세요.
Cloud Shell 코드 편집기에서 manual_sap_hana_scaleout_ha.tf 파일을 열거나 터미널을 사용하는 경우 원하는 텍스트 편집기에서 파일을 엽니다.

Cloud Shell 코드 편집기를 열려면 Cloud Shell 터미널 창 오른쪽 상단에 있는 연필 아이콘을 클릭합니다.

manual_sap_hana_scaleout_ha.tf 파일에서 sap_hana_primary 및 sap_hana_secondary의 경우 큰따옴표 내 콘텐츠를 설치 값으로 바꿔 인수 값을 업데이트합니다. 인수는 다음 표에 설명되어 있습니다.

인수	데이터 유형	설명
`source`	문자열	배포 중에 사용할 Terraform 모듈의 위치와 버전을 지정합니다. `manual_sap_hana_scaleout_ha.tf` 구성 파일에는 `source` 인수의 인스턴스 두 개, 즉 활성 인스턴스와 주석으로 포함된 인스턴스가 포함됩니다. 기본적으로 활성화되는 `source` 인수는 `latest`를 모듈 버전으로 지정합니다. 기본적으로 앞에 오는 `#` 문자에 의해 비활성화되는 `source` 인수의 두 번째 인스턴스에서 모듈 버전을 식별하는 타임스탬프를 지정합니다. 모든 배포에서 동일한 모듈 버전을 사용해야 하는 경우 버전 타임스탬프를 지정하는 `source` 인수에서 앞에 오는 `#` 문자를 삭제하고 `latest`를 지정하는 `source` 인수에 추가합니다.
`project_id`	문자열	이 시스템을 배포할 Google Cloud 프로젝트의 ID를 지정합니다. 예를 들면 `my-project-x`입니다.
`machine_type`	문자열	SAP 시스템을 실행하는 데 필요한 Compute Engine 가상 머신(VM)의 유형을 지정합니다. 커스텀 VM 유형이 필요한 경우 사전 정의된 VM 유형을 필요한 수(더 큼)에 가장 가까운 vCPU 수로 지정합니다. 배포가 완료되면 vCPU 수와 메모리 양을 수정합니다. 예를 들면 `n1-highmem-32`입니다.
`network`	문자열	VIP를 관리하는 부하 분산기를 만들어야 하는 네트워크의 이름을 지정합니다. 공유 VPC 네트워크를 사용하는 경우 호스트 프로젝트의 ID를 네트워크 이름의 상위 디렉터리로 추가해야 합니다. 예를 들면 `HOST_PROJECT_ID/NETWORK_NAME`입니다.
`subnetwork`	문자열	이전 단계에서 만든 서브네트워크의 이름을 지정합니다. 공유 VPC에 배포하는 경우 이 값을 `SHARED_VPC_PROJECT_ID/SUBNETWORK`로 지정합니다. 예를 들면 `myproject/network1`입니다.
`linux_image`	문자열	SAP 시스템을 배포할 Linux 운영체제 이미지의 이름을 지정합니다. 예를 들면 `rhel-9-2-sap-ha` 또는 `sles-15-sp5-sap`입니다. 사용 가능한 운영체제 이미지의 목록은 Google Cloud 콘솔의 이미지 페이지를 참조하세요.
`linux_image_project`	문자열	인수 `linux_image`에 지정된 이미지가 포함된 Google Cloud 프로젝트를 지정합니다. 이 프로젝트는 고유한 프로젝트이거나 Google Cloud 이미지 프로젝트일 수 있습니다. Compute Engine 이미지의 경우 `rhel-sap-cloud` 또는 `suse-sap-cloud`를 지정합니다. 운영체제의 이미지 프로젝트를 찾으려면 운영체제 세부정보를 참조하세요.
`primary_instance_name`	문자열	기본 SAP HANA 시스템의 VM 인스턴스 이름을 지정합니다. 이름에 소문자, 숫자 또는 하이픈을 사용할 수 있습니다.
`primary_zone`	문자열	기본 SAP HANA 시스템이 배포되는 영역을 지정합니다. 기본 영역과 보조 영역은 같은 리전에 있어야 합니다. 예를 들면 `us-east1-c`입니다.
`secondary_instance_name`	문자열	보조 SAP HANA 시스템의 VM 인스턴스 이름을 지정합니다. 이름에 소문자, 숫자 또는 하이픈을 사용할 수 있습니다.
`secondary_zone`	문자열	보조 SAP HANA 시스템이 배포되는 영역을 지정합니다. 기본 영역과 보조 영역은 같은 리전에 있어야 합니다. 예를 들면 `us-east1-b`입니다.
`sap_hana_deployment_bucket`	문자열	배포된 VM에 SAP HANA를 자동으로 설치하려면 SAP HANA 설치 파일이 포함된 Cloud Storage 버킷의 경로를 지정합니다. 경로에 `gs://`를 포함하지 마세요. 버킷 이름과 폴더 이름만 포함하세요. 예를 들면 `my-bucket-name/my-folder`입니다. Cloud Storage 버킷은 `project_id` 인수에 지정하는Google Cloud 프로젝트에 있어야 합니다.
`sap_hana_scaleout_nodes`	정수	수평 확장 시스템에 필요한 작업자 호스트 수를 지정합니다. 수평 확장 시스템을 배포하려면 작업자 호스트가 하나 이상 필요합니다. Terraform은 기본 SAP HANA 인스턴스와 함께 작업자 호스트를 만듭니다. 예를 들어 `3`을 지정하는 경우 4개의 SAP HANA 인스턴스가 수평 확장 시스템에 배포됩니다.
`sap_hana_sid`	문자열	배포된 VM에 SAP HANA를 자동으로 설치하려면 SAP HANA 시스템 ID를 지정합니다. ID는 3자리 영숫자 문자로 구성되고 문자로 시작되어야 합니다. 모든 문자는 대문자여야 합니다. 예를 들면 `ED1`입니다.
`sap_hana_instance_number`	정수	선택사항. SAP HANA 시스템의 인스턴스 번호(0~99)를 지정합니다. 기본값은 `0`입니다.
`sap_hana_sidadm_password`	문자열	배포된 VM에 SAP HANA를 자동으로 설치하려면 배포 중에 사용할 설치 스크립트의 임시 `SIDadm` 비밀번호를 지정합니다. 비밀번호는 8자 이상이어야 하며 대문자, 소문자, 숫자를 하나 이상 포함해야 합니다. 중요: 설치가 완료되면 비밀번호를 변경해야 합니다. 비밀번호를 일반 텍스트로 지정하는 대신 보안 비밀을 사용하는 것이 좋습니다. 자세한 내용은 비밀번호 관리를 참조하세요.
`sap_hana_sidadm_password_secret`	문자열	선택사항. Secret Manager를 사용하여 `SIDadm` 비밀번호를 저장하는 경우 이 비밀번호에 해당하는 보안 비밀의 이름을 지정합니다. Secret Manager에서 비밀번호인 보안 비밀 값이 최소 8자 이상이며 대문자, 소문자, 숫자가 각각 최소 1자 이상 포함되는지 확인합니다. 중요: 보안 비밀은 `project_id` 인수에 지정하는 Google Cloud 프로젝트에 있어야 합니다. 자세한 내용은 비밀번호 관리를 참조하세요.
`sap_hana_system_password`	문자열	배포된 VM에 SAP HANA를 자동으로 설치하려면 배포 중에 사용할 설치 스크립트의 임시 데이터베이스 수퍼유저 비밀번호를 지정합니다. 비밀번호는 최소 8자 이상이어야 하며 대문자, 소문자, 숫자를 각각 최소 1자 이상 포함해야 합니다. 중요: 설치가 완료되면 비밀번호를 변경해야 합니다. 비밀번호를 일반 텍스트로 지정하는 대신 보안 비밀을 사용하는 것이 좋습니다. 자세한 내용은 비밀번호 관리를 참조하세요.
`sap_hana_system_password_secret`	문자열	선택사항. Secret Manager를 사용하여 데이터베이스 수퍼유저 비밀번호를 저장하는 경우 이 비밀번호에 해당하는 보안 비밀의 이름을 지정합니다. Secret Manager에서 비밀번호인 보안 비밀 값이 최소 8자 이상이며 대문자, 소문자, 숫자가 각각 최소 1자 이상 포함되는지 확인합니다. 중요: 보안 비밀은 `project_id` 인수에 지정하는 Google Cloud 프로젝트에 있어야 합니다. 자세한 내용은 비밀번호 관리를 참조하세요.
`sap_hana_double_volume_size`	불리언	선택사항. HANA 볼륨 크기를 두 배로 늘리려면 `true`를 지정합니다. 이 인수는 같은 VM에 SAP HANA 인스턴스 여러 개나 재해 복구 SAP HANA 인스턴스를 배포하려는 경우에 유용합니다. 기본적으로 볼륨 크기는 SAP 자격증 요구사항과 지원 요구사항을 계속 충족하면서 VM 크기에 필요한 최소 크기로 자동 계산됩니다. 기본값은 `false`입니다.
`sap_hana_backup_size`	정수	선택사항. `/hanabackup` 볼륨 크기(GB)를 지정합니다. 이 인수를 지정하지 않거나 `0`으로 설정하면 설치 스크립트에서 총 메모리 두 배인 HANA 백업 볼륨으로 Compute Engine 인스턴스를 프로비저닝합니다.
`sap_hana_sidadm_uid`	정수	선택사항. `SID_LC`adm 사용자 ID의 기본값을 재정의할 값을 지정합니다. 기본값은 `900`입니다. SAP 환경 내에서 일관성을 위해 이 값을 다른 값으로 변경할 수 있습니다.
`sap_hana_sapsys_gid`	정수	선택사항. `sapsys`의 기본 그룹 ID를 재정의합니다. 기본값은 `79`입니다.
`sap_vip`	문자열	VIP에 사용할 IP 주소를 지정합니다. IP 주소는 서브네트워크에 할당된 IP 주소 범위 내에 있어야 합니다. Terraform 구성 파일에서 자동으로 이 IP 주소를 예약합니다.
`primary_instance_group_name`	문자열	선택사항. 기본 노드의 비관리형 인스턴스 그룹 이름을 정의합니다. 기본 이름은 `ig-PRIMARY_INSTANCE_NAME`입니다.
`secondary_instance_group_name`	문자열	선택사항. 보조 노드의 비관리형 인스턴스 그룹 이름을 지정합니다. 기본 이름은 `ig-SECONDARY_INSTANCE_NAME`입니다.
`loadbalancer_name`	문자열	선택사항. 내부 패스 스루 네트워크 부하 분산기의 이름을 지정합니다. 기본 이름은 `lb-SAP_HANA_SID-ilb`입니다.
`network_tags`	문자열	선택사항. 방화벽 또는 라우팅 목적으로 VM 인스턴스와 연결하려는 하나 이상의 쉼표로 구분된 네트워크 태그를 지정합니다. `public_ip = false`를 지정하고 네트워크 태그를 지정하지 않으면 다른 인터넷 액세스 방법을 제공해야 합니다.
`nic_type`	문자열	선택사항. VM 인스턴스에 사용할 네트워크 인터페이스를 지정합니다. `GVNIC` 또는 `VIRTIO_NET` 값을 지정할 수 있습니다. Google 가상 NIC(gVNIC)를 사용하려면 gVNIC를 지원하는 OS 이미지를 `linux_image` 인수의 값으로 지정해야 합니다. OS 이미지 목록은 운영체제 세부정보를 참조하세요. 이 인수 값을 지정하지 않으면 `machine_type` 인수에 지정하는 머신 유형에 따라 네트워크 인터페이스가 자동으로 선택됩니다. 이 인수는 `sap_hana` 모듈 버전 `202302060649` 이상에서 사용할 수 있습니다.
`disk_type`	문자열	선택사항. 배포의 모든 SAP 볼륨에 배포할 기본 영구 디스크 또는 하이퍼디스크 유형을 지정합니다. 기본값은 `pd-ssd`입니다. 이 인수에 유효한 값은 `pd-ssd`, `pd-balanced`, `hyperdisk-extreme`, `hyperdisk-balanced`, `pd-extreme`입니다. `hyperdisk-extreme` 또는 `hyperdisk-balanced` 값을 지정하면 `/usr/sap` 디렉터리는 별도의 균형 있는 영구 디스크(`pd-balanced`)에 마운트됩니다. 이는 `/usr/sap` 디렉터리에는 `/hana/data` 또는 `/hana/log` 디렉터리만큼의 고성능이 필요하지 않기 때문입니다. SAP HANA 수직 확장 배포에서는 `/hana/shared` 디렉터리에 별도의 균형 있는 영구 디스크도 배포됩니다. 일부 고급 인수를 사용하여 이 기본 디스크 유형과 연결된 기본 디스크 크기 및 기본 IOPS를 재정의할 수 있습니다. 자세한 내용을 보려면 작업 디렉터리로 이동한 후 `terraform init` 명령어를 실행한 후 `/.terraform/modules/manual_sap_hana_scaleout_ha/variables.tf` 파일을 확인합니다. 프로덕션에서 이러한 인수를 사용하기 전에 테스트 환경에서 테스트해야 합니다.
`use_single_shared_data_log_disk`	불리언	선택사항. 기본값은 `false`이며 Terraform이 다음 SAP 볼륨 `/hana/data`, `/hana/log`, `/hana/shared`, `/usr/sap`마다 별도의 영구 디스크 또는 하이퍼디스크를 배포하도록 지시합니다. 이러한 SAP 볼륨을 동일한 영구 디스크 또는 하이퍼디스크에 마운트하려면 `true`를 지정합니다.
`include_backup_disk`	불리언	선택사항. 이 인수는 SAP HANA 수직 확장 배포에 적용됩니다. 기본값은 `true`이며 Terraform이 `/hanabackup` 디렉터리를 호스팅하기 위해 표준 HDD 영구 디스크를 배포하도록 지시합니다. 이 디스크의 크기는 `sap_hana_backup_size` 인수에 따라 결정됩니다. `include_backup_disk` 값을 `false`로 설정하면 `/hanabackup` 디렉터리에 디스크가 배포되지 않습니다.
`public_ip`	불리언	선택사항. 공개 IP 주소가 VM 인스턴스에 추가되는지 여부를 결정합니다. 기본값은 `true`입니다. 주의사항: VM에 정의된 네트워크 태그로 구성된 NAT 게이트웨이가 있거나 VM에 인터넷에 액세스할 다른 경로를 제공한 경우 `false`를 지정하지 마세요. 인터넷에 액세스할 경로가 없으면 설치가 실패합니다.
`service_account`	문자열	선택사항. 호스트 VM와 호스트 VM에서 실행되는 프로그램에서 사용할 사용자 관리형 서비스 계정의 이메일 주소를 지정합니다. 예를 들면 `svc-acct-name@project-id.iam.gserviceaccount.com`입니다. 이 인수를 값 없이 지정하거나 생략하면 설치 스크립트에서 Compute Engine 기본 서비스 계정을 사용합니다. 자세한 내용은 Google Cloud에서 SAP 프로그램의 ID 및 액세스 관리를 참조하세요.
`sap_deployment_debug`	불리언	선택사항. Cloud Customer Care에서 배포에 디버깅을 사용 설정하도록 요청하는 경우에만 `true`를 지정하여 배포 시 상세 배포 로그를 생성합니다. 기본값은 `false`입니다.
`primary_reservation_name`	문자열	선택사항. 특정 Compute Engine VM 예약을 사용하여 HA 클러스터의 기본 SAP HANA 인스턴스를 호스팅하는 VM 인스턴스를 프로비저닝하려면 예약 이름을 지정합니다. 기본적으로 설치 스크립트는 다음 조건에 따라 사용 가능한 Compute Engine 예약을 선택합니다. 예약을 사용할 수 있도록 하려면 이름을 지정했는지 또는 설치 스크립트가 자동으로 예약을 선택했는지 여부에 관계없이 다음을 사용하여 예약을 설정해야 합니다. `specificReservationRequired` 옵션이 `true`로 설정되거나 Google Cloud 콘솔에서 특정 예약 선택 옵션이 선택됩니다. 일부 Compute Engine 머신 유형은 머신 유형의 SAP 인증서로 처리되지 않는 CPU 플랫폼을 지원합니다. 다음 머신 유형 중 하나에 대한 대상 예약인 경우 예약에서 다음과 같이 최소 CPU 플랫폼을 지정해야 합니다. `n1-highmem-32`: Intel Broadwell `n1-highmem-64`: Intel Broadwell `n1-highmem-96`: Intel Skylake `m1-megamem-96`: Intel Skylake Google Cloud에서 사용하도록 SAP에서 인증한 다른 모든 머신 유형의 최소 CPU 플랫폼은 SAP 최소 CPU 요구사항을 준수합니다.
`secondary_reservation_name`	문자열	선택사항. 특정 Compute Engine VM 예약을 사용하여 HA 클러스터의 보조 SAP HANA 인스턴스를 호스팅하는 VM 인스턴스를 프로비저닝하려면 예약 이름을 지정합니다. 기본적으로 설치 스크립트는 다음 조건에 따라 사용 가능한 Compute Engine 예약을 선택합니다. 예약을 사용할 수 있도록 하려면 이름을 지정했는지 또는 설치 스크립트가 자동으로 예약을 선택했는지 여부에 관계없이 다음을 사용하여 예약을 설정해야 합니다. `specificReservationRequired` 옵션이 `true`로 설정되거나 Google Cloud 콘솔에서 특정 예약 선택 옵션이 선택됩니다. 일부 Compute Engine 머신 유형은 머신 유형의 SAP 인증서로 처리되지 않는 CPU 플랫폼을 지원합니다. 다음 머신 유형 중 하나에 대한 대상 예약인 경우 예약에서 다음과 같이 최소 CPU 플랫폼을 지정해야 합니다. `n1-highmem-32`: Intel Broadwell `n1-highmem-64`: Intel Broadwell `n1-highmem-96`: Intel Skylake `m1-megamem-96`: Intel Skylake Google Cloud에서 사용하도록 SAP에서 인증한 다른 모든 머신 유형의 최소 CPU 플랫폼은 SAP 최소 CPU 요구사항을 준수합니다.
`primary_static_ip`	문자열	선택사항. 고가용성 클러스터에서 기본 VM 인스턴스에 대해 적합한 고정 IP 주소를 지정합니다. 지정하지 않으면 VM 인스턴스에 대해 IP 주소가 자동으로 생성됩니다. 예를 들면 `128.10.10.10`입니다. 이 인수는 `sap_hana_ha` 모듈 버전 `202306120959` 이상에서 사용할 수 있습니다.
`secondary_static_ip`	문자열	선택사항. 고가용성 클러스터에서 보조 VM 인스턴스에 대해 적합한 고정 IP 주소를 지정합니다. 지정하지 않으면 VM 인스턴스에 대해 IP 주소가 자동으로 생성됩니다. 예를 들면 `128.11.11.11`입니다. 이 인수는 `sap_hana_ha` 모듈 버전 `202306120959` 이상에서 사용할 수 있습니다.
`primary_worker_static_ips`	목록(문자열)	선택사항입니다. SAP HANA 수평 확장 HA 시스템의 기본 인스턴스에 있는 작업자 인스턴스에 유효한 고정 IP 주소 배열을 지정합니다. 이 인수에 값을 지정하지 않으면 각 작업자 VM 인스턴스에 대해 IP 주소가 자동으로 생성됩니다. 예를 들면 `[ "1.0.0.1", "2.3.3.4" ]`입니다. 고정 IP 주소는 인스턴스 생성 순서로 할당됩니다. 예를 들어 작업자 인스턴스를 3개 배포하도록 선택하지만 `primary_worker_static_ips` 인수에 IP 주소를 2개만 지정하면, 이러한 IP 주소는 Terraform 구성이 배포되는 처음 2개 VM 인스턴스에 할당됩니다. 세 번째 작업자 VM 인스턴스에 대해서는 IP 주소가 자동으로 생성됩니다. 이 인수는 `sap_hana_ha` 모듈 버전 `202307270727` 이상에서 사용할 수 있습니다.
`secondary_worker_static_ips`	목록(문자열)	선택사항입니다. SAP HANA 수평 확장 HA 시스템의 보조 인스턴스에 있는 작업자 인스턴스에 유효한 고정 IP 주소 배열을 지정합니다. 이 인수에 값을 지정하지 않으면 각 작업자 VM 인스턴스에 대해 IP 주소가 자동으로 생성됩니다. 예를 들면 `[ "1.0.0.2", "2.3.3.5" ]`입니다. 고정 IP 주소는 인스턴스 생성 순서로 할당됩니다. 예를 들어 작업자 인스턴스를 3개 배포하도록 선택하지만 `secondary_worker_static_ips` 인수에 IP 주소를 2개만 지정하면, 이러한 IP 주소는 Terraform 구성이 배포되는 처음 2개 VM 인스턴스에 할당됩니다. 세 번째 작업자 VM 인스턴스에 대해서는 IP 주소가 자동으로 생성됩니다. 이 인수는 `sap_hana_ha` 모듈 버전 `202307270727` 이상에서 사용할 수 있습니다.

다음 예시에서는 SAP HANA 수평 확장 시스템의 고가용성 클러스터를 정의하는 완성된 구성 파일을 보여줍니다. 클러스터는 내부 패스 스루 네트워크 부하 분산기를 사용하여 VIP를 관리합니다.

Terraform은 구성 파일에 정의된 Google Cloud 리소스를 배포한 후 스크립트를 이어서 수행하여 운영체제를 구성하고 SAP HANA를 설치합니다.

같은 manual_sap_hana_scaleout_ha.tf 파일에서 majority_maker의 인수 값을 업데이트합니다. 인수는 다음 표에 설명되어 있습니다.

인수	데이터 유형	설명
`project`	문자열	이 시스템을 배포할 Google Cloud 프로젝트의 ID를 지정합니다.
`majority_maker_instance_name`	문자열	주요 제조업체 역할을 하는 Compute Engine VM 인스턴스의 이름을 지정합니다. 이 인수는 `sap_hana_ha` 모듈 버전 `202307270727` 이상에서 사용할 수 있습니다.
`majority_maker_instance_type`	문자열	주요 제조업체 인스턴스에 사용할 Compute Engine 가상 머신(VM)의 유형을 지정합니다. 예를 들면 `n1-highmem-32`입니다. 커스텀 VM 유형을 사용하려면 사전 정의된 VM 유형을 필요한 수(더 큼)에 가장 가까운 vCPU 수로 지정합니다. 배포가 완료되면 vCPU 수와 메모리 양을 수정합니다. 이 인수는 `sap_hana_ha` 모듈 버전 `202307270727` 이상에서 사용할 수 있습니다.
`majority_maker_zone`	문자열	주요 제조업체 VM 인스턴스가 배포되는 영역을 지정합니다. 이 영역은 기본 및 보조 영역과 동일한 리전에 있어야 합니다. 예를 들면 `us-east1-d`입니다. Google Cloud에서는 주요 제조업체 VM 인스턴스를 기본 및 보조 SAP HANA 시스템과 다른 영역에 배포하는 것이 좋습니다. 이 인수는 `sap_hana_ha` 모듈 버전 `202307270727` 이상에서 사용할 수 있습니다.
`majority_maker_linux_image`	문자열	이전 단계와 동일한 값을 사용하여 전체 이미지 경로를 `"linux_image_project/linux_image"`로 지정합니다. 예를 들면 `"rhel-sap-cloud/rhel-9-0-sap-v20230708"`입니다.
`subnetwork`	문자열	이전 단계에서 만든 서브네트워크의 이름을 지정합니다. 공유 VPC에 배포하는 경우 이 값을 `SHARED_VPC_PROJECT_ID/SUBNETWORK`로 지정합니다. 예를 들면 `myproject/network1`입니다.
`service_account`	문자열	선택사항. 호스트 VM와 호스트 VM에서 실행되는 프로그램에서 사용할 사용자 관리형 서비스 계정의 이메일 주소를 지정합니다. 예를 들면 `svc-acct-name@project-id.iam.gserviceaccount.com`입니다. 이 인수를 값 없이 지정하거나 생략하면 설치 스크립트에서 Compute Engine 기본 서비스 계정을 사용합니다. 자세한 내용은 Google Cloud에서 SAP 프로그램의 ID 및 액세스 관리를 참조하세요.
`metadata_startup_script`	문자열	이 인수를 수정하지 마세요. 기본적으로 대부분의 제작자는 최신 시작 스크립트를 다운로드하여 Pacemaker 클러스터링 인스턴스를 준비합니다.

명확하게 하기 위해 다음 구성 예시에서는 주석이 생략됩니다.

  module "sap_hana_primary" {
    source = "https://storage.googleapis.com/cloudsapdeploy/terraform/latest/terraform/sap_hana/sap_hana_module.zip"

    project_id                     = "example-project-123456"
    zone                           = "us-west1-a"
    machine_type                   = "n1-highmem-32"
    subnetwork                     = "default"
    linux_image                    = "rhel-9-0-sap-v20230711"
    linux_image_project            = "rhel-sap-cloud"
    instance_name                  = "hana-ha-1"
    sap_hana_sid                   = "HA1"

    sap_hana_deployment_bucket      = "my-hana-bucket"
    sap_hana_sidadm_password_secret = "hana_sid_adm_pwd"
    sap_hana_system_password_secret = "hana_sys_pwd"
    sap_hana_scaleout_nodes         = 1
    sap_hana_shared_nfs             = "10.10.10.1:/hana_scaleout/hana_a/shared"
    sap_hana_backup_nfs             = "10.10.10.1:/hana_scaleout/hana_a/backup"

  }
  module "sap_hana_secondary" {
    source = "https://storage.googleapis.com/cloudsapdeploy/terraform/latest/terraform/sap_hana/sap_hana_module.zip"

    project_id                     = "example-project-123456"
    zone                           = "us-west1-b"
    machine_type                   = "n1-highmem-32"
    subnetwork                     = "default"
    linux_image                    = "rhel-9-0-sap-v20230711"
    linux_image_project            = "rhel-sap-cloud"
    instance_name                  = "hana-ha-2"
    sap_hana_sid                   = "HA1"

    sap_hana_deployment_bucket      = "my-hana-bucket"
    sap_hana_sidadm_password_secret = "hana_sid_adm_pwd"
    sap_hana_system_password_secret = "hana_sys_pwd"
    sap_hana_scaleout_nodes         = 1
    sap_hana_shared_nfs             = "10.10.10.2:/hana_scaleout/hana_b/shared"
    sap_hana_backup_nfs             = "10.10.10.2:/hana_scaleout/hana_b/backup"
  }

  resource "google_compute_instance" "majority_maker" {

    project =  "example-project-123456"

    # majority_maker_instance_name
    name         = "majority-maker"

    # majority_maker_instance_type
    machine_type = "n1-standard-8"

    # majority_maker_zone
    zone         = "us-west1-c"

    boot_disk {
      initialize_params {
        # majority_maker_linux_image
        image = "rhel-sap-cloud/rhel-9-0-sap-v20230711"
      }
    }

    network_interface {
      # network or subnetwork
      network = "default"
    }

      service_account {
      # service_account (Optional)
      # email  = svc-acct-name@project-id.iam.gserviceaccount.com.
      scopes = ["cloud-platform"]
    }

    # Do not edit
    metadata_startup_script = "curl -s https://storage.googleapis.com/cloudsapdeploy/deploymentmanager/latest/dm-templates/sap_majoritymaker/startup.sh | bash -s https://storage.googleapis.com/cloudsapdeploy/deploymentmanager/latest/dm-templates/sap_majoritymaker/startup.sh"

  }

현재 작업 디렉터리를 초기화하고 Google Cloud용 Terraform 제공업체 플러그인과 모듈 파일을 다운로드합니다.
```
terraform init
```
terraform init 명령어는 다른 Terraform 명령어에 사용되는 작업 디렉터리를 준비합니다.

작업 디렉터리에서 제공업체 플러그인과 구성 파일을 강제로 새로고침하려면 --upgrade 플래그를 지정합니다. --upgrade 플래그가 생략되고 작업 디렉터리를 변경하지 않으면 Terraform은 latest가 source URL에 지정되더라도 로컬에서 캐시된 복사본을 사용합니다.
```
terraform init --upgrade 
```
선택적으로 Terraform 실행 계획을 만듭니다.
```
terraform plan
```
terraform plan 명령어에서는 현재 구성에 필요한 변경사항을 보여줍니다. 이 단계를 건너뛰면 terraform apply 명령어가 자동으로 새 계획을 만들고 승인하라는 메시지를 표시합니다.
실행 계획을 적용합니다.
```
terraform apply
```
작업을 승인하라는 메시지가 표시되면 yes를 입력합니다.

terraform apply 명령어는 Google Cloud 인프라를 설정한 후 HA 클러스터를 구성하고 Terraform의 구성 파일에 정의된 인수에 따라 SAP HANA를 설치하는 스크립트를 직접 제어합니다.

Terraform에는 제어 기능이 있지만 상태 메시지는 Cloud Shell에 기록됩니다. 스크립트가 호출되면 상태 메시지는 Logging에 기록되며 로그 확인의 설명대로 Google Cloud 콘솔에서 이 메시지를 볼 수 있습니다.

HANA HA 시스템 배포 확인

로그 확인

Google Cloud 콘솔에서 Cloud Logging을 열어 설치 진행 상황을 모니터링하고 오류를 확인합니다.

참고: Cloud Logging에서 이 단계를 완료하면 비용이 발생할 수 있습니다. 자세한 내용은 Cloud Logging 가격 책정을 참조하세요.

Cloud Logging으로 이동
로그를 필터링합니다.
로그 탐색기
1. 로그 탐색기 페이지에서 쿼리 창으로 이동합니다.
2. 리소스 드롭다운 메뉴에서 전역을 선택한 후 추가를 클릭합니다.
  
  전역 옵션이 표시되지 않으면 쿼리 편집기에 다음 쿼리를 입력합니다.
```
resource.type="global"
"Deployment"
```
3. 쿼리 실행을 클릭합니다.
기존 로그 뷰어
- 기존 로그 뷰어 페이지의 기본 선택기 메뉴에서 전역을 로깅 리소스로 선택합니다.
필터링된 로그를 분석합니다.
- "--- Finished"가 표시되면 배포 처리가 완료된 것이므로 다음 단계를 진행할 수 있습니다.
- 할당량 오류가 표시되면 다음을 수행합니다.
  1. IAM 및 관리자 할당량 페이지에서 SAP HANA 계획 가이드에 나와 있는 SAP HANA 요구사항을 충족하지 않는 할당량을 늘립니다.
  2. Cloud Shell을 엽니다.
    
    Cloud Shell로 이동
  3. 작업 디렉터리로 이동하고 배포를 삭제하여 설치에 실패한 VM과 영구 디스크를 삭제합니다.
```
terraform destroy
```
    작업을 승인하라는 메시지가 표시되면 yes를 입력합니다.
  4. 배포를 다시 실행합니다.

SAP HANA 설치 및 VM의 구성 확인

SAP HANA 시스템이 오류 없이 배포되면 SSH를 사용하여 각 VM에 연결합니다. Compute Engine VM 인스턴스 페이지에서 각 VM 인스턴스의 SSH 버튼을 클릭하거나 선호하는 SSH 방법을 사용할 수 있습니다.
루트 사용자로 변경합니다.
```
sudo su -
```

명령 프롬프트에서 df -h를 입력합니다. 출력에 /hana/data 같은 /hana 디렉터리가 표시되는지 확인합니다.

[root@example-ha-vm1 ~]# df -h
  Filesystem                        Size  Used Avail Use% Mounted on
  devtmpfs                          126G     0  126G   0% /dev
  tmpfs                             126G   54M  126G   1% /dev/shm
  tmpfs                             126G   25M  126G   1% /run
  tmpfs                             126G     0  126G   0% /sys/fs/cgroup
  /dev/sda2                          30G  5.4G   25G  18% /
  /dev/sda1                         200M  6.9M  193M   4% /boot/efi
  /dev/mapper/vg_hana-shared        251G   52G  200G  21% /hana/shared
  /dev/mapper/vg_hana-sap            32G  477M   32G   2% /usr/sap
  /dev/mapper/vg_hana-data          426G  9.8G  417G   3% /hana/data
  /dev/mapper/vg_hana-log           125G  7.0G  118G   6% /hana/log
  /dev/mapper/vg_hanabackup-backup  512G  9.3G  503G   2% /hanabackup
  tmpfs                              26G     0   26G   0% /run/user/900
  tmpfs                              26G     0   26G   0% /run/user/899
  tmpfs                              26G     0   26G   0% /run/user/1003

배포 삭제 및 재시도

이전 섹션의 배포 확인 단계에서 설치 실패를 표시하면 다음 단계를 완료하여 배포를 실행취소하고 재시도해야 합니다.

같은 이유로 배포가 다시 실패하지 않도록 오류를 해결합니다. 로그 확인 또는 할당량 관련 오류 해결에 대한 자세한 내용은 로그 확인을 참조하세요.
Cloud Shell을 열거나 로컬 워크스테이션에 Google Cloud CLI를 설치한 경우에는 터미널을 엽니다.

Cloud Shell 열기
이 배포에 사용된 Terraform 구성 파일이 있는 디렉터리로 이동합니다.
다음 명령어를 실행하여 배포에 포함된 모든 리소스를 삭제합니다.
```
terraform destroy
```
작업을 승인하라는 메시지가 표시되면 yes를 입력합니다.
이 가이드의 앞부분에서 설명한 대로 배포를 다시 시도합니다.

SAP용 Google Cloud 에이전트 설치 검증

모든 인스턴스를 배포하고 SAP 시스템을 설치했으면 SAP용 Google Cloud 에이전트가 올바르게 작동하는지 검증합니다.

SAP용 Google Cloud 에이전트가 실행 중인지 확인

에이전트가 실행 중인지 확인하려면 다음 단계를 따릅니다.

호스트 VM 인스턴스와 SSH 연결을 설정합니다.

다음 명령어를 실행합니다.

systemctl status google-cloud-sap-agent

에이전트가 올바르게 작동하는 경우 출력에 active (running)이 포함됩니다. 예를 들면 다음과 같습니다.

google-cloud-sap-agent.service - Google Cloud Agent for SAP
Loaded: loaded (/usr/lib/systemd/system/google-cloud-sap-agent.service; enabled; vendor preset: disabled)
Active:  active (running)  since Fri 2022-12-02 07:21:42 UTC; 4 days ago
Main PID: 1337673 (google-cloud-sa)
Tasks: 9 (limit: 100427)
Memory: 22.4 M (max: 1.0G limit: 1.0G)
CGroup: /system.slice/google-cloud-sap-agent.service
       └─1337673 /usr/bin/google-cloud-sap-agent

에이전트가 실행되고 있지 않으면 에이전트를 다시 시작합니다.

SAP 호스트 에이전트가 측정항목을 수신하는지 확인

SAP용 Google Cloud 에이전트가 인프라 측정항목을 수집하고 SAP 호스트 에이전트로 올바르게 전송하는지 확인하려면 다음 단계를 수행하세요.

SAP 시스템에서 ST06 트랜잭션을 입력합니다.
개요 창에서 다음 필드의 가용성과 콘텐츠를 확인하여 SAP 및 Google 모니터링 인프라의 엔드 투 엔드 설정이 올바른지 확인합니다.
- 클라우드 제공업체: Google Cloud Platform
- 향상된 모니터링 액세스: TRUE
- 향상된 모니터링 세부정보: ACTIVE

SAP HANA 모니터링 설정

선택적으로 SAP용 Google Cloud 에이전트를 사용해서 SAP HANA 인스턴스를 모니터링할 수 있습니다. 버전 2.0부터는 SAP HANA 모니터링 측정항목을 수집하고 이를 Cloud Monitoring으로 전송하도록 에이전트를 구성할 수 있습니다. Cloud Monitoring을 사용하면 대시보드를 만들어서 이러한 측정항목을 시각화하고, 측정항목 임곗값을 기반으로 알림을 설정할 수 있습니다.

SAP용 Google Cloud 에이전트를 사용하는 SAP HANA 모니터링 측정항목 수집에 대한 자세한 내용은 SAP HANA 모니터링 측정항목 수집을 참조하세요.

(선택사항) 스크립트 자동화를 위한 인스턴스 목록 만들기

SAP HANA 시스템과 Pacemaker 클러스터를 구성하는 동안 반복되는 태스크 중 일부를 부분적으로 자동화하려면 bash 스크립트를 사용하면 됩니다. 이 가이드 전반에서 이러한 bash 스크립트는 SAP HANA 시스템과 Pacemaker 클러스터의 구성을 가속화하는 데 사용됩니다. 이러한 스크립트에는 배포된 모든 VM 인스턴스와 해당 영역의 목록이 입력으로 필요합니다.

이 자동화를 사용 설정하려면 nodes.txt라는 파일을 만들고 배포된 모든 VM 인스턴스의 세부정보를 영역 이름, 공백, VM 인스턴스 이름 형식으로 포함합니다. 이 가이드 전체에서 사용되는 샘플 파일은 다음과 같습니다.

# cat nodes.txt
  us-west1-a hana-ha-vm-1
  us-west1-a hana-ha-vm-1w1
  us-west1-a hana-ha-vm-1w2
  us-west1-b hana-majoritymaker
  us-west1-c hana-ha-vm-2
  us-west1-c hana-ha-vm-2w1
  us-west1-c hana-ha-vm-2w2

비밀번호 없는 SSH 액세스 설정

Pacemaker 클러스터를 구성하고 SAP HANA 보안 저장소(SSFS) 키를 동기화하려면 다수 결정권자 인스턴스를 포함한 모든 노드 간에 비밀번호 없는 SSH 액세스가 필요합니다. 비밀번호가 없는 SSH 액세스의 경우 배포된 모든 인스턴스의 인스턴스 메타데이터에 SSH 공개 키를 추가해야 합니다.

메타데이터 형식은 USERNAME: PUBLIC-KEY-VALUE입니다.

VM에 SSH 키를 추가하는 방법에 대한 자세한 내용은 메타데이터 기반 SSH 키를 사용하는 VM에 SSH 키 추가를 참조하세요.

수동 단계

기본 및 보조 시스템의 각 인스턴스와 다수 결정권자 인스턴스에 대해 사용자 root의 공개 키를 수집합니다.
```
gcloud compute ssh --quiet --zone ZONE_ID INSTANCE_NAME -- sudo cat /root/.ssh/id_rsa.pub
```
키 앞에 root: 문자열을 추가하고 키를 public-ssh-keys.txt 파일에 새 줄로 씁니다. 예를 들면 다음과 같습니다.
```
root:ssh-rsa AAAAB3NzaC1JfuYnOI1vutCs= root@INSTANCE_NAME
```

모든 SSH 공개 키를 수집한 후 키를 메타데이터로 모든 인스턴스에 업로드합니다.

gcloud compute instances add-metadata --metadata-from-file ssh-keys=public-ssh-keys.txt --zone ZONE_ID INSTANCE_NAME

자동 단계

또는 nodes.txt에 나열된 모든 인스턴스에 대해 비밀번호 없는 SSH 액세스 설정 프로세스를 자동화하려면 Google Cloud console에서 다음 단계를 수행합니다.

배포된 모든 인스턴스에서 공개 키 목록을 만듭니다.

while read -u10 ZONE HOST ;  do echo "Collecting public-key from $HOST"; { echo 'root:'; gcloud compute ssh --quiet --zone $ZONE $HOST --tunnel-through-iap -- sudo cat /root/.ssh/id_rsa.pub; } | tr -ds '\n' " " >> public-ssh-keys.txt; done 10< nodes.txt

SSH 공개 키를 메타데이터 항목으로 모든 인스턴스에 할당합니다.

while read -u10 ZONE HOST ;  do echo "Adding public keys to $HOST"; gcloud compute instances add-metadata --metadata-from-file ssh-keys=public-ssh-keys.txt --zone $ZONE $HOST; done 10< nodes.txt

SAP HANA 자동 시작 중지

수동 단계

클러스터의 각 SAP HANA 인스턴스에서 SAP HANA 자동 시작이 중지되었는지 확인합니다. 장애 조치의 경우 Pacemaker는 클러스터에서 SAP HANA 인스턴스의 시작 및 중지를 관리합니다.

각 호스트에서 SID_LCadm으로 SAP HANA를 중지합니다.
```
> HDB stop
```
각 호스트에서 vi와 같은 편집기를 사용하여 SAP HANA 프로필을 엽니다.
```
vi /usr/sap/SID/SYS/profile/SID_HDBINST_NUM_HOST_NAME
```
Autostart 속성을 0으로 설정합니다.
```
Autostart=0
```
프로필을 저장합니다.
각 호스트에서 SID_LCadm으로 SAP HANA를 시작합니다.
```
> HDB start
```

자동 단계

또는 nodes.txt에 나열된 모든 인스턴스에 대해 SAP HANA 자동 시작을 사용 중지하려면 Google Cloud console에서 다음 스크립트를 실행합니다.

while read -u10 ZONE HOST ;
 do gcloud compute ssh --verbosity=none --zone $ZONE $HOST -- "echo Setting Autostart=0 on \$HOSTNAME;
 sudo sed -i 's/Autostart=1/Autostart=0/g' /usr/sap/SID/SYS/profile/SID_HDBINST_NUM_\$HOSTNAME";
 done 10< nodes.txt

SAP HANA 빠른 다시 시작 사용 설정

특히 큰 인스턴스의 경우 Google Cloud는 SAP HANA의 각 인스턴스에 SAP HANA 빠른 다시 시작을 사용 설정하는 것을 강력히 권장합니다. SAP HANA 빠른 다시 시작은 SAP HANA가 종료되지만 운영체제는 계속 실행되는 경우 다시 시작하는 시간을 줄입니다.

Google Cloud에서 제공하는 자동화 스크립트에서 구성한 대로 운영체제와 커널 설정에서는 이미 SAP HANA 빠른 재시작을 지원합니다. tmpfs 파일 시스템을 정의하고 SAP HANA를 구성해야 합니다.

tmpfs 파일 시스템을 정의하고 SAP HANA를 구성하려면 수동 단계를 수행하거나 Google Cloud에서 제공하는 자동화 스크립트를 사용하여 SAP HANA 빠른 다시 시작을 사용 설정하면 됩니다. 자세한 내용은 다음을 참조하세요.

수동 단계: SAP HANA 빠른 다시 시작 사용 설정
자동 단계: SAP HANA 빠른 다시 시작 사용 설정

SAP HANA 빠른 다시 시작 옵션에 대한 전체 안내는 SAP HANA 빠른 다시 시작 옵션 문서를 참조하세요.

수동 단계

`tmpfs` 파일 시스템 구성

호스트 VM 및 기본 SAP HANA 시스템이 성공적으로 배포되면 tmpfs 파일 시스템에 NUMA 노드의 디렉터리를 만들고 마운트해야 합니다.

VM의 NUMA 토폴로지 표시

필요한 tmpfs 파일 시스템을 매핑하려면 먼저 VM에 있는 NUMA 노드 수를 알아야 합니다. Compute Engine VM에 사용 가능한 NUMA 노드를 표시하려면 다음 명령어를 입력합니다.

lscpu | grep NUMA

예를 들어 m2-ultramem-208 VM 유형에는 다음 예시와 같이 0~3으로 번호가 지정된 4개의 NUMA 노드가 있습니다.

NUMA node(s):        4
NUMA node0 CPU(s):   0-25,104-129
NUMA node1 CPU(s):   26-51,130-155
NUMA node2 CPU(s):   52-77,156-181
NUMA node3 CPU(s):   78-103,182-207

NUMA 노드 디렉터리 만들기

VM에서 각 NUMA 노드의 디렉터리를 만들고 권한을 설정합니다.

예를 들어 0~3으로 번호가 지정된 4개의 NUMA 노드는 다음과 같습니다.

mkdir -pv /hana/tmpfs{0..3}/SID
chown -R SID_LCadm:sapsys /hana/tmpfs*/SID
chmod 777 -R /hana/tmpfs*/SID

NUMA 노드 디렉터리를 `tmpfs`에 마운트

tmpfs 파일 시스템 디렉터리를 마운트하고 각각에 대해 mpol=prefer로 NUMA 노드 기본 설정을 지정합니다.

SID: SID를 대문자로 지정합니다.

mount tmpfsSID0 -t tmpfs -o mpol=prefer:0 /hana/tmpfs0/SID
mount tmpfsSID1 -t tmpfs -o mpol=prefer:1 /hana/tmpfs1/SID
mount tmpfsSID2 -t tmpfs -o mpol=prefer:2 /hana/tmpfs2/SID
mount tmpfsSID3 -t tmpfs -o mpol=prefer:3 /hana/tmpfs3/SID

`/etc/fstab` 업데이트

운영체제 재부팅 후 마운트 지점을 사용할 수 있도록 하려면 파일 시스템 테이블 /etc/fstab에 항목을 추가합니다.

tmpfsSID0 /hana/tmpfs0/SID tmpfs rw,relatime,mpol=prefer:0
tmpfsSID1 /hana/tmpfs1/SID tmpfs rw,relatime,mpol=prefer:1
tmpfsSID1 /hana/tmpfs2/SID tmpfs rw,relatime,mpol=prefer:2
tmpfsSID1 /hana/tmpfs3/SID tmpfs rw,relatime,mpol=prefer:3

선택사항: 메모리 사용량 한도 설정

tmpfs 파일 시스템은 동적으로 확장 및 축소할 수 있습니다.

tmpfs 파일 시스템에서 사용하는 메모리를 제한하려면 size 옵션을 사용하여 NUMA 노드 볼륨의 크기 제한을 설정하면 됩니다. 예를 들면 다음과 같습니다.

mount tmpfsSID0 -t tmpfs -o mpol=prefer:0,size=250G /hana/tmpfs0/SID

global.ini 파일의 [memorymanager] 섹션에서 persistent_memory_global_allocation_limit 매개변수를 설정하여 특정 SAP HANA 인스턴스 및 지정된 서버 노드의 모든 NUMA 노드에 대한 전체 tmpfs 메모리 사용량을 제한할 수도 있습니다.

빠른 다시 시작을 위한 SAP HANA 구성

빠른 다시 시작을 위해 SAP HANA를 구성하려면 global.ini 파일을 업데이트하고 영구 메모리에 저장할 테이블을 지정합니다.

`global.ini` 파일에서 `[persistence]` 섹션 업데이트

SAP HANA global.ini 파일에서 tmpfs 섹션을 참조하도록 [persistence] 섹션을 구성합니다. 각 tmpfs 위치를 세미콜론으로 구분합니다.

[persistence]
basepath_datavolumes = /hana/data
basepath_logvolumes = /hana/log
basepath_persistent_memory_volumes = /hana/tmpfs0/SID;/hana/tmpfs1/SID;/hana/tmpfs2/SID;/hana/tmpfs3/SID

앞의 예시는 m2-ultramem-208에 해당하는 4개의 NUMA 노드에 메모리 볼륨 4개를 지정합니다. m2-ultramem-416에서 실행 중인 경우 메모리 볼륨 8개(0~7)를 구성해야 합니다.

global.ini 파일을 수정한 후 SAP HANA를 다시 시작합니다.

이제 SAP HANA에서 tmpfs 위치를 영구 메모리 공간으로 사용할 수 있습니다.

영구 메모리에 저장할 테이블 지정

영구 메모리에 저장할 특정 열 테이블 또는 파티션을 지정합니다.

예를 들어 기존 테이블에 영구 메모리를 사용 설정하려면 SQL 쿼리를 실행합니다.

ALTER TABLE exampletable persistent memory ON immediate CASCADE

새 테이블의 기본값을 변경하려면 indexserver.ini 파일에 table_default 매개변수를 추가합니다. 예를 들면 다음과 같습니다.

[persistent_memory]
table_default = ON

열, 테이블 제어 방법 및 자세한 정보를 제공하는 모니터링 뷰에 대한 자세한 내용은 SAP HANA 영구 메모리를 참조하세요.

자동 단계

SAP HANA 빠른 다시 시작을 사용 설정하도록 Google Cloud에서 제공하는 자동화 스크립트는 /hana/tmpfs* 디렉터리, /etc/fstab 파일, SAP HANA 구성을 변경합니다. 스크립트를 실행할 때 SAP HANA 시스템의 초기 배포인지 여부 또는 머신 크기를 다른 NUMA 크기로 조절하는지 여부에 따라 추가 단계를 수행해야 할 수 있습니다.

SAP HANA 시스템을 처음 배포하거나 머신 크기를 조절하여 NUMA 노드 수를 늘리려면 SAP HANA 빠른 다시 시작을 사용 설정하도록 Google Cloud에서 제공하는 자동화 스크립트를 실행하는 동안 SAP HANA가 실행 중인지 확인합니다.

NUMA 노드 수가 줄어들도록 머신 크기를 조절하는 경우 SAP HANA 빠른 다시 시작을 사용 설정하도록 Google Cloud에서 제공하는 자동화 스크립트를 실행하는 동안 SAP HANA가 중지되었는지 확인합니다. 스크립트가 실행된 후 SAP HANA 구성을 수동으로 업데이트하여 SAP HANA 빠른 다시 시작 설정을 완료해야 합니다. 자세한 내용은 빠른 다시 시작을 위한 SAP HANA 구성을 참조하세요.

SAP HANA 빠른 다시 시작을 사용 설정하려면 다음 단계를 수행합니다.

호스트 VM과의 SSH 연결을 설정합니다.
루트로 전환하기:
```
sudo su -
```

sap_lib_hdbfr.sh 스크립트 다운로드:

wget https://storage.googleapis.com/cloudsapdeploy/terraform/latest/terraform/lib/sap_lib_hdbfr.sh

파일을 실행 가능하게 만듭니다.
```
chmod +x sap_lib_hdbfr.sh
```
스크립트에 오류가 없는지 확인합니다.
```
vi sap_lib_hdbfr.sh
./sap_lib_hdbfr.sh -help
```
명령어에서 오류를 반환하면 Cloud Customer Care팀에 문의하세요. 고객 관리에 문의하는 방법에 대한 자세한 내용은 Google Cloud 기반 SAP에 대한 지원 받기를 참조하세요.
SAP HANA 데이터베이스의 SYSTEM 사용자에 대한 SAP HANA 시스템 ID(SID)와 비밀번호를 바꾼 후 스크립트를 실행합니다. 비밀번호를 안전하게 제공하려면 Secret Manager에서 보안 비밀을 사용하는 것이 좋습니다.

Secret Manager에서 보안 비밀 이름을 사용하여 스크립트를 실행합니다. 이 보안 비밀은 호스트 VM 인스턴스가 포함된 Google Cloud 프로젝트에 있어야 합니다.
```
sudo ./sap_lib_hdbfr.sh -h 'SID' -s SECRET_NAME 
```
다음을 바꿉니다.
- SID: 대문자로 SID를 지정합니다. 예를 들면 AHA입니다.
- SECRET_NAME: SAP HANA 데이터베이스의 SYSTEM 사용자에 대한 비밀번호에 해당하는 보안 비밀의 이름을 지정합니다. 이 보안 비밀은 호스트 VM 인스턴스가 포함된 Google Cloud 프로젝트에 있어야 합니다.
또는 일반 텍스트 비밀번호를 사용하여 스크립트를 실행할 수 있습니다. SAP HANA 빠른 다시 시작을 사용 설정한 후에 비밀번호를 변경해야 합니다. VM의 명령줄 기록에 비밀번호가 기록되므로 일반 텍스트 비밀번호를 사용하지 않는 것이 좋습니다.
```
sudo ./sap_lib_hdbfr.sh -h 'SID' -p 'PASSWORD'
```
다음을 바꿉니다.
- SID: 대문자로 SID를 지정합니다. 예를 들면 AHA입니다.
- PASSWORD: SAP HANA 데이터베이스의 SYSTEM 사용자에 대한 비밀번호를 지정합니다.

초기 실행이 성공하면 다음과 비슷한 출력이 표시됩니다.

INFO - Script is running in standalone mode
ls: cannot access '/hana/tmpfs*': No such file or directory
INFO - Setting up HANA Fast Restart for system 'TST/00'.
INFO - Number of NUMA nodes is 2
INFO - Number of directories /hana/tmpfs* is 0
INFO - HANA version 2.57
INFO - No directories /hana/tmpfs* exist. Assuming initial setup.
INFO - Creating 2 directories /hana/tmpfs* and mounting them
INFO - Adding /hana/tmpfs* entries to /etc/fstab. Copy is in /etc/fstab.20220625_030839
INFO - Updating the HANA configuration.
INFO - Running command: select * from dummy
DUMMY
"X"
1 row selected (overall time 4124 usec; server time 130 usec)

INFO - Running command: ALTER SYSTEM ALTER CONFIGURATION ('global.ini', 'SYSTEM') SET ('persistence', 'basepath_persistent_memory_volumes') = '/hana/tmpfs0/TST;/hana/tmpfs1/TST;'
0 rows affected (overall time 3570 usec; server time 2239 usec)

INFO - Running command: ALTER SYSTEM ALTER CONFIGURATION ('global.ini', 'SYSTEM') SET ('persistent_memory', 'table_unload_action') = 'retain';
0 rows affected (overall time 4308 usec; server time 2441 usec)

INFO - Running command: ALTER SYSTEM ALTER CONFIGURATION ('indexserver.ini', 'SYSTEM') SET ('persistent_memory', 'table_default') = 'ON';
0 rows affected (overall time 3422 usec; server time 2152 usec)

자동 단계

이 프로세스를 자동화하려면 Google Cloud 콘솔에서 nodes.txt 및 다음 스크립트를 사용합니다.

IP 주소 및 호스트 이름 목록을 사용하여 hosts.txt 파일을 생성합니다.

while read -u10 ZONE HOST ; do gcloud compute instances list --filter="name=( 'NAME' $HOST )" --format="csv[separator=' ',no-heading](networkInterfaces[0].networkIP,name)" >> hosts.txt; done 10< nodes.txt

hosts.txt 파일이 다음 예시와 비슷하게 표시되는지 확인합니다.

10.138.0.1 rhel-hana-primary
10.138.0.2 rhel-hana-primaryw1
10.138.0.3 rhel-hana-secondary
10.138.0.4 rhel-hana-secondaryw1
10.138.0.5 rhel-sap-mm

대부분의 제조업체를 포함한 클러스터의 모든 호스트에서 Pacemaker 클러스터에 있는 모든 인스턴스의 호스트 이름과 내부 IP 주소를 포함하도록 /etc/hosts 파일을 업데이트합니다.
```
while read -u10 ZONE HOST ;  do gcloud compute ssh --tunnel-through-iap --quiet $HOST --zone $ZONE -- "sudo tee -a /etc/hosts" < hosts.txt; done 10< nodes.txt
```

데이터베이스 백업

데이터베이스 백업을 만들어 SAP HANA 시스템 복제에 데이터베이스 로깅을 시작하고 복구 지점을 만듭니다.

MDC 구성에 테넌트 데이터베이스가 여러 개 있는 경우 각 테넌트 데이터베이스를 백업합니다.

Deployment Manager 템플릿에서는 /hanabackup/data/SID를 기본 백업 디렉터리로 사용합니다.

새 SAP HANA 데이터베이스의 백업을 만들려면 다음 안내를 따르세요.

기본 호스트에서 SID_LCadm으로 전환합니다. OS 이미지에 따라 명령어가 다를 수 있습니다.
```
sudo -i -u SID_LCadm
```
데이터베이스 백업을 만듭니다.
- SAP HANA 단일 데이터베이스 컨테이너 시스템의 경우 다음을 실행합니다.
```
> hdbsql -t -u system -p SYSTEM_PASSWORD -i INST_NUM \
  "backup data using file ('full')"
```
  다음 예시에서는 새 SAP HANA 시스템의 성공적인 응답을 보여줍니다.
```
0 rows affected (overall time 18.416058 sec; server time 18.414209 sec)
```
- SAP HANA 멀티 데이터베이스 컨테이너 시스템(MDC)의 경우 시스템 데이터베이스와 테넌트 데이터베이스의 백업을 만듭니다.
```
> hdbsql -t -d SYSTEMDB -u system -p SYSTEM_PASSWORD -i INST_NUM \
  "backup data using file ('full')"
```
```
> hdbsql -t -d SID -u system -p SYSTEM_PASSWORD -i INST_NUM \
  "backup data using file ('full')"
```
다음 예시에서는 새 SAP HANA 시스템의 성공적인 응답을 보여줍니다.
```
0 rows affected (overall time 16.590498 sec; server time 16.588806 sec)
```

로깅 모드가 보통으로 설정되어 있는지 확인합니다.

> hdbsql -u system -p SYSTEM_PASSWORD -i INST_NUM \
  "select value from "SYS"."M_INIFILE_CONTENTS" where key='log_mode'"

다음과 같이 표시됩니다.

VALUE
"normal"

SAP HANA 시스템 복제 사용 설정

SAP HANA 시스템 복제를 사용 설정하는 과정에서 기본 호스트에서 보조 호스트로 파일 시스템(SSFS)의 SAP HANA 보안 저장소의 데이터와 키 파일을 복사해야 합니다. 이 절차에서 파일을 복사하는 데 사용되는 방법은 사용 가능한 여러 방법 중 한 가지일 뿐입니다.

기본 호스트에서 SID_LCadm으로 시스템 복제를 사용 설정합니다.
```
> hdbnsutil -sr_enable --name=PRIMARY_HOST_NAME
```

보조 호스트에서 다음을 수행합니다.

SID_LCadm으로 SAP HANA를 중지합니다.

> sapcontrol -nr INST_NUM -function StopSystem

루트로 기존 SSFS 데이터와 키 파일을 보관처리합니다.

# cd /usr/sap/SID/SYS/global/security/rsecssfs/
# mv data/SSFS_SID.DAT data/SSFS_SID.DAT-ARC
# mv key/SSFS_SID.KEY key/SSFS_SID.KEY-ARC

기본 호스트에서 데이터 파일을 복사합니다.

# scp -o StrictHostKeyChecking=no \
PRIMARY_HOST_NAME:/usr/sap/SID/SYS/global/security/rsecssfs/data/SSFS_SID.DAT \
/usr/sap/SID/SYS/global/security/rsecssfs/data/SSFS_SID.DAT

기본 호스트에서 키 파일을 복사합니다.

# scp -o StrictHostKeyChecking=no \
PRIMARY_HOST_NAME:/usr/sap/SID/SYS/global/security/rsecssfs/key/SSFS_SID.KEY \
/usr/sap/SID/SYS/global/security/rsecssfs/key/SSFS_SID.KEY

파일 소유권을 업데이트합니다.

# chown SID_LCadm:sapsys /usr/sap/SID/SYS/global/security/rsecssfs/data/SSFS_SID.DAT
# chown SID_LCadm:sapsys /usr/sap/SID/SYS/global/security/rsecssfs/key/SSFS_SID.KEY

파일 권한을 업데이트합니다.

# chmod 644 /usr/sap/SID/SYS/global/security/rsecssfs/data/SSFS_SID.DAT
# chmod 640 /usr/sap/SID/SYS/global/security/rsecssfs/key/SSFS_SID.KEY

SID_LCadm으로 보조 SAP HANA 시스템을 SAP HANA 시스템 복제에 등록합니다.

> hdbnsutil -sr_register --remoteHost=PRIMARY_HOST_NAME --remoteInstance=INST_NUM \
--replicationMode=syncmem --operationMode=logreplay --name=SECONDARY_HOST_NAME

SID_LCadm으로 SAP HANA를 시작합니다.

> sapcontrol -nr INST_NUM -function StartSystem

시스템 복제 유효성 검사

기본 호스트에서 SID_LCadm으로 다음 Python 스크립트를 실행하여 SAP HANA 시스템 복제가 활성 상태인지 확인합니다.

$ python $DIR_INSTANCE/exe/python_support/systemReplicationStatus.py

다른 표시기 중에서 복제가 올바르게 설정되어 있으면 xsengine, nameserver, indexserver 서비스에 다음 값이 표시됩니다.

Secondary Active Status가 YES입니다.
Replication Status가 ACTIVE입니다.

또한 overall system replication status가 ACTIVE로 표시됩니다.

SAP HANA HA/DR 제공업체 후크 사용 설정

Red Hat은 SAP HANA가 특정 이벤트의 알림을 보낼 수 있게 해주고 장애 감지를 향상시키는 SAP HANA HA/DR 제공업체 후크를 사용 설정할 것을 권장합니다. SAP HANA HA/DR 제공업체 후크를 사용하려면 SAP HANA 2.0 SPS 03 이상 버전이 필요합니다.

기본 및 보조 사이트 모두에서 다음 단계를 완료합니다.

SID_LCadm으로 SAP HANA를 중지합니다.
```
> sapcontrol -nr 00 -function StopSystem
```

루트 또는 SID_LCadm로 수정할 global.ini 파일을 엽니다.
```
> vi /hana/shared/SID/global/hdb/custom/config/global.ini
```

global.ini 파일에 다음 정의를 추가합니다.

[ha_dr_provider_SAPHanaSR]
provider = SAPHanaSR
path = /usr/share/SAPHanaSR-ScaleOut/
execution_order = 1

[trace]
ha_dr_saphanasr = info

루트로 다음 명령어를 실행하여 /etc/sudoers.d 디렉터리에 커스텀 구성 파일을 만듭니다. 이 새로운 구성 파일을 사용하면 srConnectionChanged() 후크 메서드가 호출될 때 SID_LCadm 사용자가 클러스터 노드 속성에 액세스할 수 있습니다.
```
> sudo visudo -f /etc/sudoers.d/20-saphana
```

/etc/sudoers.d/20-saphana 파일에 다음 텍스트를 추가합니다.

SID_LC를 소문자로 표시된 SID로 바꿉니다.

Cmnd_Alias SOK = /usr/sbin/crm_attribute -n hana_SID_LC_glob_srHook -v SOK -t crm_config -s SAPHanaSR
Cmnd_Alias SFAIL = /usr/sbin/crm_attribute -n hana_SID_LC_glob_srHook -v SFAIL -t crm_config -s SAPHanaSR
SID_LCadm ALL=(ALL) NOPASSWD: SOK, SFAIL
Defaults!SOK, SFAIL !requiretty

/etc/sudoers 파일에 다음 텍스트가 포함되어 있는지 확인합니다.
```
#includedir /etc/sudoers.d
```
이 텍스트에서 #은 문법의 일부이며 줄이 주석임을 의미하는 것은 아닙니다.

SID_LCadm으로 SAP HANA를 시작합니다.
```
> sapcontrol -nr 00 -function StartSystem
```

기본 호스트에서 SID_LCadm으로 후크 스크립트에서 보고한 상태를 테스트합니다.

> cdtrace
> awk '/ha_dr_SAPHanaSR.*crm_attribute/ { printf "%s %s %s %s\n",$2,$3,$5,$16 }' nameserver_*

Cloud Load Balancing 장애 조치 지원 구성

장애 조치를 지원하는 내부 패스 스루 네트워크 부하 분산기 서비스는 상태 점검 서비스를 기반으로 SAP HANA 클러스터의 활성 호스트로 트래픽을 라우팅합니다.

가상 IP의 IP 주소 예약

가상 IP(VIP) 주소(유동 IP 주소라고도 함)는 활성 SAP HANA 시스템을 따릅니다. 부하 분산기는 VIP로 전송된 트래픽을 현재 활성 SAP HANA 시스템을 호스팅하는 VM으로 라우팅합니다.

Cloud Shell을 엽니다.

Cloud Shell로 이동
가상 IP의 IP 주소를 예약합니다. 애플리케이션이 SAP HANA에 액세스하는 데 사용하는 IP 주소입니다. --addresses 플래그를 생략하면 지정된 서브넷의 IP 주소가 자동으로 선택됩니다.
```
$ gcloud compute addresses create VIP_NAME \
  --region CLUSTER_REGION --subnet CLUSTER_SUBNET \
  --addresses VIP_ADDRESS
```
고정 IP를 예약하는 방법에 대한 상세 설명은 고정 내부 IP 주소 예약을 참조하세요.

IP 주소 예약을 확인합니다.

$ gcloud compute addresses describe VIP_NAME \
  --region CLUSTER_REGION

다음과 비슷한 출력이 표시됩니다.

address: 10.0.0.19
addressType: INTERNAL
creationTimestamp: '2020-05-20T14:19:03.109-07:00'
description: ''
id: '8961491304398200872'
kind: compute#address
name: vip-for-hana-ha
networkTier: PREMIUM
purpose: GCE_ENDPOINT
region: https://www.googleapis.com/compute/v1/projects/example-project-123456/regions/us-central1
selfLink: https://www.googleapis.com/compute/v1/projects/example-project-123456/regions/us-central1/addresses/vip-for-hana-ha
status: RESERVED
subnetwork: https://www.googleapis.com/compute/v1/projects/example-project-123456/regions/us-central1/subnetworks/example-subnet-us-central1

호스트 VM의 인스턴스 그룹 만들기

Cloud Shell에서 비관리형 인스턴스 그룹 2개를 만들고 기본 마스터 호스트 VM을 인스턴스 하나에, 보조 마스터 호스트 VM을 다른 인스턴스에 할당합니다.

$ gcloud compute instance-groups unmanaged create PRIMARY_IG_NAME \
  --zone=PRIMARY_ZONE
$ gcloud compute instance-groups unmanaged add-instances PRIMARY_IG_NAME \
  --zone=PRIMARY_ZONE \
  --instances=PRIMARY_HOST_NAME
$ gcloud compute instance-groups unmanaged create SECONDARY_IG_NAME \
  --zone=SECONDARY_ZONE
$ gcloud compute instance-groups unmanaged add-instances SECONDARY_IG_NAME \
  --zone=SECONDARY_ZONE \
  --instances=SECONDARY_HOST_NAME

인스턴스 그룹 생성을 확인합니다.

$ gcloud compute instance-groups unmanaged list

다음과 비슷한 출력이 표시됩니다.

NAME          ZONE           NETWORK          NETWORK_PROJECT        MANAGED  INSTANCES
hana-ha-ig-1  us-central1-a  example-network  example-project-123456 No       1
hana-ha-ig-2  us-central1-c  example-network  example-project-123456 No       1

Compute Engine 상태 확인 만들기

Cloud Shell에서 상태 확인을 만듭니다. 상태 확인에 사용되는 포트로, 다른 서비스와 충돌하지 않도록 비공개 범위 49152~65535에서 포트를 선택합니다. Compute Engine 라이브 마이그레이션 이벤트 중에 장애 조치 허용 범위를 늘리기 위해 확인 간격 및 제한 시간 값이 기본값보다 약간 더 깁니다. 필요한 경우 이러한 값을 조정할 수 있습니다.
```
$ gcloud compute health-checks create tcp HEALTH_CHECK_NAME --port=HEALTHCHECK_PORT_NUM \
  --proxy-header=NONE --check-interval=10 --timeout=10 --unhealthy-threshold=2 \
  --healthy-threshold=2
```

상태 확인 생성을 확인합니다.

$ gcloud compute health-checks describe HEALTH_CHECK_NAME

다음과 비슷한 출력이 표시됩니다.

checkIntervalSec: 10
creationTimestamp: '2020-05-20T21:03:06.924-07:00'
healthyThreshold: 2
id: '4963070308818371477'
kind: compute#healthCheck
name: hana-health-check
selfLink: https://www.googleapis.com/compute/v1/projects/example-project-123456/global/healthChecks/hana-health-check
tcpHealthCheck:
 port: 60000
 portSpecification: USE_FIXED_PORT
 proxyHeader: NONE
timeoutSec: 10
type: TCP
unhealthyThreshold: 2

상태 확인에 사용할 방화벽 규칙 만들기

Compute Engine 상태 확인 35.191.0.0/16 및 130.211.0.0/22에 사용되는 IP 범위에서 호스트 VM에 액세스할 수 있는 비공개 범위의 포트에 사용할 방화벽 규칙을 정의합니다. 자세한 내용은 상태 확인에 사용할 방화벽 규칙 만들기를 참조하세요.

아직 없으면 호스트 VM에 네트워크 태그를 추가합니다. 이 네트워크 태그는 방화벽 규칙에서 상태 확인을 위해 사용됩니다.

$ gcloud compute instances add-tags PRIMARY_HOST_NAME \
  --tags NETWORK_TAGS \
  --zone PRIMARY_ZONE
$ gcloud compute instances add-tags SECONDARY_HOST_NAME \
  --tags NETWORK_TAGS \
  --zone SECONDARY_ZONE

방화벽을 아직 만들지 않았으면 상태 확인을 허용하는 방화벽 규칙을 만듭니다.

$ gcloud compute firewall-rules create RULE_NAME \
  --network NETWORK_NAME \
  --action ALLOW \
  --direction INGRESS \
  --source-ranges 35.191.0.0/16,130.211.0.0/22 \
  --target-tags NETWORK_TAGS \
  --rules tcp:HLTH_CHK_PORT_NUM

예를 들면 다음과 같습니다.

gcloud compute firewall-rules create  fw-allow-health-checks \
--network example-network \
--action ALLOW \
--direction INGRESS \
--source-ranges 35.191.0.0/16,130.211.0.0/22 \
--target-tags cluster-ntwk-tag \
--rules tcp:60000

부하 분산기 및 장애 조치 그룹 구성

부하 분산기 백엔드 서비스를 만듭니다.

$ gcloud compute backend-services create BACKEND_SERVICE_NAME \
  --load-balancing-scheme internal \
  --health-checks HEALTH_CHECK_NAME \
  --no-connection-drain-on-failover \
  --drop-traffic-if-unhealthy \
  --failover-ratio 1.0 \
  --region CLUSTER_REGION \
  --global-health-checks

기본 인스턴스 그룹을 백엔드 서비스에 추가합니다.

$ gcloud compute backend-services add-backend BACKEND_SERVICE_NAME \
  --instance-group PRIMARY_IG_NAME \
  --instance-group-zone PRIMARY_ZONE \
  --region CLUSTER_REGION

보조 장애 조치 인스턴스 그룹을 백엔드 서비스에 추가합니다.

$ gcloud compute backend-services add-backend BACKEND_SERVICE_NAME \
  --instance-group SECONDARY_IG_NAME \
  --instance-group-zone SECONDARY_ZONE \
  --failover \
  --region CLUSTER_REGION

전달 규칙을 만듭니다. IP 주소에 VIP용으로 예약한 IP 주소를 지정합니다. 아래에 지정된 리전 외부에서 SAP HANA 시스템에 액세스해야 하는 경우에는 정의에 --allow-global-access 플래그를 포함하세요.
```
$ gcloud compute forwarding-rules create RULE_NAME \
  --load-balancing-scheme internal \
  --address VIP_ADDRESS \
  --subnet CLUSTER_SUBNET \
  --region CLUSTER_REGION \
  --backend-service BACKEND_SERVICE_NAME \
  --ports ALL
```
SAP HANA 고가용성 시스템에 대한 리전 간 액세스에 대한 자세한 내용은 내부 TCP/UDP 부하 분산을 참조하세요.

부하 분산기 구성 테스트

백엔드 인스턴스 그룹이 나중까지 정상으로 등록되지 않더라도 상태 확인에 응답하도록 리스너를 설정하여 부하 분산기 구성을 테스트할 수 있습니다. 리스너를 설정한 후 부하 분산기가 올바르게 구성되면 백엔드 인스턴스 그룹 상태가 정상으로 변경됩니다.

다음 섹션에서는 구성을 테스트하는 데 사용할 수 있는 다양한 방법을 보여줍니다.

`socat` 유틸리티로 부하 분산기 테스트

socat 유틸리티를 사용하여 상태 확인 포트에서 일시적으로 리슨할 수 있습니다.

기본 및 보조 마스터 호스트 VM 모두에서 socat 유틸리티를 설치합니다.
```
$ sudo yum install -y socat
```
socat 프로세스를 시작하여 상태 확인 포트에서 60초 동안 리슨합니다.
```
$ sudo timeout 60s socat - TCP-LISTEN:HLTH_CHK_PORT_NUM,fork
```

Cloud Shell에서 상태 확인이 리스너를 감지할 때까지 몇 초 정도 기다린 후 백엔드 인스턴스 그룹 상태를 확인합니다.

$ gcloud compute backend-services get-health BACKEND_SERVICE_NAME \
  --region CLUSTER_REGION

다음과 비슷한 출력이 표시됩니다.

---
backend: https://www.googleapis.com/compute/v1/projects/example-project-123456/zones/us-central1-a/instanceGroups/hana-ha-ig-1
status:
 healthStatus:
 ‐ healthState: HEALTHY
   instance: https://www.googleapis.com/compute/v1/projects/example-project-123456/zones/us-central1-a/instances/hana-ha-vm-1
   ipAddress: 10.0.0.35
   port: 80
 kind: compute#backendServiceGroupHealth
---
backend: https://www.googleapis.com/compute/v1/projects/example-project-123456/zones/us-central1-c/instanceGroups/hana-ha-ig-2
status:
 healthStatus:
 ‐ healthState: HEALTHY
   instance: https://www.googleapis.com/compute/v1/projects/example-project-123456/zones/us-central1-c/instances/hana-ha-vm-2
   ipAddress: 10.0.0.34
   port: 80
 kind: compute#backendServiceGroupHealth

포트 22를 사용하여 부하 분산기 테스트

호스트 VM에서 SSH 연결용으로 포트 22가 열려 있으면 상태 확인기에 응답할 수 있는 리스너가 있는 포트 22를 사용하도록 상태 확인기를 임시로 수정할 수 있습니다.

포트 22를 일시적으로 사용하려면 다음 단계를 수행합니다.

콘솔에서 상태 확인을 클릭합니다.

상태 확인 페이지로 이동
수정을 클릭합니다.
포트 필드에서 포트 번호를 22로 변경합니다.
저장을 클릭하고 1~2분 정도 기다립니다.

Cloud Shell에서 백엔드 인스턴스 그룹 상태를 확인합니다.

$ gcloud compute backend-services get-health BACKEND_SERVICE_NAME \
  --region CLUSTER_REGION

다음과 비슷한 출력이 표시됩니다.

---
backend: https://www.googleapis.com/compute/v1/projects/example-project-123456/zones/us-central1-a/instanceGroups/hana-ha-ig-1
status:
 healthStatus:
 ‐ healthState: HEALTHY
   instance: https://www.googleapis.com/compute/v1/projects/example-project-123456/zones/us-central1-a/instances/hana-ha-vm-1
   ipAddress: 10.0.0.35
   port: 80
 kind: compute#backendServiceGroupHealth
---
backend: https://www.googleapis.com/compute/v1/projects/example-project-123456/zones/us-central1-c/instanceGroups/hana-ha-ig-2
status:
 healthStatus:
 ‐ healthState: HEALTHY
   instance: https://www.googleapis.com/compute/v1/projects/example-project-123456/zones/us-central1-c/instances/hana-ha-vm-2
   ipAddress: 10.0.0.34
   port: 80
 kind: compute#backendServiceGroupHealth

확인을 완료하면 상태 확인 포트 번호를 원래 포트 번호로 다시 변경합니다.

Pacemaker 설정

다음 절차에서는 SAP HANA용 Compute Engine VM에서 Pacemaker 클러스터의 Red Hat 구현을 구성합니다.

이 절차는 다음을 포함하여 고가용성 클러스터 구성용 Red Hat 문서(Red Hat 구독 필요)를 바탕으로 합니다.

수동 단계

모든 호스트에서 다음 단계를 완료합니다. Google 제공 RHEL-SAP용 이미지에는 일부 패키지가 이미 설치되어 있지만 몇 가지 추가 수정이 필요합니다.

루트로 이미지에 사전 설치된 SAP HANA 수직 확장 리소스 에이전트를 삭제합니다.
```
# yum -y remove resource-agents-sap-hana
```

Pacemaker와 누락된 리소스 에이전트를 설치합니다.

# yum -y install pcs pacemaker fence-agents-gce resource-agents-gcp resource-agents-sap-hana-scaleout

패키지를 최신 버전으로 업데이트합니다.

# yum update -y
패키지의 일부로 생성된 hacluster 사용자의 비밀번호를 설정합니다.
```
# passwd hacluster
```
프롬프트에서 hacluster의 비밀번호를 지정합니다.
Google Cloud에서 제공하는 SAP용 RHEL 이미지에서는 OS 방화벽 서비스가 기본적으로 활성화됩니다. 고가용성 트래픽을 허용하도록 방화벽 서비스를 구성합니다.
```
# firewall-cmd --permanent --add-service=high-availability
```
```
# firewall-cmd --reload
```
pcs 서비스를 시작하고 부팅 시 시작되도록 구성합니다.
```
# systemctl start pcsd.service
# systemctl enable pcsd.service
```

pcs 서비스 상태를 확인합니다.

# systemctl status pcsd.service

다음과 비슷한 출력이 표시됩니다.

● pcsd.service - PCS GUI and remote configuration interface
  Loaded: loaded (/usr/lib/systemd/system/pcsd.service; enabled; vendor preset: disabled)
  Active: active (running) since Sat 2020-06-13 21:17:05 UTC; 25s ago
    Docs: man:pcsd(8)
          man:pcs(8)
Main PID: 31627 (pcsd)
  CGroup: /system.slice/pcsd.service
          └─31627 /usr/bin/ruby /usr/lib/pcsd/pcsd
Jun 13 21:17:03 hana-ha-1 systemd[1]: Starting PCS GUI and remote configuration interface...
Jun 13 21:17:05 hana-ha-1 systemd[1]: Started PCS GUI and remote configuration interface.

자동 단계

이 프로세스를 자동화하려면 Google Cloud 콘솔에서 nodes.txt 및 다음 스크립트를 사용하면 됩니다.

프롬프트에서 Pacemaker 리소스 에이전트를 설치하는 동안에 생성된 hacluster 사용자가 사용할 비밀번호를 입력합니다.

echo "Set password for hacluster user:"; read -r HA_PASSWD; while read -u10 HOST ;  do gcloud compute ssh --tunnel-through-iap --quiet --zone $HOST -- "sudo yum -y remove resource-agents-sap-hana; sudo yum -y install pcs pacemaker fence-agents-gce resource-agents-sap-hana-scaleout resource-agents-gcp; sudo yum update -y; sudo firewall-cmd --permanent --add-service=high-availability; sudo firewall-cmd --reload; sudo systemctl start pcsd.service; sudo systemctl enable pcsd.service; yes $HA_PASSWD | sudo passwd hacluster"; done 10< nodes.txt

/etc/hosts 파일 업데이트

대부분의 제조업체를 포함한 클러스터의 모든 호스트에서 Pacemaker 클러스터에 있는 모든 인스턴스의 호스트 이름과 내부 IP 주소를 포함하도록 /etc/hosts 파일을 업데이트합니다.

/etc/hosts 파일 출력은 다음 예시와 비슷하게 표시되어야 합니다.

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1                localhost localhost.localdomain localhost6 localhost6.localdomain6
10.138.0.1 rhel-hana-primary.us-west1-a.c.project-name.internal rhel-hana-primary # Added by Google
169.254.169.254 metadata.google.internal # Added by Google
10.138.0.1 rhel-hana-primary
10.138.0.2 rhel-hana-primaryw1
10.138.0.3 rhel-hana-secondary
10.138.0.4 rhel-hana-secondaryw1
10.138.0.5 rhel-sap-mm

RHEL 클러스터 노드에 /etc/hosts 파일을 설정하는 방법을 Red Hat에서 자세히 알아보려면 https://access.redhat.com/solutions/81123을 참조하세요.

클러스터 만들기

기본 마스터 호스트에서 루트로 hacluster 사용자를 승인합니다. 이 명령어에 클러스터의 일부인 클러스터의 모든 호스트를 포함해야 합니다.

RHEL 8.0 이상

pcs host auth primary-master-name primary-worker-name(s) secondary-master-name secondary-worker-name(s) majority-maker-name

RHEL 7.6 이상

pcs cluster auth primary-master-name primary-worker-name(s) secondary-master-name secondary-worker-name(s) majority-maker-name

프롬프트에서 이전 섹션에서 hacluster 사용자에 대해 설정한 hacluster 사용자 이름과 비밀번호를 입력합니다.
클러스터를 유지보수 모드로 설정합니다.
```
pcs property set maintenance-mode=true
```

corosync 구성을 생성하고 동기화합니다.

RHEL 8.0 이상

pcs cluster setup scale_out_hsr primary-master-name primary-worker-name(s) secondary-master-name secondary-worker-name(s) majority-maker-name

RHEL 7.6 이상

pcs cluster setup --start --name hanascaleoutsr primary-master-name primary-worker-name(s) secondary-master-name secondary-worker-name(s) majority-maker-name

corosync.conf 기본 설정 수정

원하는 편집기를 사용하여 /etc/corosync/corosync.conf 파일을 엽니다.
consensus 매개변수를 삭제합니다.

Google Cloud의 권장사항에 따라 나머지 매개변수를 수정합니다.

다음 표에는 Google Cloud에서 값을 권장하는 totem 매개변수 및 값 변경의 영향이 나와 있습니다. Linux 배포판 간에 다를 수 있는 이러한 매개변수의 기본값은 Linux 배포판에 대한 문서를 참조하세요.

매개변수	권장 값	값 변경 영향
`secauth`	`off`	모든 `totem` 메시지의 인증과 암호화를 중지합니다.
`join`	60(ms)	노드가 멤버십 프로토콜에서 `join` 메시지를 대기하는 시간을 늘립니다.
`max_messages`	20	토큰을 받은 후 노드가 전송할 수 있는 최대 메시지 수를 늘립니다.
`token`	20000(ms)	노드가 토큰 손실을 선언하고 노드 장애를 가정하고 조치를 취하기 전에 노드가 `totem` 프로토콜 토큰을 대기하는 시간을 늘립니다. `token` 매개변수의 값을 늘리면 클러스터가 라이브 마이그레이션과 같은 일시적인 인프라 이벤트를 더 용인할 수 있습니다. 하지만 클러스터가 노드 장애를 감지하고 복구하는 데 더 오래 걸릴 수도 있습니다. 또한 `token` 매개변수 값은 `consensus` 매개변수의 기본값을 결정하는데, 이 값은 구성 멤버십의 재설정을 시도하기 전에 합의에 도달할 때까지 노드가 대기하는 시간을 제어합니다.
`consensus`	해당 사항 없음	새로운 멤버십 구성을 시작하기 전에 합의에 도달할 때까지 기다리는 시간(밀리초)을 지정합니다. 이 매개변수를 생략하는 것이 좋습니다. `consensus` 매개변수를 지정하지 않으면 Corosync에서 해당 값을 `token` 매개변수 값의 1.2배로 설정합니다. `token` 매개변수의 권장 값인 `20000`을 사용하면 `consesus` 매개변수가 값 `24000`으로 설정됩니다. `consensus` 값을 명시적으로 지정하는 경우 값이 `24000` 또는 `1.2*token` 중 더 큰 값이어야 합니다.
`token_retransmits_before_loss_const`	10	수신자 노드가 실패하였음을 확인하고 조치를 취하기 전에 노드가 시도하는 토큰 재전송 횟수를 증가합니다.
`transport`	SLES: `udpu` RHEL 8 이상: `knet` RHEL 7: `udpu`	Corosync에서 사용되는 전송 메커니즘을 지정합니다.

수정된 corosync.conf 파일이 포함된 호스트에서 corosync 구성을 클러스터 간에 동기화합니다.
RHEL 8 이상
```
# pcs cluster sync corosync
```
RHEL 7
```
# pcs cluster sync
```
클러스터가 자동으로 시작되도록 설정합니다.
```
# pcs cluster enable --all
# pcs cluster start --all
```
corosync-cmapctl 유틸리티를 사용하여 클러스터에서 새로운 corosync 설정이 활성화되었는지 확인합니다.
```
# corosync-cmapctl
```

Corosync 재시작 지연 설정

수동 단계

모든 호스트에서 루트로 systemd 삽입 파일을 만들어 Corosync 시작을 지연하여 펜싱된 VM이 재부팅된 후 올바른 이벤트 시퀀스를 확인합니다.
```
systemctl edit corosync.service
```
파일에 다음 행을 추가합니다.
```
[Service]
ExecStartPre=/bin/sleep 60
```
파일을 저장하고 편집기를 종료합니다.
systemd 관리자 구성을 새로고침합니다.
```
systemctl daemon-reload
```

삽입 파일이 생성되었는지 확인합니다.

service corosync status

다음 예시와 같이 삽입 파일의 줄이 표시됩니다.

● corosync.service - Corosync Cluster Engine
   Loaded: loaded (/usr/lib/systemd/system/corosync.service; disabled; vendor preset: disabled)
  Drop-In: /etc/systemd/system/corosync.service.d
           └─override.conf
   Active: active (running) since Tue 2021-07-20 23:45:52 UTC; 2 days ago

자동 단계

또는 nodes.txt에 나열된 모든 인스턴스에 대해 이 프로세스를 자동화하려면 Google Cloud 콘솔에서 다음 스크립트를 실행합니다.

while read -u10 HOST;  do gcloud compute ssh --tunnel-through-iap --quiet --zone $HOST   --  "sudo mkdir -p /etc/systemd/system/corosync.service.d/; sudo echo -e '[Service]\nExecStartPre=/bin/sleep 60' | sudo tee -a /etc/systemd/system/corosync.service.d/override.conf; sudo systemctl daemon-reload"; done 10< nodes.txt

펜싱 설정

Google Cloud에서 제공된 RHEL 이미지에는 Google Cloud와 관련된 fence_gce라는 펜싱 에이전트가 포함됩니다. fence_gce를 사용하여 각 호스트 VM의 펜스 기기를 만듭니다.

펜싱 작업 후 이벤트가 올바른 순서로 발생하도록 하려면 VM이 펜싱된 후 Corosync 재시작을 지연하도록 운영체제를 구성해야 합니다. 지연을 고려하여 재부팅 시 Pacemaker 제한 시간을 조정해야 합니다.

fence_gce 펜싱 에이전트에서 사용할 수 있는 모든 옵션을 보려면 fence_gce -h를 실행합니다.

수동 단계

기본 호스트에서 루트 사용자 권한으로 대부분의 제작자를 포함하여 모든 호스트에 대해 펜싱 기기를 만듭니다.

pcs stonith create STONITH-host-name fence_gce \
port=host-name \
zone=host-zone \
project=project-id \
pcmk_host_list=host-name pcmk_reboot_timeout=300 pcmk_monitor_retries=4 \
op monitor interval="300s" timeout="120s" \
op start interval="0" timeout="60s"

펜싱 기기의 위치 제약조건을 설정합니다.

pcs constraint location STONITH-host-name avoids host-name

host-name 및 host-zone 변수에 대해 적절한 값을 입력하여 기본 및 보조 클러스터의 다른 모든 호스트와 대부분의 제작자 호스트에 대해 이전의 2개 단계를 반복합니다.

자동 단계

이 프로세스를 자동화하려면 Google Cloud 콘솔에서 nodes.txt 및 다음 스크립트를 사용해야 합니다.

while read -u10 ZONE HOST; do gcloud compute ssh $HOST --tunnel-through-iap --quiet --zone $ZONE -- "sudo pcs stonith create STONITH-$HOST fence_gce project=project-id port=$HOST zone=$ZONE pcmk_host_list=$HOST pcmk_reboot_timeout=300 pcmk_monitor_retries=4 op monitor interval=300s timeout=120s op start interval=0 timeout=60s && sudo pcs constraint location STONITH-$HOST avoids $HOST"; done 10< nodes.txt

클러스터 기본값 설정

마이그레이션 임곗값과 고정값을 설정하여 장애 발생 전에 시도할 장애 조치 수를 결정하고 먼저 현재 호스트에서 시스템을 다시 시작하도록 설정합니다. 이 작업을 노드 하나에만 설정하면 클러스터에 적용됩니다.

호스트에서 루트 권한으로 리소스 기본값을 설정합니다.
RHEL 8.0 이상
```
# pcs resource defaults update resource-stickiness=1000
# pcs resource defaults update migration-threshold=5000
```
RHEL 7.6 이상
```
# pcs resource defaults resource-stickiness=1000
# pcs resource defaults migration-threshold=5000
```
resource-stickiness 속성은 서비스가 해당 위치에서 계속 실행될 가능성을 제어합니다. 값이 클수록 서비스가 더욱 고정됩니다. 값이 1000이면 서비스가 상당히 고정된 것입니다.

migration-threshold 속성은 서비스가 다른 호스트로 장애 조치되려면 발생해야 하는 장애 수를 지정합니다. 값이 5000이면 수명이 짧은 오류 상황에서 장애 조치가 발생하지 않습니다.

pcs resource defaults를 입력하면 리소스 기본값을 확인할 수 있습니다.
리소스 작업 제한 시간 기본값을 설정합니다.
RHEL 8.0 이상
```
# pcs resource op defaults update timeout=600s
```
RHEL 7.6 이상
```
# pcs resource op defaults timeout=600s
```
pcs resource op defaults를 입력하면 리소스 작업 기본값을 확인할 수 있습니다.
아래의 클러스터 속성을 설정합니다.
```
# pcs property set stonith-enabled="true"
# pcs property set stonith-timeout="300s"
```
pcs property list로 속성 설정을 확인할 수 있습니다.

`SAPHanaTopology` 리소스 만들기

SAPHanaTopology 리소스는 노드에서 HANA 시스템 복제의 상태와 구성을 가져옵니다. 또한 SAP 호스트 에이전트를 확인합니다.

두 호스트 중 하나에서 루트로 SAPHanaTopology 리소스를 만듭니다.

RHEL 8.0 이상

# pcs resource create rsc_SAPHanaTopology_SID_HDBinstNr SAPHanaTopology SID=SID \
InstanceNumber=inst_num \
op methods interval=0s timeout=5 \
op monitor interval=10 timeout=600 \
clone meta clone-node-max=1 interleave=true

RHEL 7.6 이상

# pcs resource create rsc_SAPHanaTopology_SID_HDBinstNr SAPHanaTopologyScaleOut SID=SID \
InstanceNumber=inst_num \
op start timeout=600 \
op stop timeout=300 \
op monitor interval=10 timeout=600

# pcs resource clone  rsc_SAPHanaTopology_SID_HDBinstNr meta clone-node-max=1 interleave=true

리소스가 생성되면 구성을 확인합니다. 리소스 이름에 -clone을 추가하여 응답에 클론 세트 정보를 포함합니다.

RHEL 8.0 이상

# pcs resource config rsc_SAPHanaTopology_SID_HDBinstNr-clone

다음과 비슷한 출력이 표시됩니다.

Clone: SAPHanaTopology_HA1_00-clone
Meta Attrs: clone-node-max=1 interleave=true
Resource: SAPHanaTopology_HA1_00 (class=ocf provider=heartbeat type=SAPHanaTopology)
Attributes: InstanceNumber=00 SID=HA1
Operations: methods interval=0s timeout=5 (SAPHanaTopology_HA1_00-methods-interval-0s)
       monitor interval=10 timeout=600 (SAPHanaTopology_HA1_00-monitor-interval-10)
       start interval=0s timeout=600 (SAPHanaTopology_HA1_00-start-interval-0s)
       stop interval=0s timeout=300 (SAPHanaTopology_HA1_00-stop-interval-0s)

RHEL 7.6 이상

# pcs resource show rsc_SAPHanaTopology_SID_HDBinstNr-clone

다음과 비슷한 출력이 표시됩니다.

Clone: rsc_SAPHanaTopology_HA1_HDB00-clone
Meta Attrs: clone-node-max=1 interleave=true
Resource: rsc_SAPHanaTopology_HA1_HDB00 (class=ocf provider=heartbeat type=SAPHanaTopologyScaleOut)
Attributes: InstanceNumber=00 SID=HA1
Meta Attrs: clone-node-max=1 interleave=true
Operations: methods interval=0s timeout=5 (rsc_SAPHanaTopology_HA1_HDB00-methods-interval-0s)
       monitor interval=10 timeout=600 (rsc_SAPHanaTopology_HA1_HDB00-monitor-interval-10)
       start interval=0s timeout=600 (rsc_SAPHanaTopology_HA1_HDB00-start-interval-0s)
       stop interval=0s timeout=300 (rsc_SAPHanaTopology_HA1_HDB00-stop-interval-0s)

또한 crm_mon -A1 명령어를 사용하여 클러스터 속성을 확인할 수 있습니다.

`SAPHanaController` 리소스 만들기

SAPHanaController 리소스 에이전트는 SAP HANA 시스템 복제용으로 구성된 데이터베이스를 관리합니다.

SAPHana 리소스 정의의 다음 매개변수는 선택사항입니다.

AUTOMATED_REGISTER: true로 설정하면 인계 후 DUPLICATE_PRIMARY_TIMEOUT이 만료되면 이전 기본 서버를 보조 서버로 자동 등록합니다. 기본값은 false입니다.

다중 계층의 경우 SAP HANA 2.0 SP03보다 이전 버전을 사용하는 경우 SAP HANA HA 클러스터는 AUTOMATED_REGISTER를 false로 설정합니다. 이렇게 하면 복구된 인스턴스가 이미 복제 대상이 구성된 HANA 시스템에 복제하기 위해 직접 등록하도록 시도하지 못합니다. SAP HANA 2.0 SP03 이상에서는 다중 계층 시스템 복제를 사용하는 SAP HANA 구성을 위해 AUTOMATED_REGISTER를 true로 설정할 수 있습니다.
DUPLICATE_PRIMARY_TIMEOUT: 이중 기본 상황이 발생하면 두 기본 타임스탬프 간의 시간 차이를 초 단위로 설정합니다. 기본값은 7200입니다.
PREFER_SITE_TAKEOVER: 장애 조치가 시작되기 전에 로컬 다시 시작 시도 여부를 지정합니다. 기본값은 false입니다.

이러한 매개변수에 대한 상세 설명은 Google Cloud에 Red Hat Enterprise Linux 7.6 이상의 고가용성 클러스터 설치 및 구성을 참조하세요. Red Hat 구독이 필요합니다.

두 호스트 중 하나에서 루트로 SAPHanaController 리소스를 만듭니다.

RHEL 8.0 이상

# pcs resource create rsc_SAPHana_SID_HDBinstNr SAPHanaController SID=SID \
InstanceNumber=inst_num \
PREFER_SITE_TAKEOVER=true DUPLICATE_PRIMARY_TIMEOUT=7200 AUTOMATED_REGISTER=true \
op demote interval=0s timeout=320 \
op methods interval=0s timeout=5 \
op monitor interval=59 \
role="Master" timeout=700 \
op monitor interval=61 \
role="Slave" timeout=700 \
op promote interval=0 timeout=3600 \
op start interval=0 timeout=3600 \
op stop interval=0 timeout=3600e

# pcs resource promotable rsc_SAPHana_SID_HDBinstNr meta master-max="1" clone-node-max=1 interleave=true

RHEL 7.6 이상

# pcs resource create rsc_SAPHana_SID_HDBinstNr SAPHanaController SID=SID \
InstanceNumber=inst_num \
PREFER_SITE_TAKEOVER=true DUPLICATE_PRIMARY_TIMEOUT=7200 AUTOMATED_REGISTER=true \
op start interval=0 timeout=3600 \
op stop interval=0 timeout=3600 \
op promote interval=0 timeout=3600 \
op monitor interval=60 \
role="Master" timeout=700 \
op monitor interval=61 \
role="Slave" timeout=700

# pcs resource master msl_rsc_SAPHana_SID_HDBinstNr rsc_SAPHana_SID_HDBinstNr master-max="1" clone-node-max=1 interleave=true

결과로 나타나는 리소스 속성을 확인합니다.

RHEL 8.0 이상

# pcs resource config rsc_SAPHana_SID_HDBinstNr-clone

다음과 비슷한 출력이 표시됩니다.

Resource: SAPHana_HA1_00 (class=ocf provider=heartbeat type=SAPHanaController)
Attributes: AUTOMATED_REGISTER=true DUPLICATE_PRIMARY_TIMEOUT=7200 InstanceNumber=00 PREFER_SITE_TAKEOVER=true SID=HA1
Operations: demote interval=0s timeout=320 (SAPHana_HA1_00-demote-interval-0s)
      methods interval=0s timeout=5 (SAPHana_HA1_00-methods-interval-0s)
      monitor interval=59 role=Master timeout=700 (SAPHana_HA1_00-monitor-interval-59)
      promote interval=0 timeout=3600 (SAPHana_HA1_00-promote-interval-0)
      reload interval=0s timeout=5 (SAPHana_HA1_00-reload-interval-0s)
      start interval=0 timeout=3600 (SAPHana_HA1_00-start-interval-0)
      stop interval=0 timeout=3600 (SAPHana_HA1_00-stop-interval-0)
      monitor interval=61 role=Slave timeout=700 (SAPHana_HA1_00-monitor-interval-61)

RHEL 7.6 이상

# pcs resource show msl_rsc_SAPHana_SID_HDBinstNr

다음과 비슷한 출력이 표시됩니다.

Master: msl_rsc_SAPHana_HA1_HDB00
Meta Attrs: clone-node-max=1 interleave=true master-max=1
Resource: rsc_SAPHana_HA1_HDB00 (class=ocf provider=heartbeat type=SAPHanaController)
Attributes: AUTOMATED_REGISTER=true DUPLICATE_PRIMARY_TIMEOUT=7200 InstanceNumber=00 PREFER_SITE_TAKEOVER=true SID=HA1
Operations: demote interval=0s timeout=320 (rsc_SAPHana_HA1_HDB00-demote-interval-0s)
       methods interval=0s timeout=5 (rsc_SAPHana_HA1_HDB00-methods-interval-0s)
       monitor interval=60 role=Master timeout=700 (rsc_SAPHana_HA1_HDB00-monitor-interval-60)
       monitor interval=61 role=Slave timeout=700 (rsc_SAPHana_HA1_HDB00-monitor-interval-61)
       promote interval=0 timeout=3600 (rsc_SAPHana_HA1_HDB00-promote-interval-0)
       start interval=0 timeout=3600 (rsc_SAPHana_HA1_HDB00-start-interval-0)
       stop interval=0 timeout=3600 (rsc_SAPHana_HA1_HDB00-stop-interval-0)

가상 IP 주소 리소스 만들기

VIP용 클러스터 리소스를 만들어야 합니다. VIP 리소스는 기본 운영체제로 현지화되며 다른 호스트에서 라우팅될 수 없습니다. 부하 분산기는 VIP로 전송되는 트래픽을 상태 확인에 따라 백엔드 호스트로 라우팅합니다.

두 호스트 중 하나에서 루트로 다음을 수행합니다.

# pcs resource create rsc_ip_SAPHANA_SID_HDBinstNr \
  IPaddr2 ip="vip-address" nic=eth0 cidr_netmask=32 \
  op monitor interval=3600s timeout=60s

vip-address 값은 이전에 예약하고 전달 규칙에서 부하 분산기의 프런트엔드에 지정한 IP 주소입니다. 구성에 맞게 네트워크 인터페이스를 변경합니다.

제약조건 만들기

제약조건을 만들어 먼저 시작해야 하는 서비스와 동일한 호스트에서 함께 실행해야 하는 서비스를 정의할 수 있습니다.

시작 순서 제약조건을 정의합니다.

RHEL 8.0 이상

# pcs constraint order start rsc_SAPHanaTopology_SID_HDBinstNr-clone then start rsc_SAPHana_SID_HDBinstNr-clone

RHEL 7.6

# pcs constraint order rsc_SAPHanaTopology_SID_HDBinstNr-clone then rsc_SAPHana_SID_HDBinstNr-master

클러스터 환경에서 활성 역할을 사용하지 않도록 대부분의 제작자를 구성합니다.

RHEL 8.0 이상

# pcs constraint location rsc_SAPHana_SID_HDBinstNr-clone avoids majority-maker-name

# pcs constraint location rsc_SAPHanaTopology_SID_HDBinstNr-clone avoids majoritymaker

RHEL 7.6

# pcs constraint location msl_rsc_SAPHana_SID_HDBinstNr avoids majoritymaker

# pcs constraint location rsc_SAPHanaTopology_SID_HDBinstNr-clone avoids majoritymaker

제약조건을 확인합니다.

# pcs constraint

다음과 비슷한 출력이 표시됩니다.

Location Constraints:
Resource: STONITH-hana-ha-1
  Disabled on: hana-ha-1 (score:-INFINITY)
Resource: STONITH-hana-ha-1w1
  Disabled on: hana-ha-1w1 (score:-INFINITY)
Resource: STONITH-hana-ha-2
  Disabled on: hana-ha-2 (score:-INFINITY)
Resource: STONITH-hana-ha-2w1
  Disabled on: hana-ha-2w1 (score:-INFINITY)
Resource: STONITH-majority-maker
  Disabled on: majority-maker (score:-INFINITY)
Resource: rsc_SAPHanaTopology_HA1_HDB00-clone
  Disabled on: majority-maker (score:-INFINITY)
Resource: rsc_SAPHana_HA1_HDB00-master
  Disabled on: majority-maker (score:-INFINITY)
Ordering Constraints:
  start rsc_SAPHanaTopology_HA1_HDB00-clone then start rsc_SAPHana_HA1_HDB00-master (kind:Mandatory)

리스너 설치 및 상태 확인 리소스 만들기

상태 확인 리소스를 구성하려면 먼저 리스너를 설치해야 합니다.

리스너 설치

부하 분산기는 각 호스트의 상태 확인 포트에서 리스너를 사용하여 SAP HANA 클러스터의 기본 인스턴스가 실행되는 위치를 파악합니다. 1. 기본 및 보조 시스템의 마스터 인스턴스에서 루트로 TCP 리스너를 설치합니다. 이 안내에서는 HAProxy를 설치하고 리스너로 사용합니다.

# yum install haproxy

수정할 구성 파일 haproxy.cfg를 엽니다.

# vi /etc/haproxy/haproxy.cfg

haproxy.cfg의 defaults 섹션에서 mode를 tcp로 변경합니다.

defaults 섹션 뒤에 다음을 추가하여 새 섹션을 만듭니다.

#---------------------------------------------------------------------
# Health check listener port for SAP HANA HA cluster
#---------------------------------------------------------------------
listen healthcheck
  bind *:healthcheck-port-num

bind 포트는 상태 확인을 만들 때 사용한 포트와 동일한 포트입니다.

작업을 완료하면 업데이트가 다음 예시와 비슷하게 표시됩니다.

#---------------------------------------------------------------------
# common defaults that all the 'listen' and 'backend' sections will
# use if not designated in their block
#---------------------------------------------------------------------
defaults
  mode                    tcp
  log                     global
  option                  tcplog
  option                  dontlognull
  option http-server-close
  # option forwardfor       except 127.0.0.0/8
  option                  redispatch
  retries                 3
  timeout http-request    10s
  timeout queue           1m
  timeout connect         10s
  timeout client          1m
  timeout server          1m
  timeout http-keep-alive 10s
  timeout check           10s
  maxconn                 3000

#---------------------------------------------------------------------
# Set up health check listener for SAP HANA HA cluster
#---------------------------------------------------------------------
listen healthcheck
 bind *:60000

각 호스트에서 루트로 서비스를 시작하여 올바르게 구성되었는지 확인합니다.
```
# systemctl start haproxy.service
```
Google Cloud 콘솔의 부하 분산기 페이지에서 부하 분산기 항목을 클릭합니다.

부하 분산 페이지

부하 분산기 세부정보 페이지의 백엔드 섹션에서 HAProxy 서비스가 두 호스트 모두에서 활성화되면 각 인스턴스 그룹 항목의 정상 열에 1/1이 표시됩니다.
각 호스트에서 HAProxy 서비스를 중지합니다.
```
# systemctl stop haproxy.service
```
각 호스트에서 HAProxy 서비스를 중지하면 각 인스턴스 그룹의 정상 열에 0/1이 표시됩니다.

나중에 상태 확인이 구성되면 클러스터가 마스터 노드에서 리스너를 다시 시작합니다.

상태 확인 리소스 만들기

모든 호스트에서 루트로 HAProxy 서비스에 대해 상태 확인 리소스를 만듭니다.
```
# pcs resource create hc_SID_HDBinstNr service:haproxy op monitor interval=10s timeout=20s
```

VIP 리소스와 상태 확인 리소스를 함께 그룹화합니다.

# pcs resource group add rsc-group-name hc_SID_HDBinstNr rsc_ip_SAPHANA_SID_HDBinstNr

마스터 SAP HANA 인스턴스와 동일한 노드에 그룹을 배치하는 제약조건을 만듭니다.

RHEL 8.0 이상

# pcs constraint colocation add rsc-group-name with master rsc_SAPHana_SID_HDBinstNr-clone

RHEL 7.6 이상

# pcs constraint colocation add rsc-group-name with master msl_rsc_SAPHana_SID_HDBinstNr

HANA가 승격된 후에만 그룹을 시작하는 주문 제약조건을 만듭니다.

# pcs constraint order promote rsc_SAPHana_SID_HDBinstNr-clone then start rsc-group-name

최종 제약조건은 다음 예시와 비슷하게 표시됩니다.

# pcs constraint

Location Constraints:
Resource: STONITH-hana-ha-1
 Disabled on: hana-ha-1 (score:-INFINITY)
Resource: STONITH-hana-ha-1w1
 Disabled on: hana-ha-1w1 (score:-INFINITY)
Resource: STONITH-hana-ha-2
 Disabled on: hana-ha-2 (score:-INFINITY)
Resource: STONITH-hana-ha-2w1
 Disabled on: hana-ha-2w1 (score:-INFINITY)
Resource: STONITH-majority-maker
 Disabled on: majority-maker (score:-INFINITY)
Resource: rsc_SAPHanaTopology_HA1_HDB00-clone
 Disabled on: majority-maker (score:-INFINITY)
Resource: rsc_SAPHana_HA1_HDB00-master
 Disabled on: majority-maker (score:-INFINITY)
Ordering Constraints:
 start rsc_SAPHanaTopology_HA1_HDB00-clone then start rsc_SAPHana_HA1_HDB00-master (kind:Mandatory)
 promote rsc_SAPHana_HA1_HDB00-clone then start g-primary (kind:Mandatory) (id:order-rsc_SAPHana_HA1_HDB00-clone-g-primary-mandatory)
Colocation Constraints:
 g-primary with rsc_SAPHana_HA1_HDB00-master (score:INFINITY) (rsc-role:Started) (with-rsc-role:Master)
Ticket Constraints:

설정 완료

클러스터의 유지보수 모드를 해제합니다.
```
pcs property set maintenance-mode=false
```

리소스가 시작된 후 노드 속성을 점검하여 노드에서 SAP HANA 데이터베이스의 현재 상태를 확인합니다.

# crm_mon -A1

다음과 비슷한 출력이 표시됩니다.

RHEL 8.0 이상

Cluster Summary:
Stack: corosync
Current DC: hana-ha-2w1 (version 2.0.5-9.el8_4.7-ba59be7122) - partition with quorum
Last updated: Wed Oct 11 17:59:51 2023
Last change:  Wed Oct 11 17:59:48 2023 by hacluster via crmd on hana-ha-2
5 nodes configured
17 resource instances configured

Node List:
Online: [ hana-ha-1 hana-ha-1w1 hana-ha-2 hana-ha-2w1 dru-somm ]

Active Resources:
STONITH-hana-ha-1     (stonith:fence_gce):     Started hana-ha-2
STONITH-hana-ha-1w1   (stonith:fence_gce):     Started hana-ha-1
STONITH-hana-ha-2     (stonith:fence_gce):     Started hana-ha-2w1
STONITH-hana-ha-2w1   (stonith:fence_gce):     Started dru-somm
STONITH-dru-somm    (stonith:fence_gce):     Started hana-ha-1
Clone Set: SAPHanaTopology_HA1_00-clone [SAPHanaTopology_HA1_00]:
 Started: [ hana-ha-1 hana-ha-1w1 hana-ha-2 hana-ha-2w1 ]
Clone Set: SAPHana_HA1_00-clone [SAPHana_HA1_00]-(promotable):
 Slaves: [ hana-ha-1w1 hana-ha-2w1 ]
Resource Group: g-primary:
 healthcheck_HA1   (service:haproxy):       Started hana-ha-1
 ip_SAPHANA_HA1_00 (ocf::heartbeat:IPaddr2):        Started hana-ha-1

Node Attributes:
Node: hana-ha-1:
 hana_ha1_clone_state              : PROMOTED
 hana_ha1_gra                      : 2.0
 hana_ha1_remoteHost               : hana-ha-2w1
 hana_ha1_roles                    : master1:master:worker:master
 hana_ha1_site                     : hana-ha-1
 hana_ha1_sra                      : -
 hana_ha1_srmode                   : syncmem
 hana_ha1_vhost                    : hana-ha-1
 master-SAPHana_HA1_00             : 5
Node: hana-ha-1w1:
 hana_ha1_clone_state              : DEMOTED
 hana_ha1_gra                      : 2.0
 hana_ha1_remoteHost               : hana-ha-2w1
 hana_ha1_roles                    : slave:slave:worker:slave
 hana_ha1_site                     : hana-ha-1
 hana_ha1_srmode                   : syncmem
 hana_ha1_vhost                    : hana-ha-1w1
 master-SAPHana_HA1_00             : -INFINITY
Node: hana-ha-2:
 hana_ha1_clone_state              : DEMOTED
 hana_ha1_gra                      : 2.0
 hana_ha1_remoteHost               : hana-ha-1w1
 hana_ha1_roles                    : master1:master:worker:master
 hana_ha1_site                     : hana-ha-2
 hana_ha1_sra                      : -
 hana_ha1_srmode                   : syncmem
 hana_ha1_vhost                    : hana-ha-2
 master-SAPHana_HA1_00             : 100
Node: hana-ha-2w1:
 hana_ha1_clone_state              : DEMOTED
 hana_ha1_gra                      : 2.0
 hana_ha1_remoteHost               : hana-ha-1w1
 hana_ha1_roles                    : slave:slave:worker:slave
 hana_ha1_site                     : hana-ha-2
 hana_ha1_srmode                   : syncmem
 hana_ha1_vhost                    : hana-ha-2w1
 master-SAPHana_HA1_00             : -12200
Node: dru-somm:
 hana_ha1_remoteHost               : hana-ha-2w1
 hana_ha1_srmode                   : syncmem

RHEL 7.6 이상

Stack: corosync
Current DC: majority-maker (version 1.1.23-1.el7_9.1-9acf116022) - partition with quorum
Last updated: Wed Oct 11 17:58:07 2023
Last change: Wed Oct 11 17:57:57 2023 by hacluster via crmd on hana-ha-2w1

5 nodes configured
17 resource instances configured

Online: [ hana-ha-1 hana-ha-1w1 hana-ha-2 hana-ha-2w1 majority-maker ]

Active resources:

STONITH-hana-ha-1 (stonith:fence_gce):    Started hana-ha-1w1
STONITH-hana-ha-1w1       (stonith:fence_gce):    Started hana-ha-2
STONITH-hana-ha-2 (stonith:fence_gce):    Started hana-ha-1
STONITH-hana-ha-2w1       (stonith:fence_gce):    Started majority-maker
STONITH-majority-maker (stonith:fence_gce):    Started hana-ha-1w1
Master/Slave Set: msl_rsc_SAPHana_HA1_HDB00 [rsc_SAPHana_HA1_HDB00]
 rsc_SAPHana_HA1_HDB00      (ocf::heartbeat:SAPHanaController):     Master hana-ha-1 (Monitoring)
 Slaves: [ hana-ha-1w1 hana-ha-2 hana-ha-2w1 ]
Clone Set: rsc_SAPHanaTopology_HA1_HDB00-clone [rsc_SAPHanaTopology_HA1_HDB00]
 Started: [ hana-ha-1 hana-ha-1w1 hana-ha-2 hana-ha-2w1 ]
Resource Group: g-primary
 hc_HA1_HDB00       (service:haproxy):      Started hana-ha-1
 rsc_ip_SAPHANA_HA1_HDB00   (ocf::heartbeat:IPaddr2):       Started hana-ha-1

Node Attributes:
Node hana-ha-1:
  hana_ha1_clone_state              : PROMOTED
  hana_ha1_remoteHost               : hana-ha-2
  hana_ha1_roles                    : master1:master:worker:master
  hana_ha1_site                     : hana-ha-1
  hana_ha1_srmode                   : syncmem
  hana_ha1_vhost                    : hana-ha-1
  master-rsc_SAPHana_HA1_HDB00      : 150
Node hana-ha-1w1:
  hana_ha1_clone_state              : DEMOTED
  hana_ha1_remoteHost               : hana-ha-2w1
  hana_ha1_roles                    : slave:slave:worker:slave
  hana_ha1_site                     : hana-ha-1
  hana_ha1_srmode                   : syncmem
  hana_ha1_version                  : 2.00.052.00.1599235305
  hana_ha1_vhost                    : hana-ha-1w1
  master-rsc_SAPHana_HA1_HDB00      : -10000
Node hana-ha-2:
  hana_ha1_clone_state              : DEMOTED
  hana_ha1_remoteHost               : hana-ha-2w1
  hana_ha1_roles                    : master1:master:worker:master
  hana_ha1_site                     : hana-ha-2
  hana_ha1_srmode                   : syncmem
  hana_ha1_vhost                    : hana-ha-2
  master-rsc_SAPHana_HA1_HDB00      : 100
Node hana-ha-2w1:
  hana_ha1_clone_state              : DEMOTED
  hana_ha1_remoteHost               : hana-ha-1
  hana_ha1_roles                    : slave:slave:worker:slave
  hana_ha1_site                     : hana-ha-2
  hana_ha1_srmode                   : syncmem
  hana_ha1_vhost                    : hana-ha-2w1
  master-rsc_SAPHana_HA1_HDB00      : -12200
Node majority-maker:
  hana_ha1_srmode                   : syncmem

실패한 클러스터 리소스가 있으면 다음 명령어를 실행해야 할 수 있습니다.
```
pcs resource cleanup
```

장애 조치 테스트

기본 호스트에서 장애를 시뮬레이션하여 클러스터를 테스트할 수 있습니다. 사용할 시스템을 출시하기 전에 테스트 시스템을 사용하거나 프로덕션 시스템에서 테스트를 실행합니다.

테스트 전에 시스템을 백업합니다.

다음과 같은 다양한 방법으로 장애를 시뮬레이션할 수 있습니다.

HDB stop
HDB kill
reboot(활성 노드에서)
단일 네트워크 인터페이스가 있는 인스턴스의 경우 ip link set eth0 down
다중 네트워크 인터페이스가 있는 인스턴스의 경우 iptables ... DROP
echo c > /proc/sysrq-trigger

이 안내에서는 ip link set eth0 down 또는 iptables를 사용하여 클러스터의 두 호스트 간의 네트워크 중단을 시뮬레이션합니다. 단일 네트워크 인터페이스가 있는 인스턴스에서는 ip link 명령어를 사용하고 네트워크 인터페이스가 한 개 이상 있는 인스턴스에서는 iptables 명령어를 사용합니다. 이 테스트는 장애 조치와 펜싱의 유효성을 모두 확인합니다. 인스턴스에 다중 네트워크 인터페이스가 정의된 경우 보조 호스트에서 iptables 명령어를 사용하여 클러스터 통신의 기본 호스트에 사용되는 IP를 기반으로 수신 및 발신 트래픽을 삭제합니다. 기본 호스트에 대한 네트워크 연결 손실을 시뮬레이션합니다.

활성 호스트에서 루트로 네트워크 인터페이스를 오프라인으로 전환합니다.
```
# ip link set eth0 down
```
또는 다중 네트워크 인터페이스가 활성 상태인 경우 보조 호스트에서 iptables를 사용합니다.
```
# iptables -A INPUT -s PRIMARY_CLUSTER_IP -j DROP; iptables -A OUTPUT -d PRIMARY_CLUSTER_IP -j DROP
```
SSH를 사용하여 두 호스트 중 하나에 다시 연결하고 루트 사용자로 변경합니다.

pcs status를 입력하여 보조 호스트를 포함했던 VM에서 지금 기본 호스트가 활성 상태임을 확인합니다. 다음 예시와 같이 클러스터에 자동으로 다시 시작이 사용 설정되어 있으므로 중지된 호스트가 다시 시작되고 보조 호스트 역할을 할당합니다.

Cluster name: hana-ha-cluster
Stack: corosync
Current DC: hana-ha-vm-2 (version 1.1.19-8.el7_6.5-c3c624ea3d) - partition with quorum
Last updated: Wed Jun 17 01:04:36 2020
Last change: Wed Jun 17 01:03:58 2020 by root via crm_attribute on hana-ha-vm-2

2 nodes configured
8 resources configured

Online: [ hana-ha-vm-1 hana-ha-vm-2 hana-ha-vm-1w1 hana-ha-vm-2w1]

Full list of resources:

STONITH-hana-ha-vm-1   (stonith:fence_gce):    Started hana-ha-vm-2
STONITH-hana-ha-vm-2   (stonith:fence_gce):    Started hana-ha-vm-1
STONITH-hana-ha-vm-1w1   (stonith:fence_gce):    Started hana-ha-vm-2w1
STONITH-hana-ha-vm-1w1   (stonith:fence_gce):    Started hana-ha-vm-mm
STONITH-hana-ha-vm-mm   (stonith:fence_gce):    Started hana-ha-vm-1w1
Clone Set: SAPHanaTopology_HA1_22-clone [SAPHanaTopology_HA1_22]
    Started: [ hana-ha-vm-1 hana-ha-vm-2 hana-ha-vm-1w1 hana-ha-vm-2w1
    Stopped: [ hana-ha-vm-mm ] ]
Master/Slave Set: SAPHana_HA1_22-master [SAPHana_HA1_22]
    Masters: [ hana-ha-vm-2 ]
    Slaves: [ hana-ha-vm-1 hana-ha-vm-1w1 hana-ha-vm-2w1
    Stopped: [ hana-ha-vm-mm ] ]
Resource Group: g-primary
    rsc_healthcheck_HA1        (service:haproxy):      Started hana-ha-vm-2
    rsc_vip_HA1_22     (ocf::heartbeat:IPaddr2):       Started hana-ha-vm-2

Daemon Status:
 corosync: active/enabled
 pacemaker: active/enabled
 pcsd: active/enabled

문제 해결하기

RHEL 기반 SAP HANA의 고가용성 구성 문제를 해결하려면 SAP의 고가용성 구성 문제 해결을 참조하세요.

RHEL 기반 SAP HANA 지원 받기

RHEL 기반 SAP HANA의 고가용성 클러스터 문제를 해결하는 데 도움이 필요하면 필요한 진단 정보를 수집하고 Cloud Customer Care에 문의하세요. 자세한 내용은 RHEL의 고가용성 클러스터 진단 정보를 참조하세요.

지원

Google Cloud 인프라 또는 서비스 관련 문제인 경우 고객 관리에 문의하세요. Google Cloud 콘솔의 지원 개요 페이지에서 연락처 정보를 확인할 수 있습니다. 고객 관리에서 SAP 시스템에 문제가 있다고 판단하면 SAP 지원으로 지원을 요청하세요.

SAP 제품 관련 문제가 발생하면 SAP 지원으로 지원을 요청하세요. SAP는 지원 티켓을 평가하고 Google Cloud 인프라 문제로 판단되면 티켓을 Google Cloud 구성요소 BC-OP-LNX-GOOGLE 또는 BC-OP-NT-GOOGLE로 전송합니다.

지원 요구사항

SAP 시스템과 사용 중인 Google Cloud 인프라 및 서비스에 대한 지원을 받으려면 최소 지원 요금제 요구사항을 충족해야 합니다.

Google Cloud 기반 SAP에 대한 최소 지원 요구사항에 대한 상세 설명은 다음을 참조하세요.

Google Cloud 기반 SAP 지원 받기
SAP Note 2456406 - SAP on Google Cloud Platform: Support Prerequisites(SAP 사용자 계정이 필요함)

SAP HANA에 연결

호스트 VM에 SAP HANA용 외부 IP 주소가 없으면 SSH를 사용하는 배스천 인스턴스를 통해 또는 SAP HANA Studio를 사용하는 Windows 서버를 통해서만 SAP HANA 인스턴스에 연결할 수 있습니다.

배스천 인스턴스를 통해 SAP HANA에 연결하려면 배스천 호스트에 연결한 다음 원하는 SSH 클라이언트를 사용하여 SAP HANA 인스턴스에 연결합니다.
SAP HANA Studio를 통해 SAP HANA 데이터베이스에 연결하려면 원격 데스크톱 클라이언트를 사용하여 Windows Server 인스턴스에 연결합니다. 연결 후 수동으로 SAP HANA Studio를 설치하고 SAP HANA 데이터베이스에 액세스합니다.

배포 후 작업

배포를 마치면 다음 단계를 완료합니다.

SAP HANA 시스템 관리자와 데이터베이스 수퍼유저의 임시 비밀번호를 변경합니다. 예를 들면 다음과 같습니다.
```
sudo passwd SID_LCadm
```
SAP 비밀번호 변경에 대한 상세 설명은 시스템 데이터베이스의 SYSTEM 사용자 비밀번호 재설정을 참조하세요.
SAP HANA 인스턴스를 사용하기 전에 새 SAP HANA 데이터베이스를 구성하고 백업합니다.
SAP HANA 시스템이 VirtIO 네트워크 인터페이스에 배포된 경우 TCP 매개변수 /proc/sys/net/ipv4/tcp_limit_output_bytes 값이 1048576으로 설정되어 있는지 확인하는 것이 좋습니다. 이러한 수정은 네트워크 지연 시간에 영향을 주지 않으면서 VirtIO 네트워크 인터페이스에서 전체적인 네트워크 처리량을 향상시키는 데 도움이 됩니다.

자세한 내용은 다음을 참고하세요.

다음 단계

자세한 내용은 다음 리소스를 참조하세요.

Google Compute Cloud에 Red Hat Enterprise Linux 7.6 이상의 고가용성 클러스터 설치 및 구성
Pacemaker 클러스터에서 수직 확장 시 SAP HANA 시스템 복제 자동화
RHEL 고가용성 클러스터의 지원 정책 - 펜싱/STONITH의 일반 요구사항
SAP HANA 고가용성 계획 가이드
SAP HANA 재해 복구 계획 가이드
VM 관리와 모니터링에 대한 자세한 내용은 SAP HANA 작업 가이드를 참조하세요.

RHEL 기반 SAP HANA용 HA 수평 확장 클러스터 구성 가이드

이 가이드에서 배포하는 시스템

기본 요건

네트워크 만들기

NAT 게이트웨이 설정

방화벽 규칙 추가

VM 및 SAP HANA 배포

HANA HA 시스템 배포 확인

로그 확인

로그 탐색기

기존 로그 뷰어

SAP HANA 설치 및 VM의 구성 확인

배포 삭제 및 재시도

SAP용 Google Cloud 에이전트 설치 검증

SAP용 Google Cloud 에이전트가 실행 중인지 확인

SAP 호스트 에이전트가 측정항목을 수신하는지 확인

SAP HANA 모니터링 설정

(선택사항) 스크립트 자동화를 위한 인스턴스 목록 만들기

비밀번호 없는 SSH 액세스 설정

수동 단계

자동 단계

SAP HANA 자동 시작 중지

수동 단계

자동 단계

SAP HANA 빠른 다시 시작 사용 설정

수동 단계

tmpfs 파일 시스템 구성

VM의 NUMA 토폴로지 표시

NUMA 노드 디렉터리 만들기

NUMA 노드 디렉터리를 tmpfs에 마운트

/etc/fstab 업데이트

선택사항: 메모리 사용량 한도 설정

빠른 다시 시작을 위한 SAP HANA 구성

global.ini 파일에서 [persistence] 섹션 업데이트

영구 메모리에 저장할 테이블 지정

자동 단계

자동 단계

데이터베이스 백업

SAP HANA 시스템 복제 사용 설정

시스템 복제 유효성 검사

SAP HANA HA/DR 제공업체 후크 사용 설정

Cloud Load Balancing 장애 조치 지원 구성

가상 IP의 IP 주소 예약

호스트 VM의 인스턴스 그룹 만들기

Compute Engine 상태 확인 만들기

상태 확인에 사용할 방화벽 규칙 만들기

부하 분산기 및 장애 조치 그룹 구성

부하 분산기 구성 테스트

socat 유틸리티로 부하 분산기 테스트

포트 22를 사용하여 부하 분산기 테스트

Pacemaker 설정

수동 단계

자동 단계

/etc/hosts 파일 업데이트

클러스터 만들기

RHEL 8.0 이상

RHEL 7.6 이상

RHEL 8.0 이상

RHEL 7.6 이상

corosync.conf 기본 설정 수정

RHEL 8 이상

RHEL 7

Corosync 재시작 지연 설정

수동 단계

자동 단계

펜싱 설정

수동 단계

자동 단계

클러스터 기본값 설정

RHEL 8.0 이상

RHEL 7.6 이상

RHEL 8.0 이상

RHEL 7.6 이상

SAPHanaTopology 리소스 만들기

RHEL 8.0 이상

RHEL 7.6 이상

RHEL 8.0 이상

RHEL 7.6 이상

SAPHanaController 리소스 만들기

RHEL 8.0 이상

`tmpfs` 파일 시스템 구성

NUMA 노드 디렉터리를 `tmpfs`에 마운트

`/etc/fstab` 업데이트

`global.ini` 파일에서 `[persistence]` 섹션 업데이트

`socat` 유틸리티로 부하 분산기 테스트

`SAPHanaTopology` 리소스 만들기

`SAPHanaController` 리소스 만들기