이 페이지는 Cloud Translation API를 통해 번역되었습니다.

RHEL 기반 SAP MaxDB용 HA 클러스터 구성 가이드

이 가이드에서는 Google Cloud의 Red Hat Enterprise Linux (RHEL) 고가용성 클러스터에 활성/패시브 클러스터 구성을 사용하여 SAP MaxDB 시스템을 배포하는 방법을 보여줍니다.

Linux에 단일 노드 SAP MaxDB 시스템을 배포하려면 SAP MaxDB 배포 가이드를 사용하세요.

이 가이드는 SAP 시스템용 Linux HA 구성에 익숙한 SAP MaxDB 고급 사용자를 대상으로 합니다.

이 가이드에서 배포하는 시스템

이 가이드에는 다음을 수행하는 단계가 포함되어 있습니다.

장애가 발생할 경우 트래픽을 다시 라우팅하도록 내부 패스 스루 네트워크 부하 분산기 구성
장애 조치 중에 SAP 시스템과 기타 리소스를 관리하도록 RHEL에서 Pacemaker 클러스터 구성

배포된 클러스터에는 다음 기능과 특징이 포함됩니다.

SAP MaxDB 인스턴스를 실행할 수 있는 서로 다른 영역에 있는 Compute Engine VM 2대
SAP MaxDB 설치를 위한 리전 Persistent Disk
Pacemaker 고가용성 클러스터 리소스 관리자
STONITH 펜싱 메커니즘

이 가이드에서는 SAP NetWeaver의 고가용성 설치를 다루지 않습니다.

기본 요건

SAP MaxDB 고가용성 클러스터를 만들기 전에 다음 기본 요건을 충족하는지 확인하세요.

SAP MaxDB 계획 가이드를 읽었습니다.
Red Hat 구독이 있습니다.
사용자 또는 사용자의 조직에 Google Cloud 계정이 있어야 하고 SAP MaxDB 배포를 위한 프로젝트를 만들어야 합니다.
데이터 상주, 액세스 제어, 지원 담당자 또는 규제 요건에 따라 SAP 워크로드를 실행해야 하는 경우 필요한 Assured Workloads 폴더를 만들어야 합니다. 자세한 내용은 Google Cloud에서 SAP를 위한 규정 준수 및 주권 제어를 참고하세요.
프로젝트 메타데이터에 OS 로그인이 사용 설정되면 배포가 완료될 때까지 OS 로그인을 일시적으로 중지해야 합니다. 이 절차는 배포 목적으로 인스턴스 메타데이터에 SSH 키를 구성합니다. OS 로그인이 사용 설정되면 메타데이터 기반 SSH 키 구성이 사용 중지되고 이 배포가 실패합니다. 배포가 완료되면 OS 로그인을 다시 사용 설정할 수 있습니다.

자세한 내용은 다음을 참고하세요.
- OS 로그인 사용 설정 또는 사용 중지
- 메타데이터 기반 SSH 키를 사용하는 VM에 SSH 키 추가

네트워크 만들기

보안 문제로 새 네트워크를 만들어야 합니다. 방화벽 규칙을 추가하거나 다른 액세스 제어 방법을 사용하여 액세스 권한이 있는 사용자를 제어할 수 있습니다.

프로젝트에 기본 VPC 네트워크가 있더라도 사용하지 마세요. 명시적으로 직접 만든 방화벽 규칙만 적용되도록 VPC 네트워크를 직접 만드시기 바랍니다.

배포 중에 VM 인스턴스는 일반적으로 Google Cloud의 SAP용 에이전트를 다운로드하기 위해 인터넷에 액세스할 수 있어야 합니다. Google Cloud에서 제공하는 SAP 인증 Linux 이미지 중 하나를 사용하는 경우 VM 인스턴스도 라이선스를 등록하고 OS 공급업체 저장소에 액세스하기 위해 인터넷에 액세스할 수 있어야 합니다. NAT 게이트웨이 및 VM 네트워크 태그가 있는 구성은 대상 VM에 외부 IP가 없더라도 이러한 액세스를 지원합니다.

네트워킹을 설정하는 방법은 다음과 같습니다.

콘솔

Google Cloud 콘솔에서 VPC 네트워크 페이지로 이동합니다.
VPC 네트워크로 이동
VPC 네트워크 만들기를 클릭합니다.
네트워크의 이름을 입력합니다.
이름은 이름 지정 규칙을 준수해야 합니다. VPC 네트워크는 Compute Engine 이름 지정 규칙을 사용합니다.
서브넷 생성 모드에서 커스텀을 선택합니다.
새 서브넷 섹션에서 서브넷에 다음 구성 매개변수를 지정합니다.
1. 서브넷 이름을 입력합니다.
2. 리전에서 서브넷을 만들 Compute Engine 리전을 선택합니다.
3. IP 스택 유형에서 IPv4(단일 스택)를 선택한 다음 CIDR 형식의 IP 주소 범위(예: 10.1.0.0/24)를 입력합니다.
  이 범위는 서브넷의 기본 IPv4 범위입니다. 서브네트워크를 한 개 넘게 추가하려는 경우 네트워크의 각 서브네트워크에 서로 겹치지 않는 CIDR IP 범위를 할당하세요. 각 서브네트워크 및 내부 IP 범위는 단일 리전에 매핑됩니다.
4. 완료를 클릭합니다.
서브넷을 추가하려면 서브넷 추가를 클릭하고 이전 단계를 반복합니다. 네트워크를 만든 후에 네트워크에 서브넷을 더 추가할 수 있습니다.
만들기를 클릭합니다.

gcloud

Cloud Shell로 이동합니다.
Cloud Shell로 이동
커스텀 서브네트워크 모드에서 새 네트워크를 만들려면 다음을 실행합니다.
```
gcloud compute networks create NETWORK_NAME --subnet-mode custom
```
NETWORK_NAME을 새 네트워크 이름으로 바꿉니다. 이름은 이름 지정 규칙을 준수해야 합니다. VPC 네트워크는 Compute Engine 이름 지정 규칙을 사용합니다.

각 Compute Engine 리전에 서브넷을 자동으로 만드는 기본 자동 모드를 사용하지 않으려면 --subnet-mode custom을 지정합니다. 자세한 내용은 서브넷 생성 모드를 참조하세요.
서브네트워크를 만들고 리전 및 IP 범위를 지정합니다.
```
gcloud compute networks subnets create SUBNETWORK_NAME \
    --network NETWORK_NAME --region REGION --range RANGE
```
다음을 바꿉니다.
- SUBNETWORK_NAME: 새 서브네트워크의 이름입니다.
- NETWORK_NAME: 이전 단계에서 만든 네트워크의 이름입니다.
- REGION: 서브네트워크가 위치할 리전입니다.
- RANGE: CIDR 형식으로 지정된 IP 주소 범위(예: 10.1.0.0/24)입니다.
  서브네트워크를 한 개 넘게 추가하려는 경우 네트워크의 각 서브네트워크에 서로 겹치지 않는 CIDR IP 범위를 할당하세요. 각 서브네트워크 및 내부 IP 범위는 단일 리전에 매핑됩니다.
필요한 경우 이전 단계를 반복하고 서브네트워크를 추가합니다.

NAT 게이트웨이 설정

공개 IP 주소가 없는 VM을 하나 이상 만들어야 하는 경우 네트워크 주소 변환(NAT)을 사용하여 VM이 인터넷에 액세스하도록 설정해야 합니다. VM이 인터넷에 아웃바운드 패킷을 보내고 그에 따라 설정된 인바운드 응답 패킷을 받을 수 있도록 하는 Google Cloud 분산 소프트웨어 정의 관리형 서비스인 Cloud NAT를 사용하세요. 또는 별도의 VM을 NAT 게이트웨이로 설정할 수 있습니다.

프로젝트에 Cloud NAT 인스턴스를 만들려면 Cloud NAT 사용을 참조하세요.

프로젝트에 Cloud NAT를 구성하면 VM 인스턴스가 공개 IP 주소 없이 인터넷에 안전하게 액세스할 수 있습니다.

방화벽 규칙 추가

묵시적인 방화벽 규칙은 Virtual Private Cloud(VPC) 네트워크 외부에서 들어오는 연결을 차단하는 것이 기본 설정되어 있습니다. 들어오는 연결을 허용하려면 VM에 방화벽 규칙을 설정합니다. VM에 들어오는 연결이 설정되면 이 연결을 통한 양방향 트래픽이 허용됩니다.

또한 동일한 네트워크에서 지정된 포트에 대한 외부 액세스를 허용하거나 VM 간 액세스를 제한하는 방화벽 규칙을 만들 수 있습니다. default VPC 네트워크 유형이 사용되는 경우 모든 포트에서 동일한 네트워크에 있는 VM 간의 연결을 허용하는 default-allow-internal 규칙과 같은 일부 기본 규칙도 추가로 적용됩니다.

사용자 환경에 적용 가능한 IT 정책 마다 다를 수 있지만, 방화벽 규칙 생성을 통해 데이터베이스 호스에 대한 연결을 격리하거나 제한해야 할 수도 있습니다.

시나리오에 따라 다음에 대한 액세스를 허용하는 방화벽 규칙을 만들 수 있습니다.

모든 SAP 제품의 TCP/IP에 나열된 기본 SAP 포트
사용자 컴퓨터 또는 기업 네트워크 환경에서 Compute Engine VM 인스턴스에 연결. 사용할 IP 주소를 모르는 경우 회사의 네트워크 관리자에게 문의하세요.

방화벽 규칙을 만들려면 다음 안내를 따르세요.

콘솔

Google Cloud 콘솔에서 Compute Engine 방화벽 페이지로 이동합니다.

방화벽으로 이동
페이지 상단에서 방화벽 규칙 만들기를 클릭합니다.
- 네트워크 필드에서 VM이 위치하는 네트워크를 선택합니다.
- 대상 필드에 이 규칙이 적용되는 Google Cloud의 리소스를 지정합니다. 예를 들어 네트워크의 모든 인스턴스를 지정합니다. 또는 규칙을 Google Cloud의 특정 인스턴스로 제한하려면 지정된 대상 태그에 태그를 입력합니다.
- 소스 필터 필드에서 다음 중 하나를 선택합니다.
  - 특정 IP 주소에서 들어오는 트래픽을 허용하려면 IP 범위를 선택합니다. 소스 IP 범위 필드에 IP 주소 범위를 지정합니다.
  - 특정 서브네트워크에서 들어오는 트래픽을 허용하려면 서브넷을 선택합니다. 다음 서브넷 필드에 서브네트워크 이름을 지정합니다. 이 옵션을 사용하면 3계층 또는 수평 확장 구성의 VM 간에 액세스를 허용할 수 있습니다.
- 프로토콜 및 포트 섹션에서 지정된 프로토콜 및 포트를 선택하고 tcp:PORT_NUMBER를 입력합니다.
만들기를 클릭하여 방화벽 규칙을 만듭니다.

gcloud

다음 명령어를 사용하여 방화벽 규칙을 만듭니다.

$ gcloud compute firewall-rules create firewall-name
--direction=INGRESS --priority=1000 \
--network=network-name --action=ALLOW --rules=protocol:port \
--source-ranges ip-range --target-tags=network-tags

VM 배포 및 MaxDB 설치

HA 클러스터 구성을 시작하기 전에 HA 클러스터에서 기본 노드와 보조 노드 역할을 할 VM 인스턴스와 SAP MaxDB 시스템을 정의하고 배포합니다.

MaxDB 배포용 VM 만들기

HA 배포의 일환으로 두 개의 Google Cloud Compute Engine VM을 만들어야 합니다. Compute Engine 인스턴스 만들기 및 시작 가이드를 참고하세요.

리전 영구 디스크는 E2, N1, N2, N2D 머신 유형만 지원합니다. 자세한 내용은 리전 영구 디스크 가이드를 참고하세요.

크기에 따라 적절한 머신 유형을 선택하려면 SAP 참고 2456432 - Google Cloud: 지원되는 제품 및 Google Cloud 머신 유형을 참고하세요.

다음과 같은 최소 요구사항을 사용하여 영역 내 복원력을 달성하기 위해 별도의 영역에 두 개의 VM을 만듭니다.

VM 세부정보:
- Instance Name
- Zone - 선호하는 영역
- Machine Type - 크기 기반
- Subnet - 이 리전에서 생성된 서브넷 이름
다음 API에 대한 액세스 범위가 하나 이상 있는 서비스 계정:
- https://www.googleapis.com/auth/compute
- https://www.googleapis.com/auth/servicecontrol
- https://www.googleapis.com/auth/service.management.readonly
- https://www.googleapis.com/auth/logging.write
- https://www.googleapis.com/auth/monitoring.write
- https://www.googleapis.com/auth/trace.append
- https://www.googleapis.com/auth/devstorage.read_write
/usr/sap에 사용할 각 VM의 추가 디스크(최소 20GB)

SAP MaxDB용 단일 리전 디스크 만들기

이 배포에서는 /sapdb 디렉터리 내에 MaxDB 파일을 보관하는 데 리전 디스크 1개가 사용됩니다.

디스크를 만들고 리전 디스크의 복제 영역이 두 VM을 만든 영역과 일치하는지 확인합니다.

MaxDB 설치 및 구성 작업을 실행할 VM 중 하나에 리전 디스크를 연결합니다.

SAP 설치를 위한 RHEL OS 준비

SAP 제품을 사용하려면 특정 운영체제 설정 및 패키지를 설치해야 합니다. SAP 참고: 2772999 - Red Hat Enterprise Linux 8.x: 설치 및 구성의 가이드라인을 따르세요 .

이 작업은 두 노드 모두에서 실행해야 합니다.

파일 시스템 만들기

SSH를 사용하여 두 인스턴스에 연결하고 /usr/sap/SID 및 /sapdb 마운트 지점을 만듭니다.
```
# sudo mkdir -p /usr/sap/SID
# sudo mkdir -p /sapdb
```
mkfs를 사용하여 VM에 연결된 두 개의 추가 디스크에 파일 시스템을 만듭니다.

이때 리전 디스크는 VM 중 하나에만 연결되므로 /sapdb 파일 시스템은 한 번만 생성됩니다.
두 노드에서 재부팅 시 항상 /usr/sap/SID를 마운트하도록 /etc/fstab 파일을 수정합니다.
MaxDB 설치를 실행할 노드에 /sapdb 파일 시스템을 수동으로 마운트합니다.

파일 시스템 만들기 및 마운트에 관한 자세한 내용은 Linux VM에서 비부팅 디스크 포맷 및 마운트 가이드를 참고하세요.

LVM 구성 수정

공유 볼륨 그룹 (VG)이 항상 하나의 노드에만 연결되고 액세스할 수 있도록 논리 볼륨 관리 (LVM) 구성을 수정해야 합니다.

이렇게 하려면 두 노드 모두에서 다음 단계를 실행합니다.

루트로 /etc/lvm/lvm.conf 파일을 수정하고 system_id_source 값을 none에서 uname로 수정합니다.

결과를 확인합니다.

# grep -i system_id_source /etc/lvm/lvm.conf

다음과 유사한 출력이 표시됩니다.

# Configuration option global/system_id_source.
        system_id_source = "uname"

또한 노드가 재부팅될 때 VM이 클러스터 관리 VG를 활성화하지 못하도록 하려면 /etc/lvm/lvm.conf 구성 파일에서 클러스터에서 관리하지 않는 전체 VG 이름을 쉼표로 구분하여 다음 매개변수를 유지합니다.

참고: 기본적으로 이 파일에는 유지되는 값이 없으므로 auto_activation_volume_list 매개변수의 사용을 설명하는 섹션으로 이동하여 수동으로 추가해야 합니다.

예를 들어 usrsap가 클러스터에서 관리하지 않는 VG 이름인 경우:
```
auto_activation_volume_list = [ usrsap ]
```
예를 들어 클러스터에서 관리하지 않는 VG가 없는 경우 이 매개변수를 빈 값으로 추가해야 합니다.
```
auto_activation_volume_list = [  ]
```

데이터베이스 및 SAP 호스트 에이전트 설치

이제 운영체제가 구성되었으므로 SAP MaxDB 데이터베이스와 SAP 호스트 에이전트를 설치할 수 있습니다. 일반적으로 MaxDB는 통합된 SAP 제품과 함께 설치됩니다.

설치는 리전 영구 디스크를 연결한 인스턴스에서만 한 번만 실행됩니다.

VM에 SAP MaxDB를 설치하려면 다음 안내를 따르세요.

Linux 기반 VM에 SSH로 연결을 설정합니다.
SAP 설치 가이드에 따라 SAP Software Provisioning Manager(SWPM), SAP 제품 설치 미디어, MaxDB 설치 미디어를 다운로드합니다.
SAP 제품의 SAP 설치 가이드에 따라 SAP 제품과 SAP MaxDB 데이터베이스를 설치합니다. 자세한 안내는 SAP MaxDB 문서를 참조하세요.

SAP는 SAP Note 1020175 - FAQ: SAP MaxDB installation, upgrade or applying a patch에서 추가적인 설치 정보를 제공합니다.

설치가 완료되면 다음 유효성 검사를 실행합니다.

sidadm 사용자로 MaxDB 상태를 확인합니다.

# dbmcli -d  SID -u control,password db_state

다음과 비슷한 출력이 표시됩니다.

>dbmcli -d  MDB -u control, my_p4$$w0rd db_state
OK
State
ONLINE

x_server의 상태도 확인합니다.

# x_server

다음과 비슷한 출력이 표시됩니다.

>x_server
2024-10-23 19:01:43 11968 19744 INF  12916          Found running XServer on port 7200
2024-10-23 19:01:43 11968 19744 INF  13011            version 'U64/LIX86 7.9.10   Build 004-123-265-969'
2024-10-23 19:01:43 11968 19744 INF  13010            installation MDB  - path: /sapdb/MDB/db
2024-10-23 19:01:45 11971 13344 INF  12916          Found running sdbgloballistener on port 7210
2024-10-23 19:01:45 11971 13344 INF  13011            version 'U64/LIX86 7.9.10   Build 004-123-265-969'

SAP 호스트 에이전트가 실행 중인지 확인합니다.

# ps -ef | grep -i hostctrl

다음과 비슷한 출력이 표시됩니다.

>ps -ef | grep -i hostctrl
root      1543     1  0 Oct18 ?        00:00:15 /usr/sap/hostctrl/exe/saphostexec pf=/usr/sap/hostctrl/exe/host_profile
sapadm    1550     1  0 Oct18 ?        00:03:00 /usr/sap/hostctrl/exe/sapstartsrv pf=/usr/sap/hostctrl/exe/host_profile -D
root      1618     1  0 Oct18 ?        00:03:48 /usr/sap/hostctrl/exe/saposcol -l -w60 pf=/usr/sap/hostctrl/exe/host_profile
mdbadm   12751 11261  0 19:03 pts/0    00:00:00 grep --color=auto -i hostctrl

설치가 확인되면 MaxDB 인스턴스와 x_server를 중지합니다.

# dbmcli -d SID -u control, and password db_offline
# x_server stop

설치 후 작업 수행

SAP MaxDB 인스턴스를 사용하기 전에 다음과 같은 배포 후 단계를 수행하는 것이 좋습니다.

SAP MaxDB 소프트웨어에 최신 패치가 있는 경우 지금 업데이트합니다.
추가 구성요소를 모두 설치합니다.
새 SAP MaxDB 데이터베이스를 구성하고 백업합니다.

자세한 내용은 SAP MaxDB Database Administration을 참조하세요.

SAP MaxDB 시스템이 성공적으로 배포되면 HA 클러스터를 정의하고 구성합니다.

Cloud Load Balancing 장애 조치 지원 구성

장애 조치를 지원하는 내부 패스 스루 네트워크 부하 분산기 서비스는 상태 점검 서비스를 기반으로 SAP MaxDB 클러스터의 활성 호스트로 트래픽을 라우팅합니다.

가상 IP의 IP 주소 예약

가상 IP(VIP) 주소(유동 IP 주소라고도 함)는 활성 SAP MaxDB 시스템을 따릅니다. 부하 분산기는 VIP로 전송된 트래픽을 활성 SAP MaxDB 시스템을 호스팅하는 VM으로 라우팅합니다.

Cloud Shell을 엽니다.

Cloud Shell로 이동
가상 IP의 IP 주소를 예약합니다. 애플리케이션이 SAP MaxDB에 액세스하는 데 사용하는 IP 주소입니다. --addresses 플래그를 생략하면 지정된 서브넷의 IP 주소가 자동으로 선택됩니다.
```
$ gcloud compute addresses create VIP_NAME \
  --region CLUSTER_REGION --subnet CLUSTER_SUBNET \
  --addresses VIP_ADDRESS
```
고정 IP를 예약하는 방법에 대한 상세 설명은 고정 내부 IP 주소 예약을 참조하세요.

IP 주소 예약을 확인합니다.

$ gcloud compute addresses describe VIP_NAME \
  --region CLUSTER_REGION

다음과 비슷한 출력이 표시됩니다.

address: 10.0.0.19
addressType: INTERNAL
creationTimestamp: '2024-10-23T14:19:03.109-07:00'
description: ''
id: '8961491304398200872'
kind: compute#address
name: vip-for-maxdb-ha
networkTier: PREMIUM
purpose: GCE_ENDPOINT
region: https://www.googleapis.com/compute/v1/projects/example-project-123456/regions/us-central1
selfLink: https://www.googleapis.com/compute/v1/projects/example-project-123456/regions/us-central1/addresses/vip-for-maxdb-ha
status: RESERVED
subnetwork: https://www.googleapis.com/compute/v1/projects/example-project-123456/regions/us-central1/subnetworks/example-subnet-us-central1

호스트 VM의 인스턴스 그룹 만들기

Cloud Shell에서 비관리형 인스턴스 그룹 두 개를 만들고 기본 호스트 VM을 한 인스턴스에, 보조 호스트 VM을 다른 인스턴스에 할당합니다.

$ gcloud compute instance-groups unmanaged create PRIMARY_IG_NAME \
  --zone=PRIMARY_ZONE
$ gcloud compute instance-groups unmanaged add-instances PRIMARY_IG_NAME \
  --zone=PRIMARY_ZONE \
  --instances=PRIMARY_HOST_NAME
$ gcloud compute instance-groups unmanaged create SECONDARY_IG_NAME \
  --zone=SECONDARY_ZONE
$ gcloud compute instance-groups unmanaged add-instances SECONDARY_IG_NAME \
  --zone=SECONDARY_ZONE \
  --instances=SECONDARY_HOST_NAME

인스턴스 그룹 생성을 확인합니다.

$ gcloud compute instance-groups unmanaged list

다음과 비슷한 출력이 표시됩니다.

NAME          ZONE           NETWORK          NETWORK_PROJECT        MANAGED  INSTANCES
maxdb-ha-ig-1  us-central1-a  example-network  example-project-123456 No       1
maxdb-ha-ig-2  us-central1-c  example-network  example-project-123456 No       1

Compute Engine 상태 확인 만들기

Cloud Shell에서 상태 확인을 만듭니다. 상태 확인에 사용되는 포트로, 다른 서비스와 충돌하지 않도록 비공개 범위 49152~65535에서 포트를 선택합니다. Compute Engine 라이브 마이그레이션 이벤트 중에 장애 조치 허용 범위를 늘리기 위해 확인 간격 및 제한 시간 값이 기본값보다 약간 더 깁니다. 필요한 경우 이러한 값을 조정할 수 있습니다.
```
$ gcloud compute health-checks create tcp HEALTH_CHECK_NAME --port=HEALTHCHECK_PORT_NUM \
  --proxy-header=NONE --check-interval=10 --timeout=10 --unhealthy-threshold=2 \
  --healthy-threshold=2
```

상태 확인 생성을 확인합니다.

$ gcloud compute health-checks describe HEALTH_CHECK_NAME

다음과 비슷한 출력이 표시됩니다.

checkIntervalSec: 10
creationTimestamp: '2023-10-23T21:03:06.924-07:00'
healthyThreshold: 2
id: '4963070308818371477'
kind: compute#healthCheck
name: maxdb-health-check
selfLink: https://www.googleapis.com/compute/v1/projects/example-project-123456/global/healthChecks/maxdb-health-check
tcpHealthCheck:
 port: 60000
 portSpecification: USE_FIXED_PORT
 proxyHeader: NONE
timeoutSec: 10
type: TCP
unhealthyThreshold: 2

상태 확인에 사용할 방화벽 규칙 만들기

Compute Engine 상태 확인 35.191.0.0/16 및 130.211.0.0/22에 사용되는 IP 범위에서 호스트 VM에 액세스할 수 있는 비공개 범위의 포트에 사용할 방화벽 규칙을 정의합니다. 자세한 내용은 상태 확인에 사용할 방화벽 규칙 만들기를 참조하세요.

아직 없으면 호스트 VM에 네트워크 태그를 추가합니다. 이 네트워크 태그는 방화벽 규칙에서 상태 확인을 위해 사용됩니다.

$ gcloud compute instances add-tags PRIMARY_HOST_NAME \
  --tags NETWORK_TAGS \
  --zone PRIMARY_ZONE
$ gcloud compute instances add-tags SECONDARY_HOST_NAME \
  --tags NETWORK_TAGS \
  --zone SECONDARY_ZONE

방화벽을 아직 만들지 않았으면 상태 확인을 허용하는 방화벽 규칙을 만듭니다.

$ gcloud compute firewall-rules create RULE_NAME \
  --network NETWORK_NAME \
  --action ALLOW \
  --direction INGRESS \
  --source-ranges 35.191.0.0/16,130.211.0.0/22 \
  --target-tags NETWORK_TAGS \
  --rules tcp:HLTH_CHK_PORT_NUM

예를 들면 다음과 같습니다.

gcloud compute firewall-rules create  fw-allow-health-checks \
--network example-network \
--action ALLOW \
--direction INGRESS \
--source-ranges 35.191.0.0/16,130.211.0.0/22 \
--target-tags cluster-ntwk-tag \
--rules tcp:60000

부하 분산기 및 장애 조치 그룹 구성

부하 분산기 백엔드 서비스를 만듭니다.

$ gcloud compute backend-services create BACKEND_SERVICE_NAME \
  --load-balancing-scheme internal \
  --health-checks HEALTH_CHECK_NAME \
  --no-connection-drain-on-failover \
  --drop-traffic-if-unhealthy \
  --failover-ratio 1.0 \
  --region CLUSTER_REGION \
  --global-health-checks

기본 인스턴스 그룹을 백엔드 서비스에 추가합니다.

$ gcloud compute backend-services add-backend BACKEND_SERVICE_NAME \
  --instance-group PRIMARY_IG_NAME \
  --instance-group-zone PRIMARY_ZONE \
  --region CLUSTER_REGION

보조 장애 조치 인스턴스 그룹을 백엔드 서비스에 추가합니다.

$ gcloud compute backend-services add-backend BACKEND_SERVICE_NAME \
  --instance-group SECONDARY_IG_NAME \
  --instance-group-zone SECONDARY_ZONE \
  --failover \
  --region CLUSTER_REGION

전달 규칙을 만듭니다. IP 주소에 VIP용으로 예약한 IP 주소를 지정합니다. 아래에 지정된 리전 외부에서 SAP MaxDB 시스템에 액세스해야 하는 경우에는 정의에 --allow-global-access 플래그를 포함하세요.
```
$ gcloud compute forwarding-rules create RULE_NAME \
  --load-balancing-scheme internal \
  --address VIP_ADDRESS \
  --subnet CLUSTER_SUBNET \
  --region CLUSTER_REGION \
  --backend-service BACKEND_SERVICE_NAME \
  --ports ALL
```
SAP MaxDB 고가용성 시스템에 대한 리전 간 액세스에 대한 자세한 내용은 내부 TCP/UDP 부하 분산을 참고하세요.

부하 분산기 구성 테스트

백엔드 인스턴스 그룹이 나중까지 정상으로 등록되지 않더라도 상태 확인에 응답하도록 리스너를 설정하여 부하 분산기 구성을 테스트할 수 있습니다. 리스너를 설정한 후 부하 분산기가 올바르게 구성되면 백엔드 인스턴스 그룹 상태가 정상으로 변경됩니다.

다음 섹션에서는 구성을 테스트하는 데 사용할 수 있는 다양한 방법을 보여줍니다.

`socat` 유틸리티로 부하 분산기 테스트

socat 유틸리티를 사용하여 상태 확인 포트에서 일시적으로 리슨할 수 있습니다.

두 호스트 VM 모두에 socat 유틸리티를 설치합니다.
```
$ sudo yum install -y socat
```
socat 프로세스를 시작하여 상태 확인 포트에서 60초 동안 리슨합니다.
```
$ sudo timeout 60s socat - TCP-LISTEN:HLTH_CHK_PORT_NUM,fork
```

Cloud Shell에서 상태 확인이 리스너를 감지할 때까지 몇 초 정도 기다린 후 백엔드 인스턴스 그룹 상태를 확인합니다.

$ gcloud compute backend-services get-health BACKEND_SERVICE_NAME \
  --region CLUSTER_REGION

다음과 비슷한 출력이 표시됩니다.

---
backend: https://www.googleapis.com/compute/v1/projects/example-project-123456/zones/us-central1-a/instanceGroups/maxdb-ha-ig-1
status:
 healthStatus:
 ‐ healthState: HEALTHY
   instance: https://www.googleapis.com/compute/v1/projects/example-project-123456/zones/us-central1-a/instances/maxdb-ha-vm-1
   ipAddress: 10.0.0.35
   port: 80
 kind: compute#backendServiceGroupHealth
---
backend: https://www.googleapis.com/compute/v1/projects/example-project-123456/zones/us-central1-c/instanceGroups/maxdb-ha-ig-2
status:
 healthStatus:
 ‐ healthState: HEALTHY
   instance: https://www.googleapis.com/compute/v1/projects/example-project-123456/zones/us-central1-c/instances/maxdb-ha-vm-2
   ipAddress: 10.0.0.34
   port: 80
 kind: compute#backendServiceGroupHealth

포트 22를 사용하여 부하 분산기 테스트

호스트 VM에서 SSH 연결용으로 포트 22가 열려 있으면 상태 확인기에 응답할 수 있는 리스너가 있는 포트 22를 사용하도록 상태 확인기를 임시로 수정할 수 있습니다.

포트 22를 일시적으로 사용하려면 다음 단계를 수행합니다.

콘솔에서 상태 확인을 클릭합니다.

상태 확인 페이지로 이동
수정을 클릭합니다.
포트 필드에서 포트 번호를 22로 변경합니다.
저장을 클릭하고 1~2분 정도 기다립니다.

Cloud Shell에서 백엔드 인스턴스 그룹 상태를 확인합니다.

$ gcloud compute backend-services get-health BACKEND_SERVICE_NAME \
  --region CLUSTER_REGION

다음과 비슷한 출력이 표시됩니다.

---
backend: https://www.googleapis.com/compute/v1/projects/example-project-123456/zones/us-central1-a/instanceGroups/maxdb-ha-ig-1
status:
 healthStatus:
 ‐ healthState: HEALTHY
   instance: https://www.googleapis.com/compute/v1/projects/example-project-123456/zones/us-central1-a/instances/maxdb-ha-vm-1
   ipAddress: 10.0.0.35
   port: 80
 kind: compute#backendServiceGroupHealth
---
backend: https://www.googleapis.com/compute/v1/projects/example-project-123456/zones/us-central1-c/instanceGroups/maxdb-ha-ig-2
status:
 healthStatus:
 ‐ healthState: HEALTHY
   instance: https://www.googleapis.com/compute/v1/projects/example-project-123456/zones/us-central1-c/instances/maxdb-ha-vm-2
   ipAddress: 10.0.0.34
   port: 80
 kind: compute#backendServiceGroupHealth

확인을 완료하면 상태 확인 포트 번호를 원래 포트 번호로 다시 변경합니다.

Pacemaker 설정

다음 절차에서는 SAP MaxDB용 Compute Engine VM에서 Pacemaker 클러스터의 Red Hat 구현을 구성합니다.

이 절차는 다음을 포함하여 고가용성 클러스터 구성용 Red Hat 문서를 바탕으로 합니다.

Google Cloud에 Red Hat Enterprise Linux 7.6 이상 고가용성 클러스터 설치 및 구성

두 노드 모두에 클러스터 에이전트 설치

두 노드 모두에서 다음 단계를 완료합니다.

루트로 Pacemaker 구성요소를 설치합니다.
```
# yum -y install pcs pacemaker fence-agents-gce resource-agents-gcp resource-agents-sap-hana
# yum update -y
```
Google에서 제공하는 SAP용 RHEL 이미지를 사용하는 경우 이 패키지가 이미 설치되어 있지만 일부 업데이트가 필요할 수 있습니다.
패키지의 일부로 설치된 hacluster 사용자의 비밀번호를 설정합니다.
```
# passwd hacluster
```
프롬프트에서 hacluster의 비밀번호를 지정합니다.
Google Cloud에서 제공하는 RHEL 이미지에서는 OS 방화벽 서비스가 기본적으로 활성화됩니다. 고가용성 트래픽을 허용하도록 방화벽 서비스를 구성합니다.
```
# firewall-cmd --permanent --add-service=high-availability
```
```
# firewall-cmd --reload
```
pcs 서비스를 시작하고 부팅 시 시작되도록 구성합니다.
```
# systemctl start pcsd.service
# systemctl enable pcsd.service
```

pcs 서비스 상태를 확인합니다.

# systemctl status pcsd.service

다음과 비슷한 출력이 표시됩니다.

● pcsd.service - PCS GUI and remote configuration interface
  Loaded: loaded (/usr/lib/systemd/system/pcsd.service; enabled; vendor preset: disabled)
  Active: active (running) since Sat 2023-10-23 21:17:05 UTC; 25s ago
    Docs: man:pcsd(8)
          man:pcs(8)
Main PID: 31627 (pcsd)
  CGroup: /system.slice/pcsd.service
          └─31627 /usr/bin/ruby /usr/lib/pcsd/pcsd
Oct 23 21:17:03 maxdb-ha-vm-1 systemd[1]: Starting PCS GUI and remote configuration interface...
Oct 23 21:17:05 maxdb-ha-vm-1 systemd[1]: Started PCS GUI and remote configuration interface.

모든 필수 HA 서비스가 사용 설정되어 있고 두 노드 모두에서 실행 중인지 확인합니다.
```
# systemctl enable pcsd.service pacemaker.service corosync.service
```

/etc/hosts 파일에서 클러스터에 있는 두 호스트 모두의 전체 호스트 이름과 내부 IP 주소를 추가합니다. 예를 들면 다음과 같습니다.

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
10.0.0.40 maxdb-ha-vm-1.us-central1-a.c.example-project-123456.internal maxdb-ha-vm-1  # Added by Google
10.0.0.41 maxdb-ha-vm-2.us-central1-c.c.example-project-123456.internal maxdb-ha-vm-2
169.254.169.254 metadata.google.internal  # Added by Google

RHEL 클러스터 노드에 /etc/hosts 파일을 설정하는 방법을 Red Hat에서 자세히 알아보려면 https://access.redhat.com/solutions/81123을 참조하세요.

클러스터 만들기

한 노드에서 루트로 hacluster 사용자를 승인합니다. 명령어를 확인하려면 RHEL 버전 탭을 클릭합니다.
RHEL 8 이상
```
# pcs host auth primary-host-name secondary-host-name
```
RHEL 7
```
# pcs cluster auth primary-host-name secondary-host-name
```
프롬프트에서 hacluster 사용자 이름과 hacluster 사용자에 설정한 비밀번호를 입력합니다.

클러스터를 만듭니다.

RHEL 8 이상

# pcs cluster setup cluster-name primary-host-name secondary-host-name

RHEL 7

# pcs cluster setup --name cluster-name primary-host-name secondary-host-name

corosync.conf 기본 설정 수정

Google Cloud에서 HA 클러스터의 내결함성을 테스트하기에 더 적절한 시작점을 설정하려면 기본 호스트에서 /etc/corosync/corosync.conf 파일을 수정합니다.

두 호스트 중 하나에서 원하는 텍스트 편집기를 사용하여 수정할 /etc/corosync/corosync.conf 파일을 엽니다.
```
# /etc/corosync/corosync.conf
```
/etc/corosync/corosync.conf가 새 파일이거나 비어 있는 경우 /etc/corosync/ 디렉터리에서 corosync 파일의 기준으로 사용할 예시 파일을 확인합니다.
corosync.conf 파일의 totem 섹션에서 RHEL 버전에 표시된 대로 다음 속성을 제안된 값으로 추가합니다.
RHEL 8 이상
- transport: knet
- token: 20000
- token_retransmits_before_loss_const: 10
- join: 60
- max_messages: 20
예를 들면 다음과 같습니다.
```
totem {
version: 2
cluster_name: hacluster
secauth: off
transport: knet
token: 20000
token_retransmits_before_loss_const: 10
join: 60
max_messages: 20
}
...
```
RHEL 7
- transport: udpu
- token: 20000
- token_retransmits_before_loss_const: 10
- join: 60
- max_messages: 20
예를 들면 다음과 같습니다.
```
totem {
version: 2
cluster_name: hacluster
secauth: off
transport: udpu
token: 20000
token_retransmits_before_loss_const: 10
join: 60
max_messages: 20
}
...
```
수정된 corosync.conf 파일이 포함된 호스트에서 corosync 구성을 클러스터 간에 동기화합니다.
RHEL 8 이상
```
# pcs cluster sync corosync
```
RHEL 7
```
# pcs cluster sync
```
클러스터가 자동으로 시작되도록 설정합니다.
```
# pcs cluster enable --all
```
```
# pcs cluster start --all
```
corosync-cmapctl 유틸리티를 사용하여 클러스터에서 새로운 corosync 설정이 활성화되었는지 확인합니다.
```
# corosync-cmapctl
```

펜싱 설정

Google Cloud 에서 제공하는 RHEL 이미지에는 Google Cloud와 관련된 fence_gce 펜싱 에이전트가 포함되어 있습니다. fence_gce를 사용하여 각 호스트 VM의 펜스 기기를 만듭니다.

펜싱 작업 후 올바른 이벤트 시퀀스를 보장하려면 VM이 펜싱된 후 Corosync의 다시 시작을 지연하도록 운영체제를 구성합니다. 지연을 고려하여 재부팅 시 Pacemaker 제한 시간을 조정합니다.

fence_gce 펜싱 에이전트에서 사용할 수 있는 모든 옵션을 보려면 fence_gce -h를 실행하세요.

펜싱 기기 리소스 만들기

기본 호스트에서 루트로 다음을 수행합니다.

호스트 VM마다 펜싱 기기를 만듭니다.

# pcs stonith create primary-fence-name fence_gce \
  port=primary-host-name \
  zone=primary-host-zone \
  project=project-id \
  pcmk_reboot_timeout=300 pcmk_monitor_retries=4 pcmk_delay_max=30 \
  op monitor interval="300s" timeout="120s" \
  op start interval="0" timeout="60s"
# pcs stonith create secondary-fence-name fence_gce \
  port=secondary-host-name \
  zone=secondary-host-zone \
  project=project-id \
  pcmk_reboot_timeout=300 pcmk_monitor_retries=4 \
  op monitor interval="300s" timeout="120s" \
  op start interval="0" timeout="60s"

각 펜스 기기를 다른 호스트 VM으로 제한합니다.

# pcs constraint location primary-fence-name avoids primary-host-name
# pcs constraint location secondary-fence-name avoids secondary-host-name

기본 호스트에서 루트로 보조 펜스 기기를 테스트합니다.
1. 보조 호스트 VM을 종료합니다.
```
# fence_gce -o off -n secondary-host-name --zone=secondary-host-zone
```
  명령어가 성공하면 보조 호스트 VM에 대한 연결이 끊어지고 Google Cloud 콘솔의 VM 인스턴스 페이지에서 중지된 것으로 나타납니다. 페이지를 새로 고쳐야 할 수도 있습니다.
2. 보조 호스트 VM을 다시 시작합니다.
```
# fence_gce -o on -n secondary-host-name --zone=secondary-host-zone
```
보조 호스트에서 루트로 명령어에 기본 호스트 값을 사용하고 앞의 단계를 반복하여 기본 펜스 기기를 테스트합니다.

두 호스트 중 하나에서 루트로 클러스터 상태를 확인합니다.

# pcs status

펜스 리소스는 다음 예시와 같이 클러스터 상태의 리소스 섹션에 표시됩니다.

[root@maxdb-ha-vm-2 ~]# pcs status
Cluster name: maxdb-ha-cluster
Stack: corosync
Current DC: maxdb-ha-vm-1 (version 1.1.19-8.el7_6.5-c3c624ea3d) - partition with quorum
Last updated: Mon Jun 15 17:19:07 2020
Last change: Mon Jun 15 17:18:33 2020 by root via cibadmin on maxdb-ha-vm-1

2 nodes configured
2 resources configured

Online: [ maxdb-ha-vm-1 maxdb-ha-vm-2 ]

Full list of resources:

 STONITH-maxdb-ha-vm-1   (stonith:fence_gce):    Started maxdb-ha-vm-2
 STONITH-maxdb-ha-vm-2   (stonith:fence_gce):    Started maxdb-ha-vm-1

Daemon Status:
  corosync: active/enabled
  pacemaker: active/enabled
  pcsd: active/enabled

Corosync 재시작 지연 설정

두 호스트 모두에서 루트로 systemd 삽입 파일을 만들어 Corosync 시작을 지연하여 펜싱된 VM이 재부팅된 후 올바른 이벤트 시퀀스를 확인합니다.
```
systemctl edit corosync.service
```
파일에 다음 행을 추가합니다.
```
[Service]
ExecStartPre=/bin/sleep 60
```
파일을 저장하고 편집기를 종료합니다.
systemd 관리자 구성을 새로고침합니다.
```
systemctl daemon-reload
```

삽입 파일이 생성되었는지 확인합니다.

service corosync status

다음 예시와 같이 삽입 파일의 줄이 표시됩니다.

● corosync.service - Corosync Cluster Engine
   Loaded: loaded (/usr/lib/systemd/system/corosync.service; disabled; vendor preset: disabled)
  Drop-In: /etc/systemd/system/corosync.service.d
           └─override.conf
   Active: active (running) since Tue 2021-07-20 23:45:52 UTC; 2 days ago

리스너 설치 및 상태 확인 리소스 만들기

상태 확인 리소스를 구성하려면 먼저 리스너를 설치해야 합니다.

리스너 설치

부하 분산기는 각 호스트의 상태 확인 포트에서 리스너를 사용하여 MaxDB 인스턴스가 실행되는 위치를 파악합니다.

두 호스트 모두에서 루트로 TCP 리스너를 설치합니다. 이 안내에서는 HAProxy를 설치하고 리스너로 사용합니다.
```
# yum install haproxy
```

수정할 구성 파일 haproxy.cfg를 엽니다.

# vi /etc/haproxy/haproxy.cfg

haproxy.cfg의 defaults 섹션에서 mode를 tcplog로 변경합니다.

defaults 섹션 뒤에 다음을 추가하여 새 섹션을 만듭니다.

#---------------------------------------------------------------------
# Health check listener port for SAP MaxDB HA cluster
#---------------------------------------------------------------------
listen healthcheck
  bind *:healthcheck-port-num

bind 포트는 상태 확인을 만들 때 사용한 포트와 동일한 포트입니다.

작업을 완료하면 업데이트가 다음 예시와 비슷하게 표시됩니다.

#---------------------------------------------------------------------
# common defaults that all the 'listen' and 'backend' sections will
# use if not designated in their block
#---------------------------------------------------------------------
defaults
  mode                    tcp
  log                     global
  option                  tcplog
  option                  dontlognull
  option http-server-close
  # option forwardfor       except 127.0.0.0/8
  option                  redispatch
  retries                 3
  timeout http-request    10s
  timeout queue           1m
  timeout connect         10s
  timeout client          1m
  timeout server          1m
  timeout http-keep-alive 10s
  timeout check           10s
  maxconn                 3000

#---------------------------------------------------------------------
# Set up health check listener for SAP MaxDB HA cluster
#---------------------------------------------------------------------
listen healthcheck
 bind *:60000

각 호스트에서 루트로 서비스를 시작하여 올바르게 구성되었는지 확인합니다.
```
# systemctl start haproxy.service
```
Google Cloud 콘솔의 부하 분산기 페이지에서 부하 분산기 항목을 클릭합니다.

부하 분산 페이지

부하 분산기 세부정보 페이지의 백엔드 섹션에서 HAProxy 서비스가 두 호스트 모두에서 활성화되면 각 인스턴스 그룹 항목의 정상 열에 1/1이 표시됩니다.
각 호스트에서 HAProxy 서비스를 중지합니다.
```
# systemctl stop haproxy.service
```
각 호스트에서 HAProxy 서비스를 중지하면 각 인스턴스 그룹의 정상 열에 0/1이 표시됩니다.

나중에 상태 확인이 구성되면 클러스터가 활성 노드에서 리스너를 다시 시작합니다.

상태 확인 리소스 만들기

두 호스트 중 하나에서 루트로 HAProxy 서비스의 상태 확인 리소스를 만듭니다.

# pcs resource create healthcheck_resource_name service:haproxy op monitor interval=10s timeout=20s —-group SAPMaxDB_Group

상태 확인 서비스가 SAP MaxDB 인스턴스와 동일한 호스트에서 활성 상태인지 확인합니다.
```
# pcs status
```
상태 확인 리소스가 MaxDB가 있는 호스트와 동일한 호스트에 있지 않으면 다음 명령어를 사용하여 리소스를 이동합니다.
```
# pcs resource move healthcheck_resource_name target_host_name
# pcs resource clear healthcheck_resource_name
```
pcs resource clear 명령어는 리소스를 새 위치에 두지만 pcs resource move 명령어가 만든 원치 않는 위치 제약조건을 삭제합니다.

상태에서 리소스 섹션은 다음 예시와 비슷하게 표시됩니다.
```
Full list of resources:

STONITH-maxdb-ha-vm-1   (stonith:fence_gce):    Started maxdb-ha-vm-2
STONITH-maxdb-ha-vm-2   (stonith:fence_gce):    Started maxdb-ha-vm-1

Resource Group: SAPMaxDB_Group
  rsc_healthcheck_MDB    (service:haproxy):      Started maxdb-ha-vm-1
```

클러스터 기본값 설정

마이그레이션 임곗값과 고정값을 설정하여 장애 발생 전에 시도할 장애 조치 수를 결정하고 먼저 현재 호스트에서 시스템을 다시 시작하도록 설정합니다. 이 작업을 노드 하나에만 설정하면 클러스터에 적용됩니다.

두 호스트 중 하나에서 루트로 리소스 기본값을 설정합니다.
```
# pcs resource defaults resource-stickiness=1000
# pcs resource defaults migration-threshold=5000
```
resource-stickiness 속성은 서비스가 해당 위치에서 계속 실행될 가능성을 제어합니다. 값이 클수록 서비스가 더욱 고정됩니다. 값이 1000이면 서비스가 상당히 고정된 것입니다.

migration-threshold 속성은 서비스가 다른 호스트로 장애 조치되려면 발생해야 하는 장애 수를 지정합니다. 값이 5000이면 수명이 짧은 오류 상황에서 장애 조치가 발생하지 않습니다.

pcs resource defaults를 입력하면 리소스 기본값을 확인할 수 있습니다.
리소스 작업 제한 시간 기본값을 설정합니다.
```
# pcs resource op defaults timeout=600s
```
pcs resource op defaults를 입력하면 리소스 작업 기본값을 확인할 수 있습니다.
다음 클러스터 속성을 설정합니다.
```
# pcs property set stonith-enabled="true"
# pcs property set stonith-timeout="300s"
```
pcs property list로 속성 설정을 확인할 수 있습니다.

클러스터에 MaxDB 리소스 만들기

이 단계를 수행하기 전에 MaxDB 및 x_server가 중지되고 /sapdb 파일 시스템이 마운트 해제되어 있는지 확인합니다.

gcp-pd-move 리소스 만들기

gcp-pd-move 리소스는 클러스터 페일오버 중에 영구 디스크를 한 노드에서 다른 노드로 이동하는 데 사용되는 리소스 에이전트입니다.

어느 노드에서나 루트로 다음 명령어를 사용하여 리소스를 만듭니다.

# pcs resource create pd_move_resource_name gcp-pd-move \
  disk_name=regional_pd_name mode="READ_WRITE" disk_scope=regional \
  op monitor interval=10s timeout=15s \
  op start interval=0s timeout=300s \
  op stop interval=0s timeout=15s \
  --group SAPMaxDB_Group

LVM 리소스 만들기

LVM 활성화 리소스 에이전트는 디스크가 다른 노드로 이동한 후 LVM을 활성화하는 데 사용됩니다.

어느 노드에서든 루트로 다음 명령어를 사용하여 LVM 리소스를 만듭니다.

# pcs resource create lvm_resource_name LVM-activate \
  vgname=vgname_for_maxdb \
  vg_access_mode=system_id activation_mode=exclusive \
  --group SAPMaxDB_Group

예를 들면 다음과 같습니다.

# pcs resource create sapdb_lvm LVM-activate \
  vgname=sapdb vg_access_mode=system_id \
  activation_mode=exclusive \
  --group SAPMaxDB_Group

파일 시스템 리소스 만들기

파일 시스템 리소스는 클러스터에서 페일오버 작업 중에 /sapdb를 마운트 해제하고 다른 노드에 마운트하는 데 사용됩니다.

어느 노드에서나 루트로 다음 명령어를 사용하여 파일 시스템 리소스를 만듭니다.

# pcs resource create fs_resource_name Filesystem \
  device=filesystem directory=/sapdb fstype=fs_type \
  --group SAPMaxDB_Group

예를 들면 다음과 같습니다.

# pcs resource create sapdb_FS Filesystem \
  device=/dev/mapper/sapdb-sapdblv directory=/sapdb fstype=ext4 \
  --group SAPMaxDB_Group

MaxDB 리소스 그룹 준비

MaxDB 리소스 그룹을 사용 설정하려면 다음 단계를 실행해야 합니다.

MaxDB 설치를 실행한 노드에서 다른 노드로 사용자와 그룹을 동기화합니다.
1. SAP MaxDB 사용자는 /etc/passwd의 항목을 복사하여 노드 간에 동기화해야 합니다(예:
```
 sdb:x:1002:1003:MaxDB User:/home/sdb:/bin/false
 madbadm:x:1003:1005:SAP System Administrator:/home/mdbadm:/bin/csh
```
2. 마찬가지로 /etc/group의 항목을 한 노드에서 다른 노드로 복사하여 SAP 그룹도 동기화해야 합니다. 예를 들면 다음과 같습니다.
```
 dba:x:1003:mdbadm
 sapsys:x:1005:
```

운영체제 디렉터리에 저장되는 MaxDB 관련 파일을 동기화합니다. 루트 사용자로 다음 명령어를 실행합니다.

# rsync -av /etc/services target_host:/etc/services
# rsync -av /home/* target_host:/home
# rsync -av --exclude=sapservices /usr/sap/* target_host:/usr/sap
# rsync -av --ignore-existing /usr/sap/sapservicestarget_host:/usr/sap/sapservices
# rsync -av /etc/init.d/sapinittarget_host:/etc/init.d/

# MaxDB specific files
# rsync -av /etc/opttarget_host:/etc
# rsync -av /var/lib/sdbtarget_host:/var/lib

두 번째 노드의 SAP OS 사용자의 경우 다음 환경 파일의 이름을 변경하여 홈 디렉터리에서 각 호스트 이름을 사용합니다. 예를 들면 다음과 같습니다.

mv .sapenv_maxdb-ha-vm-1.sh .sapenv_maxdb-ha-vm-2.sh
mv .sapenv_maxdb-ha-vm-1.csh .sapenv_maxdb-ha-vm-2.csh
mv .sapsrc_maxdb-ha-vm-1.sh  .sapsrc_maxdb-ha-vm-2.sh
mv .sapsrc_maxdb-ha-vm-1.csh  .sapsrc_maxdb-ha-vm-2.csh
mv .dbenv_maxdb-ha-vm-1.sh .sapenv_maxdb-ha-vm-2.sh
mv .dbenv_maxdb-ha-vm-1.csh .dbenv_maxdb-ha-vm-2.csh

SAPDatabase 리소스 에이전트는 데이터베이스를 중지하거나 시작하는 데 DB별 명령어를 사용하지 않고 saphostctrl 명령어를 사용하여 동일한 작업을 실행합니다. SAP 호스트 에이전트는 saphostctrl을 사용하여 MAXDB를 모니터링하고 제어하려면 xuser 항목을 만들어야 합니다. 자세한 내용은 SAP Note 2435938 - SAP Host Agent SAP MaxDB: DB connect for DBCredentials를 참고하세요.

루트 권한으로 다음 명령어를 실행하여 활성 노드에서 SetDatabaseProperty를 실행합니다.

/usr/sap/hostctrl/exe/saphostctrl -host primary-host-name -user sapadm password \
  -dbname SID -dbtype ada -function SetDatabaseProperty DBCredentials=SET \
  -dboption User=SUPERDBA -dboption Password=password

다음 명령어를 사용하여 항목을 테스트합니다. 데이터베이스가 중지된 경우에도 이 명령어를 사용하면 상태를 다시 가져올 수 있습니다.

/usr/sap/hostctrl/exe/saphostctrl -host secondary-host-name -dbname SID \
  -dbtype ada -function GetDatabaseStatus

saphostctrl 에이전트 명령어는 MaxDB 설치의 xuser 프로그램을 사용하므로 이제 두 번째 노드를 준비하려면 SAPMaxDB_group를 maxdb-node-b로 이동합니다.

노드에서 루트로 다음 명령어를 실행합니다.
```
pcs resource move SAPMaxDB_group
```

생성된 네 가지 리소스인 상태 점검, gcp-pd-move, LVM, 파일 시스템이 이제 두 번째 노드로 이전되어 성공적으로 시작된 것을 확인합니다.

모든 노드에서 다음 명령어를 사용하여 실행 중인 작업을 볼 수 있습니다.
```
watch pcs status
```

두 번째 노드에서 네 개의 리소스가 모두 성공적으로 시작되면 saphostctrl 명령어를 실행합니다.

루트 권한으로 다음 명령어를 실행하여 현재 활성 노드에서 SetDatabaseProperty를 실행합니다.

/usr/sap/hostctrl/exe/saphostctrl -host secondary-host-name -user sapadm password \
  -dbname SID -dbtype ada -function SetDatabaseProperty DBCredentials=SET \
  -dboption User=SUPERDBA -dboption Password=password

노드 b에서 MaxDB 및 x_server를 수동으로 시작하여 제대로 시작할 수 있는지 확인합니다.
```
# dbmcli -d SID -u control, and password db_online
# x_server start
```

SAP 데이터베이스의 리소스를 만드는 다음 단계로 진행합니다. 이 시점에서 오류가 발견되면 데이터베이스 리소스를 만들지 마세요.

SAP MaxDB용 리소스 만들기

RHEL Pacemaker는 SAP 데이터베이스 리소스 에이전트를 사용하여 SAP 데이터베이스를 모니터링하고 제어합니다.

다음 명령어를 사용하여 SAPMaxDB_group이 활성 상태인 노드에서 데이터베이스 리소스를 만듭니다.

# pcs resource create SAPDatabase_resource_name SAPDatabase \
  DBTYPE="ADA" SID="SID" STRICT_MONITORING="TRUE" \
  MONITOR_SERVICES="Database|x_server" AUTOMATIC_RECOVER="TRUE"
  --group SAPMaxDB_Group

최종 클러스터 리소스는 pcs status를 사용하여 확인할 수 있으며 예상 결과는 다음과 같습니다.

# pcs status
  Cluster name: maxdb-cluster
  Stack: corosync
  Current DC: maxdb-ha-vm-1 (version 1.1.23-1.el7_9.1-9acf116022) - partition with quorum
  Last updated: Wed Oct 23 02:04:32 2024
  Last change: Wed Oct 23 02:01:41 2024 by hacluster via crmd on maxdb-ha-vm-1

  2 nodes configured
  7 resource instances configured

  Online: [ maxdb-ha-vm-1 maxdb-ha-vm-2 ]

  Full list of resources:

  STONITH-maxdb-ha-vm-1  (stonith:fence_gce):    Started maxdb-ha-vm-2
  STONITH-maxdb-ha-vm-2  (stonith:fence_gce):    Started maxdb-ha-vm-1
  Resource Group: SAPMaxDB_Group
     healthcheck_maxdb  (service:haproxy):      Started maxdb-ha-vm-1
     sapdb_regpd        (ocf::heartbeat:gcp-pd-move):   Started maxdb-ha-vm-1
     lvm_sapdb  (ocf::heartbeat:LVM-activate):  Started maxdb-ha-vm-1
     sapdb_fs   (ocf::heartbeat:Filesystem):    Started maxdb-ha-vm-1
     MDB_SAPMaxDB       (ocf::heartbeat:SAPDatabase):   Started maxdb-ha-vm-1

  Daemon Status:
  corosync: active/enabled
  pacemaker: active/enabled
  pcsd: active/enabled

장애 조치 테스트

활성 호스트에서 장애를 시뮬레이션하여 클러스터를 테스트할 수 있습니다. 사용할 시스템을 출시하기 전에 테스트 시스템을 사용하거나 프로덕션 시스템에서 테스트를 실행합니다.

테스트 전에 시스템을 백업합니다.

다음과 같은 다양한 방법으로 장애를 시뮬레이션할 수 있습니다.

MaxDB 또는 x_server 수동으로 중지
MaxDB 또는 x_server 프로세스 종료
reboot(활성 노드에서)
단일 네트워크 인터페이스가 있는 인스턴스의 경우 ip link set eth0 down
다중 네트워크 인터페이스가 있는 인스턴스의 경우 iptables ... DROP
echo c > /proc/sysrq-trigger

이 안내에서는 ip link set eth0 down 또는 iptables를 사용하여 클러스터의 두 호스트 간의 네트워크 중단을 시뮬레이션합니다. 단일 네트워크 인터페이스가 있는 인스턴스에서는 ip link 명령어를 사용하고 네트워크 인터페이스가 하나 이상 있는 인스턴스에서는 iptables 명령어를 사용합니다. 이 테스트를 통해 장애 조치와 펜싱의 유효성을 모두 확인할 수 있습니다. 인스턴스에 다중 네트워크 인터페이스가 정의된 경우 보조 호스트에서 iptables 명령어를 사용하여 클러스터 통신의 기본 호스트에 사용되는 IP를 기반으로 수신 및 발신 트래픽을 삭제합니다. 기본 호스트에 대한 네트워크 연결 손실을 시뮬레이션합니다.

활성 호스트에서 루트로 네트워크 인터페이스를 오프라인으로 전환합니다.
```
# ip link set eth0 down
```
SSH를 사용하여 두 호스트 중 하나에 다시 연결하고 루트 사용자로 변경합니다.

pcs status를 입력하여 이전에 수동 호스트였던 호스트에 이제 리전 영구 디스크가 연결되어 있고 MaxDB 서비스를 실행 중인지 확인합니다. 다음 예와 같이 클러스터에 자동으로 다시 시작이 사용 설정되어 있으므로 중지된 호스트가 다시 시작되고 패시브 호스트 역할을 할당합니다.

Cluster name: maxdb-ha-cluster
Stack: corosync
Current DC: maxdb-ha-vm-2 (version 1.1.23-1.el7_9.1-9acf116022) - partition with quorum
Last updated: Wed Oct 23 02:01:45 2024
Last change: Wed Oct 23 02:01:41 2024 by hacluster via crmdon maxdb-ha-vm-2

2 nodes configured
7 resources configured

Online: [ maxdb-ha-vm-1 maxdb-ha-vm-2 ]

Full list of resources:

STONITH-maxdb-ha-vm-1   (stonith:fence_gce):    Started maxdb-ha-vm-2
STONITH-maxdb-ha-vm-2   (stonith:fence_gce):    Started maxdb-ha-vm-1

Resource Group: SAPMaxDB_Group
 healthcheck_maxdb  (service:haproxy):      Started maxdb-ha-vm-2
 sapdb_regpd        (ocf::heartbeat:gcp-pd-move):   Started maxdb-ha-vm-2
 lvm_sapdb  (ocf::heartbeat:LVM-activate):  Started maxdb-ha-vm-2
 sapdb_fs   (ocf::heartbeat:Filesystem):    Started maxdb-ha-vm-2
 MDB_SAPMaxDB       (ocf::heartbeat:SAPDatabase):   Started maxdb-ha-vm-2

Daemon Status:
 corosync: active/enabled
 pacemaker: active/enabled
 pcsd: active/enabled

문제 해결

RHEL 기반 SAP 시스템의 고가용성 구성 문제를 해결하려면 SAP의 고가용성 구성 문제 해결을 참고하세요.

RHEL 기반 SAP HANA 지원 받기

RHEL 기반 SAP HANA의 고가용성 클러스터 문제를 해결하는 데 도움이 필요하면 필요한 진단 정보를 수집하고 Cloud Customer Care에 문의하세요. 자세한 내용은 RHEL의 고가용성 클러스터 진단 정보를 참조하세요.

RHEL 기반 SAP MaxDB용 HA 클러스터 구성 가이드

이 가이드에서 배포하는 시스템

기본 요건

네트워크 만들기

콘솔

gcloud

NAT 게이트웨이 설정

방화벽 규칙 추가

콘솔

gcloud

VM 배포 및 MaxDB 설치

MaxDB 배포용 VM 만들기

SAP MaxDB용 단일 리전 디스크 만들기

SAP 설치를 위한 RHEL OS 준비

파일 시스템 만들기

LVM 구성 수정

데이터베이스 및 SAP 호스트 에이전트 설치

설치 후 작업 수행

Cloud Load Balancing 장애 조치 지원 구성

가상 IP의 IP 주소 예약

호스트 VM의 인스턴스 그룹 만들기

Compute Engine 상태 확인 만들기

상태 확인에 사용할 방화벽 규칙 만들기

부하 분산기 및 장애 조치 그룹 구성

부하 분산기 구성 테스트

socat 유틸리티로 부하 분산기 테스트

포트 22를 사용하여 부하 분산기 테스트

Pacemaker 설정

두 노드 모두에 클러스터 에이전트 설치

클러스터 만들기

RHEL 8 이상

RHEL 7

RHEL 8 이상

RHEL 7

corosync.conf 기본 설정 수정

RHEL 8 이상

RHEL 7

RHEL 8 이상

RHEL 7

펜싱 설정

펜싱 기기 리소스 만들기

Corosync 재시작 지연 설정

리스너 설치 및 상태 확인 리소스 만들기

리스너 설치

상태 확인 리소스 만들기

클러스터 기본값 설정

클러스터에 MaxDB 리소스 만들기

gcp-pd-move 리소스 만들기

LVM 리소스 만들기

파일 시스템 리소스 만들기

MaxDB 리소스 그룹 준비

SAP MaxDB용 리소스 만들기

장애 조치 테스트

문제 해결

RHEL 기반 SAP HANA 지원 받기

`socat` 유틸리티로 부하 분산기 테스트