RHEL에서 SAP HANA용 HA 클러스터 구성 가이드

이 가이드에서는 Google Cloud에서 SAP HANA 1.0 SPS 12 이상의 수직 확장 시스템용 Red Hat Enterprise Linux(RHEL) 고가용성(HA) 클러스터를 배포하고 구성하는 방법을 설명합니다.

이 가이드에는 다음을 수행하는 단계가 포함되어 있습니다.

  • 실패 시 트래픽 경로를 변경하도록 내부 TCP/UDP 부하 분산 구성
  • 장애 조치 중에 SAP 시스템과 기타 리소스를 관리하도록 RHEL에서 Pacemaker 클러스터 구성

이 가이드에는 SAP HANA 시스템 복제를 구성하는 단계도 포함되어 있지만 정확한 지침은 SAP 문서를 참조하세요.

Linux 고가용성 클러스터나 대기 호스트 없이 SAP HANA 시스템을 배포하려면 SAP HANA 배포 가이드를 참조하세요.

SUSE Linux Enterprise Server(SLES)에서 SAP HANA용 HA 클러스터를 구성하려면 SLES에서 SAP HANA 수직 확장용 HA 클러스터 구성 가이드를 참조하세요.

이 가이드는 SAP HANA용 Linux 고가용성 구성에 익숙한 SAP HANA 고급 사용자를 대상으로 합니다.

이 가이드에서 배포하는 시스템

이 가이드를 수행하여 SAP HANA 인스턴스 두 개를 배포하고 RHEL에서 HA 클러스터를 설정합니다. 각 SAP HANA 인스턴스를 동일한 리전 내 서로 다른 영역에 있는 Compute Engine VM에 배포합니다. 이 가이드에서는 SAP NetWeaver의 고가용성 설치를 다루지 않습니다.

단일 노드 SAP HANA 수직 확장 시스템을 위한 고가용성 Linux 클러스터의 개요

배포된 클러스터에는 다음 기능과 특징이 포함됩니다.

  • 호스트 VM 두 개(각각 SAP HANA 인스턴스 한 개 포함)
  • 동기식 SAP HANA 시스템 복제
  • Pacemaker 고가용성 클러스터 리소스 관리자
  • STONITH 펜싱 메커니즘
  • 실패한 인스턴스를 새 보조 인스턴스로 자동 다시 시작

이 가이드에서는 Google Cloud에서 제공되는 Cloud Deployment Manager 템플릿을 사용하여 Compute Engine 가상 머신(VM)과 SAP HANA 인스턴스를 배포합니다. 이렇게 하면 VM과 기본 SAP HANA 시스템이 SAP 지원 요구사항을 충족하고 현재 권장사항을 준수하게 됩니다.

이 가이드에서는 SAP HANA Studio를 사용하여 SAP HANA 시스템 복제를 테스트합니다. 원하는 경우 SAP HANA Cockpit를 대신 사용할 수도 있습니다. SAP HANA Studio 설치에 대한 자세한 내용은 다음을 참조하세요.

기본 요건

SAP HANA 고가용성 클러스터를 만들기 전에 다음 기본 요건을 충족하는지 확인하세요.

  • 사용자 또는 사용자의 조직에 Google Cloud 계정이 있어야 하고 SAP HANA 배포를 위한 프로젝트를 만들어야 합니다. Google Cloud 계정 및 프로젝트를 만드는 방법에 대한 자세한 내용은 SAP HANA 배포 가이드의 Google 계정 설정을 참조하세요.
  • SAP HANA 설치 미디어가 배포 프로젝트 및 리전에서 사용할 수 있는 Cloud Storage 버킷에 저장되어 있어야 합니다. SAP HANA 설치 미디어를 Cloud Storage 버킷에 업로드하는 방법에 대한 자세한 내용은 SAP HANA 배포 가이드의 SAP HANA 다운로드를 참조하세요.
  • VPC 내부 DNS를 사용하는 경우 전체 영역에서 노드 이름을 확인하려면 프로젝트 메타데이터의 VmDnsSetting 변수 값이 GlobalOnly 또는 ZonalPreferred여야 합니다. VmDnsSetting의 기본 설정은 ZonalOnly입니다. 자세한 내용은 다음을 참조하세요.

네트워크 만들기

보안 문제로 새 네트워크를 만들어야 합니다. 방화벽 규칙을 추가하거나 다른 액세스 제어 방법을 사용하여 액세스 권한이 있는 사용자를 제어할 수 있습니다.

프로젝트에 기본 VPC 네트워크가 있더라도 사용하지 마세요. 명시적으로 직접 만든 방화벽 규칙만 적용되도록 VPC 네트워크를 직접 만드시기 바랍니다.

배포 중에 VM 인스턴스는 일반적으로 Google의 모니터링 에이전트를 다운로드하기 위해 인터넷에 액세스할 수 있어야 합니다. Google Cloud에서 제공하는 SAP 인증 Linux 이미지 중 하나를 사용하는 경우 VM 인스턴스도 라이선스를 등록하고 OS 공급업체 저장소에 액세스하기 위해 인터넷에 액세스할 수 있어야 합니다. NAT 게이트웨이 및 VM 네트워크 태그가 있는 구성은 대상 VM에 외부 IP가 없더라도 이러한 액세스를 지원합니다.

네트워킹을 설정하는 방법은 다음과 같습니다.

  1. Cloud Shell로 이동합니다.

    Cloud Shell로 이동

  2. 커스텀 서브네트워크 모드로 새 네트워크를 만들려면 다음 명령어를 실행합니다.

    gcloud compute networks create [YOUR_NETWORK_NAME] --subnet-mode custom

    여기에서 [YOUR_NETWORK_NAME]은 새 네트워크의 이름입니다. 네트워크 이름은 소문자, 숫자, 대시 문자(-)만 포함할 수 있습니다.

    각 Compute Engine 리전에 서브넷을 자동으로 만드는 기본 자동 모드를 사용하지 않으려면 --subnet-mode custom을 지정합니다. 자세한 내용은 서브넷 생성 모드를 참조하세요.

  3. 서브네트워크를 만들고 리전 및 IP 범위를 지정합니다.

    gcloud compute networks subnets create [YOUR_SUBNETWORK_NAME] \
            --network [YOUR_NETWORK_NAME] --region [YOUR_REGION] --range [YOUR_RANGE]

    각 항목의 의미는 다음과 같습니다.

    • [YOUR_SUBNETWORK_NAME]은 새 서브네트워크입니다.
    • [YOUR_NETWORK_NAME]은 이전 단계에서 만든 네트워크의 이름입니다.
    • [REGION]은 서브네트워크가 위치할 리전입니다.
    • [YOUR_RANGE]CIDR 형식으로 지정된 IP 주소 범위(예: 10.1.0.0/24)입니다. 서브네트워크를 두 개 이상 추가하려는 경우 네트워크의 각 서브네트워크에 서로 겹치지 않는 CIDR IP 범위를 할당하세요. 각 서브네트워크 및 내부 IP 범위는 단일 리전에 매핑됩니다.
  4. 필요한 경우 위 단계를 반복하여 서브네트워크를 더 추가합니다.

NAT 게이트웨이 설정

공개 IP 주소가 없는 VM을 하나 이상 만들려는 경우 VM이 인터넷에 액세스하여 Google의 모니터링 에이전트를 다운로드할 수 있도록 NAT 게이트웨이를 만들어야 합니다.

외부 공개 IP 주소를 VM에 할당하려는 경우 이 단계를 건너뛸 수 있습니다.

NAT 게이트웨이를 만드는 방법은 다음과 같습니다.

  1. 방금 만든 서브넷에서 NAT 게이트웨이로 사용할 VM을 만듭니다.

    gcloud compute instances create [YOUR_VM_NAME] --can-ip-forward \
            --zone [YOUR_ZONE]  --image-family [YOUR_IMAGE_FAMILY] \
            --image-project [YOUR_IMAGE_PROJECT] \
            --machine-type=[YOUR_MACHINE_TYPE] --subnet [YOUR_SUBNETWORK_NAME] \
            --metadata startup-script="sysctl -w net.ipv4.ip_forward=1; iptables \
            -t nat -A POSTROUTING -o eth0 -j MASQUERADE" --tags [YOUR_VM_TAG]

    각 항목의 의미는 다음과 같습니다.

    • [YOUR_VM_NAME]은 NAT 게이트웨이용으로 만들 VM의 이름입니다.
    • [YOUR_ZONE]은 VM이 위치할 영역입니다.
    • [YOUR_IMAGE_FAMILY][YOUR_IMAGE_PROJECT]는 <atrack-type="article" l10n-attrs-original-order="href,track-type,track-name,track-metadata-position" l10n-encrypted-href="KRW/ffDthaiG9c5SfN5O5oDhPGl3794Xn/DFFHy3q91TDeoe5ehmUJowtCU/wYGS" track-metadata-position="body" track-name="internalLink">NAT 게이트웨이에 사용할 이미지를 지정합니다.</atrack-type="article">
    • [YOUR_MACHINE_TYPE]은 지원되는 머신 유형입니다. 네트워크 트래픽이 많을 것으로 예상되는 경우 가상 CPU가 8개 이상인 머신 유형을 선택하세요.
    • [YOUR_SUBNETWORK_NAME]은 VM이 위치할 서브네트워크의 이름입니다.
    • [YOUR_VM_TAG]는 만들고 있는 VM에 적용되는 태그입니다. 이 VM을 배스천 호스트로 사용하는 경우 이 태그를 사용하여 관련 방화벽 규칙을 이 VM에만 적용합니다.
  2. 트래픽이 기본 인터넷 게이트웨이 대신 NAT VM을 통과하도록 태그가 지정된 경로를 만듭니다.

    gcloud compute routes create [YOUR_ROUTE_NAME] \
            --network [YOUR_NETWORK_NAME] --destination-range 0.0.0.0/0 \
            --next-hop-instance [YOUR_VM_NAME] --next-hop-instance-zone \
            [YOUR_ZONE] --tags [YOUR_TAG_NAME] --priority 800

    각 항목의 의미는 다음과 같습니다.

    • [YOUR_ROUTE_NAME]은 만들고 있는 경로의 이름입니다.
    • [YOUR_NETWORK_NAME]은 만든 네트워크입니다.
    • [YOUR_VM_NAME]은 NAT 게이트웨이에 사용 중인 VM입니다.
    • [YOUR_ZONE]은 VM이 있는 영역입니다.
    • [YOUR_TAG_NAME]은 트래픽을 NAT VM을 통해 전달하는 경로의 태그입니다.
  3. NAT 게이트웨이 VM을 배스천 호스트로도 사용하려는 경우 다음 명령어를 실행합니다. 이 명령어는 SSH가 인터넷에서 이 인스턴스로 액세스해 들어올 수 있도록 허용하는 방화벽 규칙을 만듭니다.

    gcloud compute firewall-rules create allow-ssh --network [YOUR_NETWORK_NAME] --allow tcp:22 --source-ranges 0.0.0.0/0 --target-tags "[YOUR_VM_TAG]"

    각 항목의 의미는 다음과 같습니다.

    • [YOUR_NETWORK_NAME]은 만든 네트워크입니다.
    • [YOUR_VM_TAG]는 NAT 게이트웨이 VM을 만들 때 지정한 태그입니다. 이 태그는 이 방화벽 규칙을 네트워크의 모든 VM이 아닌 NAT 게이트웨이를 호스팅하는 VM에만 적용하는 데 사용됩니다.

방화벽 규칙 추가

묵시적인 방화벽 규칙은 Virtual Private Cloud(VPC) 네트워크 외부에서 들어오는 연결을 차단하는 것이 기본 설정되어 있습니다. 들어오는 연결을 허용하려면 VM에 방화벽 규칙을 설정합니다. VM에 들어오는 연결이 설정되면 이 연결을 통한 양방향 트래픽이 허용됩니다.

또한 동일한 네트워크에서 지정된 포트에 대한 외부 액세스를 허용하거나 VM 간 액세스를 제한하는 방화벽 규칙을 만들 수 있습니다. default VPC 네트워크 유형이 사용되는 경우 모든 포트에서 동일한 네트워크에 있는 VM 간의 연결을 허용하는 default-allow-internal 규칙과 같은 일부 기본 규칙도 추가로 적용됩니다.

사용자 환경에 적용 가능한 IT 정책 마다 다를 수 있지만, 방화벽 규칙 생성을 통해 데이터베이스 호스에 대한 연결을 격리하거나 제한해야 할 수도 있습니다.

시나리오에 따라 다음에 대한 액세스를 허용하는 방화벽 규칙을 만들 수 있습니다.

  • 모든 SAP 제품의 TCP/IP에 나열된 기본 SAP 포트
  • 사용자 컴퓨터 또는 기업 네트워크 환경에서 Compute Engine VM 인스턴스에 연결. 사용할 IP 주소를 모르는 경우 회사의 네트워크 관리자에게 문의하세요.
  • 데이터베이스 서버와 애플리케이션 서버가 서로 다른 VM에서 실행될 때 VM 간 통신. VM 간 통신을 사용 설정하려면 서브네트워크에서 시작되는 트래픽을 허용하는 방화벽 규칙을 만들어야 합니다.

방화벽 규칙을 만들려면 다음 안내를 따르세요.

Console

  1. Cloud Console에서 방화벽 규칙 페이지로 이동합니다.

    방화벽 규칙 열기

  2. 페이지 상단에서 방화벽 규칙 만들기를 클릭합니다.

    • 네트워크 필드에서 VM이 위치하는 네트워크를 선택합니다.
    • 대상 필드에 이 규칙이 적용되는 Google Cloud의 리소스를 지정합니다. 예를 들어 네트워크의 모든 인스턴스를 지정합니다. 또는 규칙을 Google Cloud의 특정 인스턴스로 제한하려면 지정된 대상 태그에 태그를 입력합니다.
    • 소스 필터 필드에서 다음 중 하나를 선택합니다.
      • 특정 IP 주소에서 들어오는 트래픽을 허용하려면 IP 범위를 선택합니다. 소스 IP 범위 필드에 IP 주소 범위를 지정합니다.
      • 특정 서브네트워크에서 들어오는 트래픽을 허용하려면 서브넷을 선택합니다. 다음 서브넷 필드에 서브네트워크 이름을 지정합니다. 이 옵션을 사용하면 3계층 또는 수평 확장 구성의 VM 간에 액세스를 허용할 수 있습니다.
    • 프로토콜 및 포트 섹션에서 지정된 프로토콜 및 포트를 선택하고 tcp:[PORT_NUMBER]를 입력합니다.
  3. 만들기를 클릭하여 방화벽 규칙을 만듭니다.

gcloud

다음 명령어를 사용하여 방화벽 규칙을 만듭니다.

$ gcloud compute firewall-rules create firewall-name
--direction=INGRESS --priority=1000 \
--network=network-name --action=ALLOW --rules=protocol:port \
--source-ranges ip-range --target-tags=network-tags

VM 및 SAP HANA 배포

HA 클러스터 구성을 시작하기 전에 HA 클러스터에서 기본 노드와 보조 노드 역할을 할 VM 인스턴스와 SAP HANA 시스템을 정의하고 배포합니다.

시스템을 정의하고 배포하려면 SAP HANA 배포 가이드에서 SAP HANA 시스템을 배포하는 데 사용하는 템플릿과 동일한 Cloud Deployment Manager 템플릿을 사용합니다.

하지만 시스템 하나가 아닌 시스템 두 개를 배포하려면 첫 번째 시스템의 정의를 복사하고 붙여넣어 두 번째 시스템의 정의를 구성 파일에 추가해야 합니다. 두 번째 정의를 만든 후에는 두 번째 정의에서 리소스와 인스턴스 이름을 변경해야 합니다. 영역 오류를 방지하기 위해 같은 리전에 다른 영역을 지정합니다. 두 정의의 다른 모든 속성 값은 동일하게 유지됩니다.

SAP HANA 시스템이 성공적으로 배포되면 HA 클러스터를 정의하고 구성합니다.

다음 안내에서는 Cloud Shell을 사용하지만 일반적으로 Cloud SDK에 적용될 수 있습니다.

  1. 영구 디스크, CPU 등 리소스의 현재 할당량이 설치하려는 SAP HANA 시스템에 충분한지 확인합니다. 할당량이 충분하지 않은 경우 배포가 실패합니다. SAP HANA 할당량 요구사항은 SAP HANA의 가격 책정 및 할당량 고려사항을 참조하세요.

    할당량 페이지로 이동

  2. Cloud Shell을 엽니다. 로컬 워크스테이션에 Cloud SDK를 설치한 경우에는 터미널을 엽니다.

    Cloud Shell로 이동

  3. Cloud Shell 또는 Cloud SDK에 다음 명령어를 입력하여 SAP HANA 고가용성 클러스터용 template.yaml 구성 파일 템플릿을 작업 디렉터리에 다운로드합니다.

    wget https://storage.googleapis.com/sapdeploy/dm-templates/sap_hana/template.yaml
  4. 필요한 경우 template.yaml 파일의 이름을 변경하여 정의하는 구성을 식별합니다.

  5. Cloud Shell 코드 편집기에서 또는 Cloud SDK를 사용하는 경우 원하는 텍스트 편집기에서 template.yaml 파일을 엽니다.

    Cloud Shell 코드 편집기를 열려면 Cloud Shell 터미널 창 오른쪽 상단에 있는 연필 아이콘을 클릭합니다.

  6. template.yaml 파일에서 첫 번째 VM과 SAP HANA 시스템의 정의를 완료합니다. 대괄호로 묶인 콘텐츠를 설치에 해당하는 값으로 바꿔 속성 값을 지정합니다. 속성은 다음 표에 설명되어 있습니다.

    SAP HANA를 설치하지 않고 VM 인스턴스를 만들려면 sap_hana_로 시작하는 모든 줄을 삭제하거나 주석 처리합니다.

    속성 데이터 유형 설명
    instanceName 문자열 지금 정의 중인 VM 인스턴스의 이름입니다. 기본 VM 정의와 보조 VM 정의에 서로 다른 이름을 지정합니다. 소문자, 숫자 또는 하이픈으로 이름을 지정해야 합니다.
    instanceType 문자열 SAP HANA를 실행할 Compute Engine 가상 머신의 유형입니다. 커스텀 VM 유형이 필요한 경우 사전 정의된 VM 유형을 필요한 수(더 큼)에 가장 가까운 vCPU 수로 지정합니다. 배포가 완료되면 vCPU 수와 메모리 양을 수정합니다.
    zone 문자열 정의하는 VM 인스턴스를 배포할 Google Cloud 영역입니다. 동일한 리전에서 기본 VM 정의와 보조 VM 정의에 서로 다른 영역을 지정합니다. 영역은 서브넷에 선택한 리전과 동일한 리전에 있어야 합니다.
    subnetwork 문자열 이전 단계에서 만든 서브네트워크의 이름입니다. 공유 VPC에 배포하는 경우 이 값을 [SHAREDVPC_PROJECT]/[SUBNETWORK]로 지정합니다. 예를 들면 myproject/network1입니다.
    linuxImage 문자열 SAP HANA와 함께 사용할 Linux 운영체제 이미지나 이미지 계열의 이름입니다. 이미지 계열을 지정하려면 계열 이름에 family/ 프리픽스를 추가합니다. 예를 들면 family/rhel-7-6-sap-ha입니다. 특정 이미지를 지정하려면 이미지 이름만 지정합니다. 사용 가능한 이미지와 계열의 목록은 Cloud Console의 이미지 페이지를 참조하세요.
    linuxImageProject 문자열 사용하려는 이미지가 포함된 Google Cloud 프로젝트입니다. 이 프로젝트는 자체 프로젝트이거나 rhel-sap-cloud와 같은 Google Cloud 이미지 프로젝트일 수 있습니다. GCP 이미지 프로젝트에 대한 자세한 내용은 Compute Engine 문서의 이미지 페이지를 참조하세요.
    sap_hana_deployment_bucket 문자열 이전 단계에서 업로드한 SAP HANA 설치 및 버전 파일이 포함된 프로젝트의 GCP 스토리지 버킷 이름입니다. 배포 프로세스 중에 버킷의 모든 업그레이드 버전 파일이 SAP HANA에 적용됩니다.
    sap_hana_sid 문자열 SAP HANA 시스템 ID(SID)입니다. ID는 3자리 영숫자 문자로 구성되고 문자로 시작되어야 합니다. 모든 문자는 대문자여야 합니다.
    sap_hana_instance_number 정수 SAP HANA 시스템의 인스턴스 번호입니다(0~99). 기본값은 0입니다.
    sap_hana_sidadm_password 문자열 운영체제(OS) 관리자의 비밀번호입니다. 비밀번호는 최소 8자 이상이어야 하며 대문자, 소문자, 숫자를 각각 최소 한 개 이상 포함해야 합니다.
    sap_hana_system_password 문자열 데이터베이스 수퍼유저의 비밀번호입니다. 비밀번호는 8자 이상이어야 하며 최소 대문자 1개, 소문자 1개, 숫자 1개를 포함해야 합니다.
    sap_hana_sidadm_uid 정수 사용자가 만든 그룹이 SAP HANA와 충돌하는 것을 방지하기 위해 sidadm 사용자 ID의 기본값은 900입니다. 필요하면 이 값을 다른 값으로 변경할 수 있습니다.
    sap_hana_sapsys_gid 정수 sapsys의 기본 그룹 ID는 79입니다. 위의 값을 지정하면 이 값을 요구사항으로 재정의할 수 있습니다.
    sap_hana_scaleout_nodes 정수 0을 지정합니다. 이 안내는 수직 확장 SAP HANA 시스템에만 적용됩니다.
    networkTag 문자열 방화벽 또는 라우팅 용도로 VM 인스턴스를 나타내는 네트워크 태그입니다. `publicIP: No`를 지정하고 네트워크 태그를 지정하지 않는 경우에는 인터넷에 액세스할 수 있는 다른 방법을 제공해야 합니다.
    publicIP 부울 선택사항. 공개 IP 주소가 VM 인스턴스에 추가되는지 여부를 결정합니다. 기본값은 Yes입니다.
    serviceAccount 문자열 선택사항. 호스트 VM와 호스트 VM에서 실행되는 프로그램에서 사용할 서비스 계정을 지정합니다. 서비스 계정의 구성원 이메일 계정을 지정합니다. 예를 들면 svc-acct-name@project-id.iam.gserviceaccount.com입니다. 기본적으로 Compute Engine 기본 서비스 계정이 사용됩니다. 자세한 내용은 Google Cloud에서 SAP 프로그램의 ID 및 액세스 관리를 참조하세요.
  7. 첫 번째 정의를 복사하고 첫 번째 정의 뒤에 복사본을 붙여넣어 두 번째 VM과 SAP HANA 시스템의 정의를 만듭니다. 다음 단계를 수행하여 예시를 확인합니다.

  8. 두 번째 시스템의 정의에서 첫 번째 정의에서 지정한 값과 다른 값을 다음 속성에 지정합니다.

    • name
    • instanceName
    • zone
  9. 다음을 실행하여 인스턴스를 만듭니다.

    gcloud deployment-manager deployments create deployment-name --config template-name.yaml

    위 명령어는 template.yaml 파일의 사양에 따라 VM을 배포하고, 스토리지 버킷에서 SAP HANA 소프트웨어를 다운로드하고, SAP HANA를 설치하는 Deployment Manager를 호출합니다.

    배포 처리는 두 단계로 구성됩니다. 첫 번째 단계에서는 Deployment Manager가 상태를 콘솔에 씁니다. 두 번째 단계에서는 배포 스크립트가 상태를 Cloud Logging에 씁니다.

전체 template.yaml 구성 파일 예시

다음 예시에서는 SAP HANA 시스템이 설치된 VM 인스턴스 두 개를 배포하는 완성된 template.yaml 구성 파일을 보여줍니다.

이 파일에는 배포할 두 리소스(sap_hana_primarysap_hana_secondary)의 정의가 포함되어 있습니다. 각 리소스 정의에는 VM과 SAP HANA 인스턴스의 정의가 포함됩니다.

sap_hana_secondary 리소스 정의는 첫 번째 정의를 복사하여 붙여넣은 후 name, instanceName, zone 속성 값을 수정하여 만들었습니다. 두 리소스 정의의 다른 모든 속성 값은 동일합니다.

networkTag, serviceAccount, sap_hana_sidadm_uid, sap_hana_sapsys_gid 속성은 구성 파일 템플릿의 고급 옵션 섹션에 있습니다. sap_hana_sidadm_uid 속성과 sap_hana_sapsys_gid 속성은 속성이 주석 처리되어 사용되는 기본값을 표시하기 위해 포함됩니다.

imports:
‐ path: https://storage.googleapis.com/sapdeploy/dm-templates/sap_hana/sap_hana.py

resources:
‐ name: sap_hana_primary
  type: https://storage.googleapis.com/sapdeploy/dm-templates/sap_hana/sap_hana.py
  properties:
    instanceName: hana-ha-vm-1
    instanceType: n2-highmem-32
    zone: us-central1-a
    subnetwork: example-subnet-us-central1
    linuxImage: family/rhel-7-6-sap-ha
    linuxImageProject: rhel-sap-cloud
    sap_hana_deployment_bucket: hana2-sp4-rev46
    sap_hana_sid: HA1
    sap_hana_instance_number: 22
    sap_hana_sidadm_password: Google123
    sap_hana_system_password: Google123
    sap_hana_scaleout_nodes: 0
    networkTag: cluster-ntwk-tag
    serviceAccount: limited-roles@example-project-123456.iam.gserviceaccount.com
    # sap_hana_sidadm_uid: 900
    # sap_hana_sapsys_gid: 79

‐ name: sap_hana_secondary
  type: https://storage.googleapis.com/sapdeploy/dm-templates/sap_hana/sap_hana.py
  properties:
    instanceName: hana-ha-vm-2
    instanceType: n2-highmem-32
    zone: us-central1-c
    subnetwork: example-subnet-us-central1
    linuxImage: family/rhel-7-6-sap-ha
    linuxImageProject: rhel-sap-cloud
    sap_hana_deployment_bucket: hana2-sp4-rev46
    sap_hana_sid: HA1
    sap_hana_instance_number: 22
    sap_hana_sidadm_password: Google123
    sap_hana_system_password: Google123
    sap_hana_scaleout_nodes: 0
    networkTag: cluster-ntwk-tag
    serviceAccount: limited-roles@example-project-123456.iam.gserviceaccount.com
    # sap_hana_sidadm_uid: 900
    # sap_hana_sapsys_gid: 79

호스트 VM에 대한 액세스를 허용하는 방화벽 규칙 만들기

방화벽 규칙을 아직 만들지 않았으면 다음 소스에서 각 호스트 VM에 액세스를 허용하는 방화벽 규칙을 만듭니다.

  • 구성을 위해 로컬 워크스테이션, 배스천 호스트 또는 점프 서버에서
  • 클러스터 노드 간의 액세스를 위해 HA 클러스터의 다른 호스트 VM에서

VPC 방화벽 규칙을 만들 때 호스트 VM을 규칙 대상으로 지정하도록 template.yaml 구성 파일에서 정의한 네트워크 태그를 지정합니다.

배포를 확인하려면 배스천 호스트 또는 로컬 워크스테이션의 SSH 연결을 포트 22에서 허용하는 규칙을 정의합니다.

클러스터 노드 간의 액세스를 위해 동일한 서브네트워크에 있는 다른 VM에서의 모든 연결 유형을 모든 포트에서 허용하는 방화벽 규칙을 추가합니다.

다음 섹션으로 이동하기 전에 배포 확인 및 클러스터 내 통신용 방화벽 규칙을 만들었는지 확인합니다. 자세한 내용은 방화벽 규칙 추가를 참조하세요.

VM 및 SAP HANA 배포 확인

HA 클러스터 구성을 시작하기 전에 로그, OS 디렉터리 매핑, SAP HANA 설치를 확인하여 VM과 SAP HANA가 올바르게 배포되었는지 확인합니다.

로그 확인

  1. Cloud Logging을 열어 오류가 있는지 확인하고 설치 진행 상황을 모니터링합니다.

    Cloud Logging으로 이동

  2. 리소스 탭에서 로깅 리소스로 전역을 선택합니다.

    • "INSTANCE DEPLOYMENT COMPLETE"가 표시되면 Deployment Manager 처리가 완료된 것이므로 다음 단계를 진행할 수 있습니다.
    • 할당량 오류가 표시되면 다음을 수행합니다.

      1. IAM 및 관리자 할당량 페이지에서 SAP HANA 계획 가이드에 나와 있는 SAP HANA 요구사항을 충족하지 않는 할당량을 늘립니다.
      2. Deployment Manager 배포 페이지에서 배포를 삭제하여 설치에 실패한 VM과 영구 디스크를 삭제합니다.
      3. Deployment Manager를 다시 실행합니다.

      Logging 표시

VM 및 SAP HANA의 구성 확인

  1. SAP HANA 시스템이 오류 없이 배포되면 SSH를 사용하여 각 VM에 연결합니다. Compute Engine VM 인스턴스 페이지에서 각 VM 인스턴스의 SSH 버튼을 클릭하거나 선호하는 SSH 방법을 사용할 수 있습니다.

    Compute Engine VM 인스턴스 페이지의 SSH 버튼

  2. 루트 사용자로 변경합니다.

    $ sudo su -
  3. 명령 프롬프트에서 df -h를 입력합니다. 각 VM에서 /hana 디렉터리(예: /hana/data)를 확인합니다.

    Filesystem                        Size  Used Avail Use% Mounted on
    /dev/sda2                          30G  4.0G   26G  14% /
    devtmpfs                          126G     0  126G   0% /dev
    tmpfs                             126G     0  126G   0% /dev/shm
    tmpfs                             126G   17M  126G   1% /run
    tmpfs                             126G     0  126G   0% /sys/fs/cgroup
    /dev/sda1                         200M  9.7M  191M   5% /boot/efi
    /dev/mapper/vg_hana-shared        251G   49G  203G  20% /hana/shared
    /dev/mapper/vg_hana-sap            32G  240M   32G   1% /usr/sap
    /dev/mapper/vg_hana-data          426G  7.0G  419G   2% /hana/data
    /dev/mapper/vg_hana-log           125G  4.2G  121G   4% /hana/log
    /dev/mapper/vg_hanabackup-backup  512G   33M  512G   1% /hanabackup
    tmpfs                              26G     0   26G   0% /run/user/900
    tmpfs                              26G     0   26G   0% /run/user/899
    tmpfs                              26G     0   26G   0% /run/user/1000
  4. 다음 명령어에서 sid를 구성 파일 템플릿에 지정한 시스템 ID로 바꿔 SAP 관리자로 변경합니다.

    # su - sidadm
  5. 다음 명령어를 입력하여 SAP HANA 서비스(예: hdbnameserver, hdbindexserver)가 인스턴스에서 실행 중인지 확인합니다.

    > HDB info

SAP HANA 자동 시작 중지

클러스터의 각 SAP HANA 인스턴스에서 SAP HANA 자동 시작이 중지되었는지 확인합니다. 장애 조치의 경우 Pacemaker는 클러스터에서 SAP HANA 인스턴스의 시작 및 중지를 관리합니다.

  1. 각 호스트에서 sidadm으로 SAP HANA를 중지합니다.

    > HDB stop
  2. 각 호스트에서 vi와 같은 편집기를 사용하여 SAP HANA 프로필을 엽니다.

    vi /usr/sap/SID/SYS/profile/SID_HDBinst_num_host_name
  3. Autostart 속성을 0으로 설정합니다.

    Autostart=0
  4. 프로필을 저장합니다.

  5. 각 호스트에서 sidadm으로 SAP HANA를 시작합니다.

    > HDB start

선택사항: 기본 VM 및 보조 VM에서 SSH 키 구성

SAP HANA 보안 저장소(SSFS) 키는 HA 클러스터의 호스트 간에 동기화되어야 합니다. 동기화를 단순화하고 HA 클러스터의 호스트 간에 백업과 같은 파일을 복사할 수 있도록 이 안내에서는 두 호스트 간의 직접 SSH 연결을 승인합니다.

조직에 내부 네트워크 통신에 적용되는 가이드라인이 있을 수 있습니다. 필요한 경우 배포가 완료된 후 VM에서 메타데이터를 삭제하고 authorized_keys 디렉터리에서 키를 삭제할 수 있습니다.

직접 SSH 연결 설정이 조직의 가이드라인을 준수하지 않으면 다음과 같은 다른 방법을 사용하여 SSFS 키를 동기화하고 파일을 전송할 수 있습니다.

  • Cloud Shell 파일 업로드파일 다운로드 메뉴 옵션을 사용하여 로컬 워크스테이션을 통해 작은 파일을 전송합니다. Cloud Shell로 파일 관리를 참조하세요.
  • Google Cloud Storage 버킷을 사용하여 파일을 교환합니다. Cloud Storage 문서객체 작업을 참조하세요.
  • SAP HANA용 Cloud Storage Backint 에이전트를 사용하여 HANA 데이터베이스를 백업 및 복원합니다. SAP HANA용 Cloud Storage Backint 에이전트를 참조하세요.
  • Filestore 또는 NetApp Cloud Volumes Service와 같은 파일 스토리지 솔루션을 사용하여 공유 폴더를 만듭니다. 공유 스토리지 옵션을 참조하세요.

기본 인스턴스와 보조 인스턴스 간의 SSH 연결을 사용 설정하려면 다음 단계를 수행합니다.

  1. 기본 호스트 VM에서 다음을 수행합니다.

    1. VM에 SSH를 통해 연결합니다.

    2. 호스트 간 SSH 연결이 필요한 사용자의 SSH 키를 생성합니다. 사용자는 일반적으로 본인입니다.

      $ ssh-keygen
    3. 프롬프트에서 Enter 키를 눌러 기본값을 수락합니다.

    4. 보조 VM의 SSH 키 정보로 기본 VM의 메타데이터를 업데이트합니다.

      $ gcloud compute instances add-metadata secondary-host-name \
           --metadata "ssh-keys=$(whoami):$(cat ~/.ssh/id_rsa.pub)" \
           --zone secondary-zone
    5. 기본 VM을 자체에 승인

      $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
  2. 보조 호스트 VM에서 다음을 수행합니다.

    1. VM에 SSH를 통해 연결합니다.

    2. 호스트 간 SSH 연결이 필요한 사용자의 SSH 키를 생성합니다.

      $ ssh-keygen
    3. 기본 VM의 SSH 키 정보로 보조 VM의 메타데이터를 업데이트합니다.

      $ gcloud compute instances add-metadata primary-host-name \
            --metadata "ssh-keys=$(whoami):$(cat ~/.ssh/id_rsa.pub)" \
            --zone primary-zone
    4. 보조 VM을 자체에 승인

      $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
    5. 보조 시스템에서 기본 시스템으로 SSH 연결을 열어 SSH 키가 올바르게 설정되었는지 확인합니다.

      $ ssh primary-host-name
  3. 기본 호스트 VM에서 보조 호스트 VM으로 SSH 연결을 열어 연결 상태를 확인합니다.

    $ ssh secondary-host-name

데이터베이스 백업

데이터베이스 백업을 만들어 SAP HANA 시스템 복제에 데이터베이스 로깅을 시작하고 복구 지점을 만듭니다.

MDC 구성에 테넌트 데이터베이스가 여러 개 있는 경우 각 테넌트 데이터베이스를 백업합니다.

Deployment Manager 템플릿에서는 /hanabackup/data/SID를 기본 백업 디렉터리로 사용합니다.

새 SAP HANA 데이터베이스의 백업을 만들려면 다음 안내를 따르세요.

  1. 기본 호스트에서 sidadm으로 전환합니다. OS 이미지에 따라 명령어가 다를 수 있습니다.

    sudo -i -u sidadm
  2. 데이터베이스 백업을 만듭니다.

    • SAP HANA 단일 데이터베이스 컨테이너 시스템의 경우 다음을 실행합니다.

      > hdbsql -t -u system -p system-password -i inst-num \
        "backup data using file ('full')"

      다음 예시에서는 새 SAP HANA 시스템의 성공적인 응답을 보여줍니다.

      0 rows affected (overall time 18.416058 sec; server time 18.414209 sec)
    • SAP HANA 멀티 데이터베이스 컨테이너 시스템(MDC)의 경우 시스템 데이터베이스와 테넌트 데이터베이스의 백업을 만듭니다.

      > hdbsql -t -d SYSTEMDB -u system -p system-password -i inst_num \
        "backup data using file ('full')"
      > hdbsql -t -d SID -u system -p system-password -i inst-num \
        "backup data using file ('full')"

    다음 예시에서는 새 SAP HANA 시스템의 성공적인 응답을 보여줍니다.

    0 rows affected (overall time 16.590498 sec; server time 16.588806 sec)
  3. 로깅 모드가 보통으로 설정되어 있는지 확인합니다.

    > hdbsql -u system -p system-password -i inst_num \
      "select value from "SYS"."M_INIFILE_CONTENTS" where key='log_mode'"

    다음과 같이 표시됩니다.

    VALUE
    "normal"

SAP HANA 시스템 복제 사용 설정

SAP HANA 시스템 복제를 사용 설정하는 과정에서 기본 호스트에서 보조 호스트로 파일 시스템(SSFS)의 SAP HANA 보안 저장소의 데이터와 키 파일을 복사해야 합니다. 이 절차에서 파일을 복사하는 데 사용되는 방법은 사용 가능한 여러 방법 중 한 가지일 뿐입니다.

  1. 기본 호스트에서 sidadm으로 시스템 복제를 사용 설정합니다.

    > hdbnsutil -sr_enable --name=primary-host-name
  2. 보조 호스트에서 sidadm으로 SAP HANA를 중지합니다.

    > HDB stop
  3. 기본 호스트에서 호스트 VM 간에 SSH를 설정할 때 사용한 사용자 계정과 동일한 사용자 계정을 사용하여 키 파일을 보조 호스트에 복사합니다. 편의를 위해 다음 명령어는 사용자 계정 ID의 환경 변수도 정의합니다.

    $ sudo cp /usr/sap/SID/SYS/global/security/rsecssfs ~/rsecssfs -r
    $ myid=$(whoami)
    $ sudo chown ${myid} -R /home/"${myid}"/rsecssfs
    $ scp -r rsecssfs $(whoami)@secondary-host-name:rsecssfs
    $ rm -r /home/"${myid}"/rsecssfs
    
  4. 보조 호스트에서 이전 단계와 동일한 사용자로 다음을 수행합니다.

    1. rsecssfs 디렉터리의 기존 키 파일을 기본 호스트의 파일로 바꾸고 파일 권한을 설정하여 액세스를 제한합니다.

      $ SAPSID=SID
      $ sudo rm /usr/sap/"${SAPSID}"/SYS/global/security/rsecssfs/data/SSFS_"${SAPSID}".DAT
      $ sudo rm /usr/sap/"${SAPSID}"/SYS/global/security/rsecssfs/key/SSFS_"${SAPSID}".KEY
      $ myid=$(whoami)
      $ sudo cp /home/"${myid}"/rsecssfs/data/SSFS_"${SAPSID}".DAT \
        /usr/sap/"${SAPSID}"/SYS/global/security/rsecssfs/data/SSFS_"${SAPSID}".DAT
      $ sudo cp /home/"${myid}"/rsecssfs/key/SSFS_"${SAPSID}".KEY \
        /usr/sap/"${SAPSID}"/SYS/global/security/rsecssfs/key/SSFS_"${SAPSID}".KEY
      $ sudo chown "${SAPSID,,}"adm:sapsys \
        /usr/sap/"${SAPSID}"/SYS/global/security/rsecssfs/data/SSFS_"${SAPSID}".DAT
      $ sudo chown "${SAPSID,,}"adm:sapsys \
        /usr/sap/"${SAPSID}"/SYS/global/security/rsecssfs/key/SSFS_"${SAPSID}".KEY
      $ sudo chmod 644 \
        /usr/sap/"${SAPSID}"/SYS/global/security/rsecssfs/data/SSFS_"${SAPSID}".DAT
      $ sudo chmod 640 \
        /usr/sap/"${SAPSID}"/SYS/global/security/rsecssfs/key/SSFS_"${SAPSID}".KEY
    2. 홈 디렉터리의 파일을 삭제합니다.

      $ rm -r /home/"${myid}"/rsecssfs
    3. sidadm으로 보조 SAP HANA 시스템을 SAP HANA 시스템 복제에 등록합니다.

      > hdbnsutil -sr_register --remoteHost=primary-host-name --remoteInstance=inst_num \
      --replicationMode=syncmem --operationMode=logreplay --name=secondary-host-name
    4. sidadm으로 SAP HANA를 시작합니다.

      > HDB start

시스템 복제 유효성 검사

기본 호스트에서 sidadm으로 다음 Python 스크립트를 실행하여 SAP HANA 시스템 복제가 활성 상태인지 확인합니다.

$ python $DIR_INSTANCE/exe/python_support/systemReplicationStatus.py

다른 표시기 중에서 복제가 올바르게 설정되어 있으면 xsengine, nameserver, indexserver 서비스에 다음 값이 표시됩니다.

  • Secondary Active StatusYES입니다.
  • Replication StatusACTIVE입니다.

또한 overall system replication statusACTIVE로 표시됩니다.

SAP HANA 1.0 SPS 12만 해당: 모니터링 에이전트의 Linux 사용자 만들기

리소스 에이전트를 SAP HANA 데이터베이스 사용자로 등록해야 시스템 복제 상태에서 쿼리를 실행할 수 있습니다. 리소스 에이전트에는 CATALOG READ 권한과 MONITOR ADMIN 권한이 필요합니다.

리소스 에이전트를 데이터베이스 사용자로 등록하려면 다음 안내를 따르세요.

  1. 기본 호스트에서 다음을 수행합니다.

    1. sidadm으로 사용자 rhelhasync를 만듭니다.

      > hdbsql -i inst_num -u system -p system-password \
        "create user rhelhasync password \"monitoring-user-password\""
      > hdbsql -i inst_num -u system -p system-password \
        "grant CATALOG READ to rhelhasync"
      > hdbsql -i inst_num -u system -p system-password \
        "grant MONITOR ADMIN to rhelhasync"
      > hdbsql -i inst_num -u system -p system-password \
        "ALTER USER rhelhasync DISABLE PASSWORD LIFETIME"
    2. 루트 사용자가 액세스할 수 있도록 루트로 사용자 인증 정보를 저장합니다.

      # /usr/sap/SID/HDBinst_num/exe/hdbuserstore \
        SET SAPHANASIDSR localhost:3inst_num15 rhelhasync \
        "monitoring-user-password"
    3. 루트로 사용자 인증 정보가 성공적으로 저장되었는지 확인합니다.

      # /usr/sap/SID/HDBinst_num/exe/hdbuserstore list

      다음 예시와 비슷한 출력이 표시됩니다.

      ha1adm@hana-ha-vm-1:/usr/sap/HA1/HDB22> /usr/sap/HA1/HDB22/exe/hdbuserstore list
      DATA FILE       : /usr/sap/HA1/home/.hdb/hana-ha-vm-1/SSFS_HDB.DAT
      KEY FILE        : /usr/sap/HA1/home/.hdb/hana-ha-vm-1/SSFS_HDB.KEY
      
      KEY SAPHANAHA1SR
       ENV : localhost:32215
       USER: rhelhasync
    4. 루트로 저장된 키를 사용하여 루트가 데이터베이스에 연결할 수 있는지 확인합니다.

      # /usr/sap/SID/HDBinst_num/exe/hdbsql -U SAPHANASIDSR -i inst_num \
        "select distinct REPLICATION_STATUS from SYS.M_SERVICE_REPLICATION"
  2. 보조 호스트에서 다음을 수행합니다.

    1. 루트 사용자가 액세스할 수 있도록 루트로 사용자 인증 정보를 저장합니다.

      # /usr/sap/SID/HDBinst_num/exe/hdbuserstore \
        SET SAPHANASIDSR localhost:3inst_num15 rhelhasync \
          "monitoring-user-password"
    2. 루트로 사용자 인증 정보가 성공적으로 저장되었는지 확인합니다.

      # /usr/sap/SID/HDBinst_num/exe/hdbuserstore list

      다음 예시와 비슷한 출력이 표시됩니다.

      ha1adm@hana-ha-vm-2:/usr/sap/HA1/HDB22> /usr/sap/HA1/HDB22/exe/hdbuserstore list
      DATA FILE       : /usr/sap/HA1/home/.hdb/hana-ha-vm-2/SSFS_HDB.DAT
      KEY FILE        : /usr/sap/HA1/home/.hdb/hana-ha-vm-2/SSFS_HDB.KEY
      KEY SAPHANAHA1SR
       ENV : localhost:32215
       USER: rhelhasync

오류 메시지가 표시되거나 비밀번호를 변경하라는 메시지가 표시되면 hdbsql 명령어나 SAP HANA Studio를 사용하여 리소스 에이전트 사용자의 비밀번호가 최초 로그인 시 변경되도록 구성되지 않았는지 또는 만료되지 않았는지 확인합니다.

Cloud Load Balancing 장애 조치 지원 구성

장애 조치를 지원하는 내부 TCP/UDP 부하 분산 서비스는 상태 확인 서비스를 기반으로 SAP HANA 클러스터의 활성 호스트로 트래픽을 라우팅합니다. 따라서 활성/수동 구성에서 보호 기능을 제공하며 활성/활성(읽기 지원 보조) 구성을 지원하도록 확장될 수 있습니다.

가상 IP의 IP 주소 예약

가상 IP(VIP) 주소(유동 IP 주소라고도 함)는 활성 SAP HANA 시스템을 따릅니다. 부하 분산기는 VIP로 전송된 트래픽을 현재 활성 SAP HANA 시스템을 호스팅하는 VM으로 라우팅합니다.

  1. Cloud Shell을 엽니다.

    Cloud Shell로 이동

  2. 가상 IP의 IP 주소를 예약합니다. 애플리케이션이 SAP HANA에 액세스하는 데 사용하는 IP 주소입니다. --addresses 플래그를 생략하면 지정된 서브넷의 IP 주소가 자동으로 선택됩니다.

    $ gcloud compute addresses create vip-name \
      --region cluster-region --subnet cluster-subnet \
      --addresses vip-address

    고정 IP를 예약하는 방법에 대한 자세한 내용은 고정 내부 IP 주소 예약을 참조하세요.

  3. IP 주소 예약을 확인합니다.

    $ gcloud compute addresses describe vip-name \
      --region cluster-region

    다음 예시와 비슷한 출력이 표시됩니다.

    address: 10.0.0.19
    addressType: INTERNAL
    creationTimestamp: '2020-05-20T14:19:03.109-07:00'
    description: ''
    id: '8961491304398200872'
    kind: compute#address
    name: vip-for-hana-ha
    networkTier: PREMIUM
    purpose: GCE_ENDPOINT
    region: https://www.googleapis.com/compute/v1/projects/example-project-123456/regions/us-central1
    selfLink: https://www.googleapis.com/compute/v1/projects/example-project-123456/regions/us-central1/addresses/vip-for-hana-ha
    status: RESERVED
    subnetwork: https://www.googleapis.com/compute/v1/projects/example-project-123456/regions/us-central1/subnetworks/example-subnet-us-central1

호스트 VM의 인스턴스 그룹 만들기

  1. Cloud Shell에서 비관리형 인스턴스 그룹 두 개를 만들고 기본 호스트 VM을 한 인스턴스에, 보조 호스트 VM을 다른 인스턴스에 할당합니다.

    $ gcloud compute instance-groups unmanaged create primary-ig-name \
      --zone=primary-zone
    $ gcloud compute instance-groups unmanaged add-instances primary-ig-name \
      --zone=primary-zone \
      --instances=primary-host-name
    $ gcloud compute instance-groups unmanaged create secondary-ig-name \
      --zone=secondary-zone
    $ gcloud compute instance-groups unmanaged add-instances secondary-ig-name \
      --zone=secondary-zone \
      --instances=secondary-host-name
    
  2. 인스턴스 그룹 생성을 확인합니다.

    $ gcloud compute instance-groups unmanaged list

    다음 예시와 비슷한 출력이 표시됩니다.

    NAME          ZONE           NETWORK          NETWORK_PROJECT        MANAGED  INSTANCES
    hana-ha-ig-1  us-central1-a  example-network  example-project-123456 No       1
    hana-ha-ig-2  us-central1-c  example-network  example-project-123456 No       1

Compute Engine 상태 확인 만들기

  1. Cloud Shell에서 상태 확인을 만듭니다. 상태 확인에 사용되는 포트로, 다른 서비스와 충돌하지 않도록 비공개 범위 49152~65535에서 포트를 선택합니다. Compute Engine 라이브 마이그레이션 이벤트 중에 장애 조치 허용 범위를 늘리기 위해 확인 간격 및 제한 시간 값이 기본값보다 약간 더 깁니다. 필요한 경우 이러한 값을 조정할 수 있습니다.

    $ gcloud compute health-checks create tcp health-check-name --port=healthcheck-port-num \
      --proxy-header=NONE --check-interval=10 --timeout=10 --unhealthy-threshold=2 \
      --healthy-threshold=2
  2. 상태 확인 생성을 확인합니다.

    $ gcloud compute health-checks describe health-check-name

    다음 예시와 비슷한 출력이 표시됩니다.

    checkIntervalSec: 10
    creationTimestamp: '2020-05-20T21:03:06.924-07:00'
    healthyThreshold: 2
    id: '4963070308818371477'
    kind: compute#healthCheck
    name: hana-health-check
    selfLink: https://www.googleapis.com/compute/v1/projects/example-project-123456/global/healthChecks/hana-health-check
    tcpHealthCheck:
     port: 60000
     portSpecification: USE_FIXED_PORT
     proxyHeader: NONE
    timeoutSec: 10
    type: TCP
    unhealthyThreshold: 2

상태 확인에 사용할 방화벽 규칙 만들기

Compute Engine 상태 확인 35.191.0.0/16130.211.0.0/22에 사용되는 IP 범위에서 호스트 VM에 액세스할 수 있는 비공개 범위의 포트에 사용할 방화벽 규칙을 정의합니다. 자세한 내용은 상태 확인에 사용할 방화벽 규칙 만들기를 참조하세요.

  1. 방화벽을 아직 만들지 않았으면 상태 확인을 허용하는 방화벽 규칙을 만듭니다.

    $ gcloud compute firewall-rules create  rule-name \
      --network network-name \
      --action ALLOW \
      --direction INGRESS \
      --source-ranges 35.191.0.0/16,130.211.0.0/22 \
      --target-tags network-tags \
      --rules tcp:hlth-chk-port-num

    예시:

    gcloud compute firewall-rules create  fw-allow-health-checks \
    --network example-network \
    --action ALLOW \
    --direction INGRESS \
    --source-ranges 35.191.0.0/16,130.211.0.0/22 \
    --target-tags cluster-ntwk-tag \
    --rules tcp:60000

부하 분산기 및 장애 조치 그룹 구성

  1. 부하 분산기 백엔드 서비스를 만듭니다.

    $ gcloud compute backend-services create backend-service-name \
      --load-balancing-scheme internal \
      --health-checks health-check-name \
      --no-connection-drain-on-failover \
      --drop-traffic-if-unhealthy \
      --failover-ratio 1.0 \
      --region cluster-region \
      --global-health-checks
  2. 기본 인스턴스 그룹을 백엔드 서비스에 추가합니다.

    $ gcloud compute backend-services add-backend backend-service-name \
      --instance-group primary-ig-name \
      --instance-group-zone primary-zone \
      --region cluster-region
  3. 보조 장애 조치 인스턴스 그룹을 백엔드 서비스에 추가합니다.

    $ gcloud compute backend-services add-backend backend-service-name \
      --instance-group secondary-ig-name \
      --instance-group-zone secondary-zone \
      --failover \
      --region cluster-region
  4. 전달 규칙을 만듭니다. IP 주소에 VIP용으로 예약한 IP 주소를 지정합니다.

    $ gcloud compute forwarding-rules create rule-name \
      --load-balancing-scheme internal \
      --address vip-address \
      --subnet cluster-subnet \
      --region cluster-region \
      --backend-service backend-service-name \
      --ports ALL

부하 분산기 구성 테스트

백엔드 인스턴스 그룹이 나중까지 정상으로 등록되지 않더라도 상태 확인에 응답하도록 리스너를 설정하여 부하 분산기 구성을 테스트할 수 있습니다. 리스너를 설정한 후 부하 분산기가 올바르게 구성되면 백엔드 인스턴스 그룹 상태가 정상으로 변경됩니다.

다음 섹션에서는 구성을 테스트하는 데 사용할 수 있는 다양한 방법을 보여줍니다.

socat 유틸리티로 부하 분산기 테스트

socat 유틸리티를 사용하여 상태 확인 포트에서 일시적으로 리슨할 수 있습니다.

  1. 두 호스트 VM 모두에 socat 유틸리티를 설치합니다.

    $ sudo yum install -y socat

  2. socat 프로세스를 시작하여 상태 확인 포트에서 60초 동안 리슨합니다.

    $ sudo timeout 60s socat - TCP-LISTEN:hlth-chk-port-num,fork

  3. Cloud Shell에서 상태 확인이 리스너를 감지할 때까지 몇 초 정도 기다린 후 백엔드 인스턴스 그룹 상태를 확인합니다.

    $ gcloud compute backend-services get-health backend-service-name \
      --region cluster-region

    다음과 비슷한 출력이 표시됩니다.

    ---
    backend: https://www.googleapis.com/compute/v1/projects/example-project-123456/zones/us-central1-a/instanceGroups/hana-ha-ig-1
    status:
     healthStatus:
     ‐ healthState: HEALTHY
       instance: https://www.googleapis.com/compute/v1/projects/example-project-123456/zones/us-central1-a/instances/hana-ha-vm-1
       ipAddress: 10.0.0.35
       port: 80
     kind: compute#backendServiceGroupHealth
    ---
    backend: https://www.googleapis.com/compute/v1/projects/example-project-123456/zones/us-central1-c/instanceGroups/hana-ha-ig-2
    status:
     healthStatus:
     ‐ healthState: HEALTHY
       instance: https://www.googleapis.com/compute/v1/projects/example-project-123456/zones/us-central1-c/instances/hana-ha-vm-2
       ipAddress: 10.0.0.34
       port: 80
     kind: compute#backendServiceGroupHealth

포트 22를 사용하여 부하 분산기 테스트

호스트 VM에서 SSH 연결용으로 포트 22가 열려 있으면 상태 확인기에 응답할 수 있는 리스너가 있는 포트 22를 사용하도록 상태 확인기를 임시로 수정할 수 있습니다.

포트 22를 일시적으로 사용하려면 다음 단계를 수행합니다.

  1. Console에서 상태 확인을 클릭합니다.

    상태 확인 페이지로 이동

  2. 수정을 클릭합니다.

  3. 포트 필드에서 포트 번호를 22로 변경합니다.

  4. 저장을 클릭하고 1~2분 정도 기다립니다.

  5. Cloud Shell에서 백엔드 인스턴스 그룹 상태를 확인합니다.

    $ gcloud compute backend-services get-health backend-service-name \
      --region cluster-region

    다음과 비슷한 출력이 표시됩니다.

    ---
    backend: https://www.googleapis.com/compute/v1/projects/example-project-123456/zones/us-central1-a/instanceGroups/hana-ha-ig-1
    status:
     healthStatus:
     ‐ healthState: HEALTHY
       instance: https://www.googleapis.com/compute/v1/projects/example-project-123456/zones/us-central1-a/instances/hana-ha-vm-1
       ipAddress: 10.0.0.35
       port: 80
     kind: compute#backendServiceGroupHealth
    ---
    backend: https://www.googleapis.com/compute/v1/projects/example-project-123456/zones/us-central1-c/instanceGroups/hana-ha-ig-2
    status:
     healthStatus:
     ‐ healthState: HEALTHY
       instance: https://www.googleapis.com/compute/v1/projects/example-project-123456/zones/us-central1-c/instances/hana-ha-vm-2
       ipAddress: 10.0.0.34
       port: 80
     kind: compute#backendServiceGroupHealth
  6. 확인을 완료하면 상태 확인 포트 번호를 원래 포트 번호로 다시 변경합니다.

Pacemaker 설정

다음 절차에서는 SAP HANA용 Compute Engine VM에서 Pacemaker 클러스터의 Red Hat 구현을 구성합니다.

이 절차는 다음을 포함하여 고가용성 클러스터 구성용 Red Hat 문서(Red Hat 구독 필요)를 바탕으로 합니다.

두 노드 모두에 클러스터 에이전트 설치

두 노드 모두에서 다음 단계를 완료합니다.

  1. 루트로 Pacemaker 구성요소를 설치합니다.

    # yum -y install pcs pacemaker fence-agents-gce resource-agents-gcp resource-agents-sap-hana
    # yum update -y

    Google에서 제공하는 SAP용 RHEL 이미지를 사용하는 경우 이 패키지가 이미 설치되어 있지만 일부 업데이트가 필요할 수 있습니다.

  2. 패키지의 일부로 설치된 hacluster 사용자의 비밀번호를 설정합니다.

    # passwd hacluster
  3. 프롬프트에서 hacluster의 비밀번호를 지정합니다.

  4. Google Cloud에서 제공하는 RHEL 이미지에서는 OS 방화벽 서비스가 기본적으로 활성화됩니다. 고가용성 트래픽을 허용하도록 방화벽 서비스를 구성합니다.

    # firewall-cmd --permanent --add-service=high-availability
    # firewall-cmd --reload
  5. pcs 서비스를 시작하고 부팅 시 시작되도록 구성합니다.

    # systemctl start pcsd.service
    # systemctl enable pcsd.service
  6. pcs 서비스 상태를 확인합니다.

    # systemctl status pcsd.service

    다음과 비슷한 출력이 표시됩니다.

    ● pcsd.service - PCS GUI and remote configuration interface
      Loaded: loaded (/usr/lib/systemd/system/pcsd.service; enabled; vendor preset: disabled)
      Active: active (running) since Sat 2020-06-13 21:17:05 UTC; 25s ago
        Docs: man:pcsd(8)
              man:pcs(8)
    Main PID: 31627 (pcsd)
      CGroup: /system.slice/pcsd.service
              └─31627 /usr/bin/ruby /usr/lib/pcsd/pcsd
    Jun 13 21:17:03 hana-ha-vm-1 systemd[1]: Starting PCS GUI and remote configuration interface...
    Jun 13 21:17:05 hana-ha-vm-1 systemd[1]: Started PCS GUI and remote configuration interface.
  7. /etc/hosts 파일에서 클러스터에 있는 두 호스트 모두의 전체 호스트 이름과 내부 IP 주소를 추가합니다. 예:

    127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
    ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
    10.0.0.40 hana-ha-vm-1.us-central1-a.c.example-project-123456.internal hana-ha-vm-1  # Added by Google
    10.0.0.41 hana-ha-vm-2.us-central1-c.c.example-project-123456.internal hana-ha-vm-2
    169.254.169.254 metadata.google.internal  # Added by Google

    RHEL 클러스터 노드에 /etc/hosts 파일을 설정하는 방법을 Red Hat에서 자세히 알아보려면 https://access.redhat.com/solutions/81123을 참조하세요.

클러스터 만들기

  1. 한 노드에서 루트로 hacluster 사용자를 승인합니다.

    # pcs cluster auth primary-host-name secondary-host-name
  2. 프롬프트에서 hacluster 사용자 이름과 hacluster 사용자에 설정한 비밀번호를 입력합니다.

  3. 클러스터를 만들고 자동으로 시작되도록 설정합니다.

    # pcs cluster setup --name cluster-name primary-host-name secondary-host-name
    # pcs cluster enable --all
    # pcs cluster start --all

corosync.conf 기본 설정 수정

Google Cloud에서 HA 클러스터의 내결함성을 테스트하기에 더 적절한 시작점을 설정하려면 기본 호스트에서 /etc/corosync/corosync.conf 파일을 수정합니다.

  1. 호스트 어느 한 쪽에서 수정을 위해 /etc/corosync/corosync.conf 파일을 엽니다.

    # vi /etc/corosync/corosync.conf
  2. corosync.conf 파일의 totem 섹션에 표시된 대로 다음 속성을 제안된 값으로 추가합니다.

    • transport
      • RHEL 8 이상: transport: knet
      • RHEL 7: transport: udpu
    • token: 20000
    • token_retransmits_before_loss_const: 10
    • join: 60
    • max_messages: 20

    예를 들면 다음과 같습니다.

    totem {
     version: 2
     cluster_name: hacluster
     secauth: off
     transport: knet
     token: 20000
     token_retransmits_before_loss_const: 10
     join: 60
     max_messages: 20
    }
    ...
  3. 수정된 corosync.conf 파일이 포함된 호스트에서 corosync 구성을 클러스터 간에 동기화합니다.

    # pcs cluster sync corosync
  4. 클러스터를 새로 고침합니다.

    # pcs cluster reload corosync
  5. corosync-cmapctl 유틸리티를 사용하여 클러스터에서 새로운 corosync 설정이 활성화되었는지 확인합니다.

    # corosync-cmapctl

펜싱 설정

Google Cloud에서 제공하는 RHEL 이미지에는 Google Cloud와 관련된 fence_gce 펜싱 에이전트가 포함되어 있습니다. fence_gce를 사용하여 각 호스트 VM의 펜스 기기를 만듭니다.

fence_gce 펜싱 에이전트에서 사용할 수 있는 모든 옵션을 보려면 fence_gce -h를 실행하세요.

  1. 기본 호스트에서 루트로 다음을 수행합니다.

    1. 호스트 VM마다 펜싱 기기를 만듭니다.

      # pcs stonith create primary-fence-name fence_gce \
        port=primary-host-name \
        zone=primary-host-zone \
        project=project-id
      # pcs stonith create secondary-fence-name fence_gce \
        port=secondary-host-name \
        zone=secondary-host-zone \
        project=project-id
    2. 각 펜스 기기를 다른 호스트 VM으로 제한합니다.

      # pcs constraint location primary-fence-name \
        prefers secondary-host-name=INFINITY
      # pcs constraint location secondary-fence-name \
        prefers primary-host-name=INFINITY
  2. 기본 호스트에서 루트로 보조 펜스 기기를 테스트합니다.

    1. 보조 호스트 VM을 종료합니다.

      # fence_gce -o off -n secondary-host-name --zone=secondary-host-zone

      명령어가 성공하면 보조 호스트 VM에 대한 연결이 끊어지고 Cloud Console의 VM 인스턴스 페이지에서 중지된 것으로 나타납니다. 페이지를 새로 고쳐야 할 수도 있습니다.

    2. 보조 호스트 VM을 다시 시작합니다.

      # fence_gce -o on -n secondary-host-name --zone=secondary-host-zone
  3. 보조 호스트에서 루트로 명령어에 기본 호스트 값을 사용하고 앞의 단계를 반복하여 기본 펜스 기기를 테스트합니다.

  4. 두 호스트 중 하나에서 루트로 클러스터 상태를 확인합니다.

    # pcs status

    펜스 리소스는 다음 예시와 같이 클러스터 상태의 리소스 섹션에 표시됩니다.

    [root@hana-ha-vm-2 ~]# pcs status
    Cluster name: hana-ha-cluster
    Stack: corosync
    Current DC: hana-ha-vm-1 (version 1.1.19-8.el7_6.5-c3c624ea3d) - partition with quorum
    Last updated: Mon Jun 15 17:19:07 2020
    Last change: Mon Jun 15 17:18:33 2020 by root via cibadmin on hana-ha-vm-1
    
    2 nodes configured
    2 resources configured
    
    Online: [ hana-ha-vm-1 hana-ha-vm-2 ]
    
    Full list of resources:
    
     STONITH-hana-ha-vm-1   (stonith:fence_gce):    Started hana-ha-vm-2
     STONITH-hana-ha-vm-2   (stonith:fence_gce):    Started hana-ha-vm-1
    
    Daemon Status:
      corosync: active/enabled
      pacemaker: active/enabled
      pcsd: active/enabled

SAP HANA 2.0 SPS 03 이상: SAP HANA HA/DR 제공업체 후크 사용 설정

SAP HANA 2.0 SPS 03 이상에서 RHEL 7.6 이상을 사용하는 경우 Red Hat에서 SAP HANA HA/DR 공급자 후크를 사용하는 것이 좋습니다.

SAP HANA HA/DR 제공업체 후크를 사용하면 SAP HANA가 특정 이벤트에 대한 알림을 보낼 수 있어 장애 감지 능력이 향상됩니다.

RHEL 버전이 7.6 이전이거나 SAP HANA 버전이 2.0 SPS 03 이전인 경우 후크가 RHEL에서 지원되지 않습니다.

다음 단계에서는 SAP HANA HA/DR 제공업체 후크를 사용 설정합니다.

  1. 두 호스트 중 하나에서 루트로 클러스터를 중지합니다.

    # pcs cluster stop --all
  2. 두 호스트 모두에서 다음을 수행합니다.

    1. sidadm으로 SAP HANA를 중지합니다.

      > HDB stop
    2. 루트로 제공된 SAP HANA 스크립트를 설치합니다.

      # mkdir -p /hana/shared/myHooks
      # cp /usr/share/SAPHanaSR/srHook/SAPHanaSR.py /hana/shared/myHooks
      # chown -R sidadm:sapsys /hana/shared/myHooks
    3. 루트로 수정할 global.ini 파일을 엽니다.

      # vi /hana/shared/SID/global/hdb/custom/config/global.ini
    4. global.ini 파일에 다음 정의를 추가합니다.

      [ha_dr_provider_SAPHanaSR]
      provider = SAPHanaSR
      path = /hana/shared/myHooks
      execution_order = 1
      
      [trace]
      ha_dr_saphanasr = info
    5. 루트로 srConnectionChanged() 후크가 호출될 때 후크 스크립트에서 노드 속성을 업데이트할 수 있도록 Sudo 구성 파일을 만듭니다.

      # vi /etc/sudoers.d/20-saphana
    6. /etc/sudoers.d/20-saphana 파일에 다음 텍스트를 추가합니다.

      1 Cmnd_Alias SOK   = /usr/sbin/crm_attribute -n hana_SID_glob_srHook -v SOK -t crm_config -s SAPHanaSR
      2 Cmnd_Alias SFAIL = /usr/sbin/crm_attribute -n hana_SID_glob_srHook -v SFAIL -t crm_config -s SAPHanaSR
      3 sidadm ALL=(ALL) NOPASSWD: SOK, SFAIL
    7. sidadm으로 SAP HANA를 시작합니다.

      > HDB start
    8. sidadm으로 후크 스크립트에서 보고된 상태를 테스트합니다.

      > cdtrace
      > awk '/ha_dr_SAPHanaSR.*crm_attribute/ { printf "%s %s %s %s\n",$2,$3,$5,$16 }' nameserver_*

클러스터 기본값 설정

마이그레이션 임곗값과 고정값을 설정하여 장애 발생 전에 시도할 장애 조치 수를 결정하고 먼저 현재 호스트에서 시스템을 다시 시작하도록 설정합니다. 이 작업을 노드 하나에만 설정하면 클러스터에 적용됩니다.

  1. 두 호스트 중 하나에서 루트로 클러스터를 시작합니다.

    # pcs cluster start --all #start the cluster
  2. 리소스 기본값을 설정합니다.

    # pcs resource defaults resource-stickiness=1000
    # pcs resource defaults migration-threshold=5000

    resource-stickiness 속성은 서비스가 해당 위치에서 계속 실행될 가능성을 제어합니다. 값이 클수록 서비스가 더욱 고정됩니다. 값이 1000이면 서비스가 상당히 고정된 것입니다.

    migration-threshold 속성은 서비스가 다른 호스트로 장애 조치되려면 발생해야 하는 장애 수를 지정합니다. 값이 5000이면 수명이 짧은 오류 상황에서 장애 조치가 발생하지 않습니다.

    pcs resource defaults를 입력하면 리소스 기본값을 확인할 수 있습니다.

  3. startup-fencing 속성과 stonith-enabled 속성이 아직 true로 설정되어 있지 않으면 지금 true로 설정합니다.

    # pcs property set startup-fencing="true"
    # pcs property set stonith-enabled="true"

    pcs property list로 속성 설정을 확인할 수 있습니다.

SAPHanaTopology 리소스 만들기

SAPHanaTopology 리소스는 노드에서 HANA 시스템 복제의 상태와 구성을 가져옵니다. 또한 SAP 호스트 에이전트를 확인합니다.

  1. 두 호스트 중 하나에서 루트로 SAPHanaTopology 리소스를 만듭니다.

    # pcs resource create topology_resource_name SAPHanaTopology SID=SID \
       InstanceNumber=inst_num \
       op start timeout=600 \
       op stop timeout=300 \
       op monitor interval=10 timeout=600 \
       clone clone-max=2 clone-node-max=1 interleave=true
  2. 리소스가 생성되면 구성을 확인합니다. 리소스 이름에 -clone을 추가하여 응답에 클론 세트 정보를 포함합니다.

    # pcs resource show topology_resource_name-clone

    다음과 비슷한 출력이 표시됩니다.

    Clone: SAPHanaTopology_HA1_22-clone
    Meta Attrs: clone-max=2 clone-node-max=1 interleave=true
    Resource: SAPHanaTopology_HA1_22 (class=ocf provider=heartbeat type=SAPHanaTopology)
     Attributes: InstanceNumber=22 SID=HA1
     Operations: methods interval=0s timeout=5 (SAPHanaTopology_HA1_22-methods-interval-0s)
                 monitor interval=10 timeout=600 (SAPHanaTopology_HA1_22-monitor-interval-10)
                 reload interval=0s timeout=5 (SAPHanaTopology_HA1_22-reload-interval-0s)
                 start interval=0s timeout=600 (SAPHanaTopology_HA1_22-start-interval-0s)
                 stop interval=0s timeout=300 (SAPHanaTopology_HA1_22-stop-interval-0s)

또한 crm_mon -A1 명령어를 사용하여 클러스터 속성을 확인할 수 있습니다.

SAPHana 리소스 만들기

SAPHana 리소스 에이전트는 SAP HANA 시스템 복제용으로 구성된 데이터베이스를 관리합니다.

SAPHana 리소스 정의의 다음 매개변수는 선택사항입니다.

  • AUTOMATED_REGISTER: true로 설정하면 인계 후 DUPLICATE_PRIMARY_TIMEOUT이 만료되면 이전 기본 서버를 보조 서버로 자동 등록합니다. 기본값은 false입니다.
  • DUPLICATE_PRIMARY_TIMEOUT: 이중 기본 상황이 발생하면 두 기본 타임스탬프 간의 시간 차이를 초 단위로 설정합니다. 기본값은 7200입니다.
  • PREFER_SITE_TAKEOVER: 장애 조치가 시작되기 전에 로컬 다시 시작 시도 여부를 지정합니다. 기본값은 false입니다.

이러한 매개변수에 대한 자세한 내용은 Google Cloud에 Red Hat Enterprise Linux 7.6 이상의 고가용성 클러스터 설치 및 구성을 참조하세요. Red Hat 구독이 필요합니다.

  1. 두 호스트 중 하나에서 루트로 SAP HANA 리소스를 만듭니다.

    # pcs resource create sap_hana_resource_name SAPHana SID=SID \
        InstanceNumber=inst_num \
        PREFER_SITE_TAKEOVER=true DUPLICATE_PRIMARY_TIMEOUT=7200 AUTOMATED_REGISTER=true \
        op start timeout=3600 \
        op stop timeout=3600 \
        op monitor interval=61 role="Slave" timeout=700 \
        op monitor interval=59 role="Master" timeout=700 \
        op promote timeout=3600 \
        op demote timeout=3600 \
        master meta notify=true clone-max=2 clone-node-max=1 interleave=true
  2. 결과로 나타나는 리소스 속성을 확인합니다.

    # pcs resource show sap_hana_resource_name

    다음 예시와 비슷한 출력이 표시됩니다.

     Resource: SAPHana_HA1_22 (class=ocf provider=heartbeat type=SAPHana)
      Attributes: AUTOMATED_REGISTER=true DUPLICATE_PRIMARY_TIMEOUT=7200 InstanceNumber=22 PREFER_SITE_TAKEOVER=true SID=HA1
      Meta Attrs: clone-max=2 clone-node-max=1 interleave=true notify=true
      Operations: demote interval=0s timeout=3600 (SAPHana_HA1_22-demote-interval-0s)
                  methods interval=0s timeout=5 (SAPHana_HA1_22-methods-interval-0s)
                  monitor interval=61 role=Slave timeout=700 (SAPHana_HA1_22-monitor-interval-61)
                  monitor interval=59 role=Master timeout=700 (SAPHana_HA1_22-monitor-interval-59)
                  promote interval=0s timeout=3600 (SAPHana_HA1_22-promote-interval-0s)
                  reload interval=0s timeout=5 (SAPHana_HA1_22-reload-interval-0s)
                  start interval=0s timeout=3600 (SAPHana_HA1_22-start-interval-0s)
                  stop interval=0s timeout=3600 (SAPHana_HA1_22-stop-interval-0s)
  3. 리소스가 시작된 후 노드 속성을 점검하여 노드에서 SAP HANA 데이터베이스의 현재 상태를 확인합니다.

    # crm_mon -A1

    다음과 비슷한 출력이 표시됩니다.

    Stack: corosync
    Current DC: hana-ha-vm-2 (version 1.1.19-8.el7_6.5-c3c624ea3d) - partition with quorum
    Last updated: Tue Jun 16 20:07:51 2020
    Last change: Tue Jun 16 20:07:26 2020 by root via crm_attribute on hana-ha-vm-1
    
    2 nodes configured
    6 resources configured
    
    Online: [ hana-ha-vm-1 hana-ha-vm-2 ]
    
    Active resources:
    
    STONITH-hana-ha-vm-1   (stonith:fence_gce):    Started hana-ha-vm-2
    STONITH-hana-ha-vm-2   (stonith:fence_gce):    Started hana-ha-vm-1
    Clone Set: SAPHanaTopology_HA1_22-clone [SAPHanaTopology_HA1_22]
        Started: [ hana-ha-vm-1 hana-ha-vm-2 ]
    Master/Slave Set: SAPHana_HA1_22-master [SAPHana_HA1_22]
        Masters: [ hana-ha-vm-1 ]
        Slaves: [ hana-ha-vm-2 ]
    
    Node Attributes:
    * Node hana-ha-vm-1:
       + hana_ha1_clone_state              : PROMOTED
       + hana_ha1_op_mode                  : logreplay
       + hana_ha1_remoteHost               : hana-ha-vm-2
       + hana_ha1_roles                    : 4:P:master1:master:worker:master
       + hana_ha1_site                     : hana-ha-vm-1
       + hana_ha1_srmode                   : syncmem
       + hana_ha1_sync_state               : PRIM
       + hana_ha1_version                  : 1.00.122.27.1568902538
       + hana_ha1_vhost                    : hana-ha-vm-1
       + lpa_ha1_lpt                       : 1592338046
       + master-SAPHana_HA1_22             : 150
    * Node hana-ha-vm-2:
       + hana_ha1_clone_state              : DEMOTED
       + hana_ha1_op_mode                  : logreplay
       + hana_ha1_remoteHost               : hana-ha-vm-1
       + hana_ha1_roles                    : 4:S:master1:master:worker:master
       + hana_ha1_site                     : hana-ha-vm-2
       + hana_ha1_srmode                   : syncmem
       + hana_ha1_sync_state               : SOK
       + hana_ha1_version                  : 1.00.122.27.1568902538
       + hana_ha1_vhost                    : hana-ha-vm-2
       + lpa_ha1_lpt                       : 30
       + master-SAPHana_HA1_22             : 100

가상 IP 주소 리소스 만들기

VIP용 클러스터 리소스를 만들어야 합니다. VIP 리소스는 기본 운영체제로 현지화되며 다른 호스트에서 라우팅될 수 없습니다. 부하 분산기는 VIP로 전송되는 트래픽을 상태 확인에 따라 백엔드 호스트로 라우팅합니다.

두 호스트 중 하나에서 루트로 다음을 수행합니다.

# pcs resource create resource_name \
  IPaddr2 ip="vip-address" nic=eth0 cidr_netmask=32

vip-address 값은 이전에 예약하고 전달 규칙에서 부하 분산기의 프런트엔드에 지정한 IP 주소입니다. 구성에 맞게 네트워크 인터페이스를 변경합니다.

제약조건 만들기

제약조건을 만들어 먼저 시작해야 하는 서비스와 동일한 호스트에서 함께 실행해야 하는 서비스를 정의할 수 있습니다. 예를 들어 IP 주소는 기본 HANA 인스턴스와 동일한 호스트에 있어야 합니다.

  1. 시작 순서 제약조건을 정의합니다.

    # pcs constraint order topology_resource_name-clone \
      then sap_hana_resource_name-master symmetrical=false

    symmetrical=false 사양은 제약조건이 시작에만 적용되고 종료에는 적용되지 않음을 의미합니다.

    하지만 앞의 단계에서 이 리소스에 interleave=true를 설정했으므로 프로세스가 동시에 시작될 수 있습니다. 즉, SAPHanaTopology가 실행되는 즉시 모든 노드에서 SAPHana를 시작할 수 있습니다.

  2. 코로케이션 제약조건을 정의합니다.

    # pcs constraint colocation add vip_resource_name \
      with master sap_hana_resource_name-master 4000

    기본 INFINITY 대신 4000 점수를 사용하면 SAPHana 리소스에서 마스터가 승격되지 않았을 때 클러스터가 IPaddr2 리소스를 삭제하므로 SAP Management Console이나 SAP LaMa와 같은 도구에서 이 주소를 사용하여 SAP 인스턴스 상태를 쿼리할 수 있습니다.

  3. 제약조건을 확인합니다.

    # pcs constraint

    다음과 비슷한 출력이 표시됩니다.

    Location Constraints:
     Resource: STONITH-hana-ha-vm-1
       Enabled on: hana-ha-vm-2 (score:INFINITY)
     Resource: STONITH-hana-ha-vm-2
       Enabled on: hana-ha-vm-1 (score:INFINITY)
    Ordering Constraints:
     start SAPHanaTopology_HA1_22-clone then start SAPHana_HA1_22-master (kind:Mandatory) (non-symmetrical)
    Colocation Constraints:
     rsc_vip_HA1_22 with SAPHana_HA1_22-master (score:4000) (rsc-role:Started) (with-rsc-role:Master)
    Ticket Constraints:

리스너 설치 및 상태 확인 리소스 만들기

상태 확인 리소스를 구성하려면 먼저 리스너를 설치해야 합니다.

리스너 설치

부하 분산기는 각 호스트의 상태 확인 포트에서 리스너를 사용하여 SAP HANA 클러스터의 기본 인스턴스가 실행되는 위치를 파악합니다.

  1. 각 호스트에서 루트로 단순한 TCP 리스너를 설치합니다. 이 안내에서는 HAProxy를 설치하고 리스너로 사용합니다.

    # yum install haproxy
  2. 수정할 구성 파일 haproxy.cfg를 엽니다.

    # vi /etc/haproxy/haproxy.cfg
    1. haproxy.cfgdefaults 섹션에서 modetcp로 변경합니다.

    2. defaults 섹션 뒤에 다음을 추가하여 새 섹션을 만듭니다.

      #---------------------------------------------------------------------
      # Health check listener port for SAP HANA HA cluster
      #---------------------------------------------------------------------
      listen healthcheck
        bind *:healthcheck-port-num

      bind 포트는 상태 확인을 만들 때 사용한 포트와 동일한 포트입니다.

      작업을 완료하면 업데이트가 다음 예시와 비슷하게 표시됩니다.

      #---------------------------------------------------------------------
      # common defaults that all the 'listen' and 'backend' sections will
      # use if not designated in their block
      #---------------------------------------------------------------------
      defaults
        mode                    tcp
        log                     global
        option                  httplog
        option                  dontlognull
        option http-server-close
        option forwardfor       except 127.0.0.0/8
        option                  redispatch
        retries                 3
        timeout http-request    10s
        timeout queue           1m
        timeout connect         10s
        timeout client          1m
        timeout server          1m
        timeout http-keep-alive 10s
        timeout check           10s
        maxconn                 3000
      
      #---------------------------------------------------------------------
      # Set up health check listener for SAP HANA HA cluster
      #---------------------------------------------------------------------
      listen healthcheck
       bind *:60000
  3. 각 호스트에서 루트로 서비스를 시작하여 올바르게 구성되었는지 확인합니다.

    # systemctl start haproxy.service
  4. Cloud Console의 부하 분산기 페이지에서 부하 분산기 항목을 클릭합니다.

    부하 분산 페이지

    부하 분산기 세부정보 페이지의 백엔드 섹션에서 HAProxy 서비스가 두 호스트 모두에서 활성화되면 각 인스턴스 그룹 항목의 정상 열에 1/1이 표시됩니다.

    두 인스턴스 그룹의 정상 열에 `1/1`이 표시되어 둘 다 정상임을 나타내는 화면 캡처

  5. 각 호스트에서 HAProxy 서비스를 중지합니다.

    # systemctl stop haproxy.service

    각 호스트에서 HAProxy 서비스를 중지하면 각 인스턴스 그룹의 정상 열에 0/1이 표시됩니다.

    각 인스턴스 그룹의 정상 열에 `0/1`이 표시되어 활성 리스너가 없음을 나타내는 화면 캡처

    나중에 상태 확인이 구성되면 클러스터가 마스터 노드에서 리스너를 다시 시작합니다.

상태 확인 리소스 만들기

  1. 두 호스트 중 하나에서 루트로 HAProxy 서비스의 상태 확인 리소스를 만듭니다.

    # pcs resource create healthcheck_resource_name service:haproxy
  2. 상태 확인 서비스가 마스터 SAP HANA 인스턴스 및 VIP 리소스와 동일한 호스트에서 활성 상태인지 확인합니다.

    # pcs status

    상태 확인 리소스가 기본 호스트에 있지 않으면 다음 명령어를 사용하여 리소스를 이동합니다.

    # pcs resource move healthcheck_resource_name target_host_name
    # pcs resource clear healthcheck_resource_name

    pcs resource clear 명령어는 리소스를 새 위치에 두지만 pcs resource move 명령어가 만든 원치 않는 위치 제약조건을 삭제합니다.

    상태에서 리소스 섹션은 다음 예시와 비슷하게 표시됩니다.

    Full list of resources:
    
    STONITH-hana-ha-vm-1   (stonith:fence_gce):    Started hana-ha-vm-2
    STONITH-hana-ha-vm-2   (stonith:fence_gce):    Started hana-ha-vm-1
    Clone Set: SAPHanaTopology_HA1_22-clone [SAPHanaTopology_HA1_22]
        Started: [ hana-ha-vm-1 hana-ha-vm-2 ]
    Master/Slave Set: SAPHana_HA1_22-master [SAPHana_HA1_22]
        Masters: [ hana-ha-vm-1 ]
        Slaves: [ hana-ha-vm-2 ]
    rsc_vip_HA1_22 (ocf::heartbeat:IPaddr2):       Started hana-ha-vm-1
    rsc_healthcheck_HA1    (service:haproxy):      Started hana-ha-vm-2
  3. VIP 리소스와 상태 확인 리소스를 함께 그룹화합니다.

    # pcs resource group add rsc-group-name healthcheck_resource_name vip_resource_name

    클러스터 상태에서 리소스 섹션은 다음 예시와 비슷하게 표시됩니다.

    Full list of resources:
    
    STONITH-hana-ha-vm-1   (stonith:fence_gce):    Started hana-ha-vm-2
    STONITH-hana-ha-vm-2   (stonith:fence_gce):    Started hana-ha-vm-1
    Clone Set: SAPHanaTopology_HA1_22-clone [SAPHanaTopology_HA1_22]
        Started: [ hana-ha-vm-1 hana-ha-vm-2 ]
    Master/Slave Set: SAPHana_HA1_22-master [SAPHana_HA1_22]
        Masters: [ hana-ha-vm-1 ]
        Slaves: [ hana-ha-vm-2 ]
    Resource Group: g-primary
        rsc_healthcheck_HA1        (service:haproxy):      Started hana-ha-vm-1
        rsc_vip_HA1_22     (ocf::heartbeat:IPaddr2):       Started hana-ha-vm-1
  4. 마스터 SAP HANA 인스턴스와 동일한 노드에서 새 그룹을 찾는 제약조건을 만듭니다.

    # pcs constraint colocation add rsc-group-name with master sap_hana_resource_name-master 4000

    최종 제약조건은 다음 예시와 비슷하게 표시됩니다.

    # pcs constraint
    Location Constraints:
     Resource: STONITH-hana-ha-vm-1
       Enabled on: hana-ha-vm-2 (score:INFINITY)
     Resource: STONITH-hana-ha-vm-2
       Enabled on: hana-ha-vm-1 (score:INFINITY)
    Ordering Constraints:
     start SAPHanaTopology_HA1_22-clone then start SAPHana_HA1_22-master (kind:Mandatory) (non-symmetrical)
    Colocation Constraints:
     rsc_vip_HA1_22 with SAPHana_HA1_22-master (score:4000) (rsc-role:Started) (with-rsc-role:Master)
     g-primary with SAPHana_HA1_22-master (score:4000) (rsc-role:Started) (with-rsc-role:Master)
    Ticket Constraints:

장애 조치 테스트

기본 호스트에서 장애를 시뮬레이션하여 클러스터를 테스트할 수 있습니다. 사용할 시스템을 출시하기 전에 테스트 시스템을 사용하거나 프로덕션 시스템에서 테스트를 실행합니다.

테스트 전에 시스템을 백업합니다.

다음과 같은 다양한 방법으로 장애를 시뮬레이션할 수 있습니다.

  • HDB stop
  • HDB kill
  • shutdown -r(활성 노드에서)
  • ip link set eth0 down
  • echo c > /proc/sysrq-trigger

이 안내에서는 장애 조치와 펜싱의 유효성을 모두 확인하므로 ip link set eth0 down을 사용하여 네트워크 인터페이스를 오프라인으로 전환합니다.

  1. 활성 호스트에서 루트로 네트워크 인터페이스를 오프라인으로 전환합니다.

    # ip link set eth0 down
  2. Logging에서 장애 조치 진행 상황을 살펴봅니다.

    Logging으로 이동

    다음 예시는 성공적인 장애 조치의 로그 항목을 보여줍니다.

    장애 조치에 대한 Logging 로그 스크린샷

  3. SSH를 사용하여 두 호스트 중 하나에 다시 연결하고 루트 사용자로 변경합니다.

  4. pcs status를 입력하여 보조 호스트를 포함하는 데 사용됐던 VM에서 지금 기본 호스트가 활성 상태임을 확인합니다. 다음 예시와 같이 클러스터에 자동으로 다시 시작이 사용 설정되어 있으므로 중지된 호스트가 다시 시작되고 보조 호스트 역할을 할당합니다.

    Cluster name: hana-ha-cluster
    Stack: corosync
    Current DC: hana-ha-vm-2 (version 1.1.19-8.el7_6.5-c3c624ea3d) - partition with quorum
    Last updated: Wed Jun 17 01:04:36 2020
    Last change: Wed Jun 17 01:03:58 2020 by root via crm_attribute on hana-ha-vm-2
    
    2 nodes configured
    8 resources configured
    
    Online: [ hana-ha-vm-1 hana-ha-vm-2 ]
    
    Full list of resources:
    
    STONITH-hana-ha-vm-1   (stonith:fence_gce):    Started hana-ha-vm-2
    STONITH-hana-ha-vm-2   (stonith:fence_gce):    Started hana-ha-vm-1
    Clone Set: SAPHanaTopology_HA1_22-clone [SAPHanaTopology_HA1_22]
        Started: [ hana-ha-vm-1 hana-ha-vm-2 ]
    Master/Slave Set: SAPHana_HA1_22-master [SAPHana_HA1_22]
        Masters: [ hana-ha-vm-2 ]
        Slaves: [ hana-ha-vm-1 ]
    Resource Group: g-primary
        rsc_healthcheck_HA1        (service:haproxy):      Started hana-ha-vm-2
        rsc_vip_HA1_22     (ocf::heartbeat:IPaddr2):       Started hana-ha-vm-2
    
    Daemon Status:
     corosync: active/enabled
     pacemaker: active/enabled
     pcsd: active/enabled

문제해결

다음 디렉터리에서 로그를 찾을 수 있습니다.

  • /var/log/pacemaker.log
  • /var/log/cluster/corosync.log

유효한 클러스터 상태:

# pcs status
Cluster name: hana-ha-cluster
Stack: corosync
Current DC: hana-ha-vm-1 (version 1.1.19-8.el7_6.5-c3c624ea3d) - partition with quorum
Last updated: Wed Jun 17 00:34:16 2020
Last change: Wed Jun 17 00:34:09 2020 by root via crm_attribute on hana-ha-vm-1

2 nodes configured
8 resources configured

Online: [ hana-ha-vm-1 hana-ha-vm-2 ]

Full list of resources:

 STONITH-hana-ha-vm-1   (stonith:fence_gce):    Started hana-ha-vm-2
 STONITH-hana-ha-vm-2   (stonith:fence_gce):    Started hana-ha-vm-1
 Clone Set: SAPHanaTopology_HA1_22-clone [SAPHanaTopology_HA1_22]
     Started: [ hana-ha-vm-1 hana-ha-vm-2 ]
 Master/Slave Set: SAPHana_HA1_22-master [SAPHana_HA1_22]
     Masters: [ hana-ha-vm-1 ]
     Slaves: [ hana-ha-vm-2 ]
 Resource Group: g-primary
     rsc_healthcheck_HA1        (service:haproxy):      Started hana-ha-vm-1
     rsc_vip_HA1_22     (ocf::heartbeat:IPaddr2):       Started hana-ha-vm-1

Daemon Status:
  corosync: active/enabled
  pacemaker: active/enabled
  pcsd: active/enabled

NAT 게이트웨이 설치 완료

NAT 게이트웨이를 만든 경우 다음 단계를 완료합니다.

  1. 모든 인스턴스에 태그를 추가합니다.

    export NETWORK_NAME="[YOUR_NETWORK_NAME]"
    export TAG="[YOUR_TAG_TEXT]"
    gcloud compute instances add-tags "[PRIMARY_VM_NAME]" --tags="$TAG" --zone=[PRIMARY_VM_ZONE]
    gcloud compute instances add-tags "[SECONDARY_VM_NAME]" --tags="$TAG" --zone=[SECONDARY_VM_ZONE]
  2. 외부 IP를 삭제합니다.

    gcloud compute instances delete-access-config "[PRIMARY_VM_NAME]" --access-config-name "external-nat" --zone=[PRIMARY_VM_ZONE]
    gcloud compute instances delete-access-config "[SECONDARY_VM_NAME]" --access-config-name "external-nat" --zone=[SECONDARY_VM_ZONE]

SAP HANA에 연결

호스트 VM에 SAP HANA용 외부 IP 주소가 없으면 SSH를 사용하는 배스천 인스턴스를 통해 또는 SAP HANA Studio를 사용하는 Windows 서버를 통해서만 SAP HANA 인스턴스에 연결할 수 있습니다.

  • 배스천 인스턴스를 통해 SAP HANA에 연결하려면 원하는 SSH 클라이언트를 사용하여 배스천 호스트에 연결한 후 SAP HANA 인스턴스에 연결합니다.

  • SAP HANA Studio를 통해 SAP HANA 데이터베이스에 연결하려면 원격 데스크톱 클라이언트를 사용하여 Windows Server 인스턴스에 연결합니다. 연결 후 수동으로 SAP HANA Studio를 설치하고 SAP HANA 데이터베이스에 액세스합니다.

배포 후 작업 수행

SAP HANA 인스턴스를 사용하기 전에 새 SAP HANA 데이터베이스를 구성하고 백업하는 것이 좋습니다.

추가 정보:

다음 단계

자세한 내용은 다음 리소스를 참조하세요.