부하 분산기 VIP 구현을 포함하는 자동 SAP HANA HA 배포

이 가이드에서는 내부 TCP/UDP 부하 분산을 사용하는 Red Hat Enterprise Linux (RHEL) 또는 SUSE Linux Enterprise Server (SLES) 고가용성 (HA) 클러스터에서 SAP HANA 배포를 자동화하여 가상 IP (VIP) 주소를 관리하는 방법을 알려줍니다.

이 가이드에서는 Google Cloud, SAP, OS 공급업체의 모든 권장사항에 따라 Cloud Deployment Manager를 사용하여 Compute Engine 가상 머신(VM) 두 개, SAP HANA 수직 확장 시스템 두 개, 부하 분산기 구현이 포함된 가상 IP 주소(VIP), OS 기반 HA 클러스터를 배포합니다.

SAP HANA 시스템 중 하나는 기본 활성 시스템 역할을 하며 다른 하나는 보조 대기 시스템 역할을 합니다. 같은 리전 내에서, 이상적으로는 서로 다른 영역의 SAP HANA 시스템 두 개 모두를 배포합니다.

단일 노드 SAP HANA 수직 확장 시스템을 위한 고가용성 Linux 클러스터의 개요

배포된 클러스터에는 다음 기능 및 특징이 포함됩니다.

  • Pacemaker 고가용성 클러스터 리소스 관리자
  • Google Cloud 펜싱 메커니즘
  • 다음을 포함하여 수준 4 TCP 내부 부하 분산기 구현을 사용하는 가상 IP(VIP):
    • VIP에 선택한 IP 주소의 예약
    • Compute Engine 인스턴스 그룹 두 개
    • TCP 내부 부하 분산기
    • Compute Engine 상태 확인
  • RHEL HA 클러스터:
    • Red Hat 고가용성 패턴
    • Red Hat 리소스 에이전트 및 펜싱 패키지
  • SLES HA 클러스터:
    • SUSE 고가용성 패턴
    • SUSE SAPHanaSR 리소스 에이전트 패키지
  • 동기 시스템 복제
  • 메모리 미리 로드
  • 실패한 인스턴스를 새 보조 인스턴스로 자동 다시 시작

Linux 고가용성 클러스터 또는 대기 호스트 없이 SAP HANA 시스템을 배포하려면 SAP HANA 배포 가이드를 사용하세요.

이 가이드는 SAP HANA용 Linux 고가용성 구성에 익숙한 SAP HANA 고급 사용자를 대상으로 합니다.

기본 요건

SAP HANA 고가용성 클러스터를 만들기 전에 다음 기본 요건을 충족하는지 확인하세요.

  • 사용자 또는 사용자의 조직에 Google Cloud 계정이 있어야 하고 SAP HANA 배포를 위한 프로젝트를 만들어야 합니다. Google Cloud 계정 및 프로젝트를 만드는 방법에 대한 상세 설명은 SAP HANA 배포 가이드의 Google 계정 설정을 참조하세요.
  • SAP HANA 설치 미디어가 배포 프로젝트 및 리전에서 사용할 수 있는 Cloud Storage 버킷에 저장되어 있어야 합니다. SAP HANA 설치 미디어를 Cloud Storage 버킷에 업로드하는 방법에 대한 상세 설명은 SAP HANA 배포 가이드의 SAP HANA 다운로드를 참조하세요.

  • 프로젝트 메타데이터에 OS 로그인이 사용 설정된 경우 배포가 완료될 때까지 OS 로그인을 일시적으로 사용 중지해야 합니다. 이 절차는 배포 목적으로 인스턴스 메타데이터의 SSH 키를 구성합니다. OS 로그인이 사용 설정되면 메타데이터 기반 SSH 키 구성이 사용 중지되고 이 배포가 실패합니다. 배포가 완료되면 OS 로그인을 다시 사용 설정할 수 있습니다.

    자세한 내용은 다음을 참조하세요.

  • VPC 내부 DNS를 사용하는 경우 전체 영역에서 노드 이름을 확인하려면 프로젝트 메타데이터의 VmDnsSetting 변수 값이 GlobalOnly 또는 ZonalPreferred여야 합니다. VmDnsSetting의 기본 설정은 ZonalOnly입니다. 자세한 내용은 다음을 참조하세요.

네트워크 만들기

보안 문제로 새 네트워크를 만들어야 합니다. 방화벽 규칙을 추가하거나 다른 액세스 제어 방법을 사용하여 액세스 권한이 있는 사용자를 제어할 수 있습니다.

프로젝트에 기본 VPC 네트워크가 있더라도 사용하지 마세요. 명시적으로 직접 만든 방화벽 규칙만 적용되도록 VPC 네트워크를 직접 만드시기 바랍니다.

배포 중에 VM 인스턴스는 일반적으로 Google의 모니터링 에이전트를 다운로드하기 위해 인터넷에 액세스할 수 있어야 합니다. Google Cloud에서 제공하는 SAP 인증 Linux 이미지 중 하나를 사용하는 경우 VM 인스턴스도 라이선스를 등록하고 OS 공급업체 저장소에 액세스하기 위해 인터넷에 액세스할 수 있어야 합니다. NAT 게이트웨이 및 VM 네트워크 태그가 있는 구성은 대상 VM에 외부 IP가 없더라도 이러한 액세스를 지원합니다.

네트워킹을 설정하는 방법은 다음과 같습니다.

  1. Cloud Shell로 이동합니다.

    Cloud Shell로 이동

  2. 커스텀 서브네트워크 모드에서 새 네트워크를 만들려면 다음을 실행합니다.

    gcloud compute networks create NETWORK_NAME --subnet-mode custom

    NETWORK_NAME을 새 네트워크 이름으로 바꿉니다. 네트워크 이름은 소문자, 숫자, 대시 문자(-)만 포함할 수 있습니다.

    각 Compute Engine 리전에 서브넷을 자동으로 만드는 기본 자동 모드를 사용하지 않으려면 --subnet-mode custom을 지정합니다. 자세한 내용은 서브넷 생성 모드를 참조하세요.

  3. 서브네트워크를 만들고 리전 및 IP 범위를 지정합니다.

    gcloud compute networks subnets create SUBNETWORK_NAME \
            --network NETWORK_NAME --region REGION --range RANGE

    다음을 바꿉니다.

    • SUBNETWORK_NAME: 새 서브네트워크의 이름입니다.
    • NETWORK_NAME: 이전 단계에서 만든 네트워크의 이름입니다.
    • REGION: 서브네트워크가 위치할 리전입니다.
    • RANGE: CIDR 형식으로 지정된 IP 주소 범위(예: 10.1.0.0/24)입니다. 서브네트워크를 두 개 이상 추가하려는 경우 네트워크의 각 서브네트워크에 서로 겹치지 않는 CIDR IP 범위를 할당하세요. 각 서브네트워크 및 내부 IP 범위는 단일 리전에 매핑됩니다.
  4. 필요한 경우 위 단계를 반복하여 서브네트워크를 더 추가합니다.

NAT 게이트웨이 설정

공개 IP 주소가 없는 VM을 하나 이상 만들어야 하는 경우 네트워크 주소 변환(NAT)을 사용하여 VM이 인터넷에 액세스하도록 설정해야 합니다. VM이 인터넷에 아웃바운드 패킷을 보내고 그에 따라 설정된 인바운드 응답 패킷을 받을 수 있도록 하는 Google Cloud 분산 소프트웨어 정의 관리형 서비스인 Cloud NAT를 사용하세요. 또는 별도의 VM을 NAT 게이트웨이로 설정할 수 있습니다.

프로젝트에 Cloud NAT 인스턴스를 만들려면 Cloud NAT 사용을 참조하세요.

프로젝트에 Cloud NAT를 구성하면 VM 인스턴스가 공개 IP 주소 없이 인터넷에 안전하게 액세스할 수 있습니다.

방화벽 규칙 추가

묵시적인 방화벽 규칙은 Virtual Private Cloud(VPC) 네트워크 외부에서 들어오는 연결을 차단하는 것이 기본 설정되어 있습니다. 들어오는 연결을 허용하려면 VM에 방화벽 규칙을 설정합니다. VM에 들어오는 연결이 설정되면 이 연결을 통한 양방향 트래픽이 허용됩니다.

SAP HANA용 HA 클러스터에는 방화벽 규칙이 최소 두 개 이상 필요합니다. 하나는 클러스터 노드 상태를 확인하도록 Compute Engine 상태 확인을 허용하고 다른 하나는 클러스터 노드 간 통신을 허용합니다.

공유 VPC 네트워크를 사용하지 않을 경우에는 상태 확인이 아닌 노드 간 통신에 사용되는 방화벽 규칙을 만들어야 합니다. Deployment Manager 템플릿은 상태 확인용 방화벽 규칙을 만듭니다. 배포가 완료된 후 필요에 따라 이 방화벽 규칙을 수정할 수 있습니다.

공유 VPC 네트워크를 사용하는 경우 네트워크 관리자는 호스트 프로젝트에 두 방화벽 규칙을 모두 만들어야 합니다.

또한 동일한 네트워크에서 지정된 포트에 대한 외부 액세스를 허용하거나 VM 간 액세스를 제한하는 방화벽 규칙을 만들 수 있습니다. default VPC 네트워크 유형이 사용되는 경우 모든 포트에서 동일한 네트워크에 있는 VM 간의 연결을 허용하는 default-allow-internal 규칙과 같은 일부 기본 규칙도 추가로 적용됩니다.

사용자 환경에 적용 가능한 IT 정책 마다 다를 수 있지만, 방화벽 규칙 생성을 통해 데이터베이스 호스에 대한 연결을 격리하거나 제한해야 할 수도 있습니다.

시나리오에 따라 다음에 대한 액세스를 허용하는 방화벽 규칙을 만들 수 있습니다.

  • 모든 SAP 제품의 TCP/IP에 나열된 기본 SAP 포트
  • 사용자 컴퓨터 또는 기업 네트워크 환경에서 Compute Engine VM 인스턴스에 연결. 사용할 IP 주소를 모르는 경우 회사의 네트워크 관리자에게 문의하세요.
  • 브라우저의 SSH를 포함하여 SSH를 통한 VM 인스턴스 연결
  • Linux에서 타사 도구를 사용하여 VM에 연결. 방화벽을 통해 도구에 대한 액세스를 허용하는 규칙을 만듭니다.

방화벽 규칙을 만들려면 다음 안내를 따르세요.

Console

  1. Cloud Console에서 방화벽 규칙 페이지로 이동합니다.

    방화벽 규칙 열기

  2. 페이지 상단에서 방화벽 규칙 만들기를 클릭합니다.

    • 네트워크 필드에서 VM이 위치하는 네트워크를 선택합니다.
    • 대상 필드에 이 규칙이 적용되는 Google Cloud의 리소스를 지정합니다. 예를 들어 네트워크의 모든 인스턴스를 지정합니다. 또는 규칙을 Google Cloud의 특정 인스턴스로 제한하려면 지정된 대상 태그에 태그를 입력합니다.
    • 소스 필터 필드에서 다음 중 하나를 선택합니다.
      • 특정 IP 주소에서 들어오는 트래픽을 허용하려면 IP 범위를 선택합니다. 소스 IP 범위 필드에 IP 주소 범위를 지정합니다.
      • 특정 서브네트워크에서 들어오는 트래픽을 허용하려면 서브넷을 선택합니다. 다음 서브넷 필드에서 서브네트워크 이름을 지정합니다. 이 옵션을 사용하면 3계층 또는 수평 확장 구성의 VM 간에 액세스를 허용할 수 있습니다.
    • 프로토콜 및 포트 섹션에서 지정된 프로토콜 및 포트를 선택하고 tcp:[PORT_NUMBER]를 입력합니다.
  3. 만들기를 클릭하여 방화벽 규칙을 만듭니다.

gcloud

다음 명령어를 사용하여 방화벽 규칙을 만듭니다.

$ gcloud compute firewall-rules create firewall-name
--direction=INGRESS --priority=1000 \
--network=network-name --action=ALLOW --rules=protocol:port \
--source-ranges ip-range --target-tags=network-tags

SAP HANA가 설치된 고가용성 Linux 클러스터 만들기

다음 안내에서는 Cloud Deployment Manager를 사용하여 하나의 VM 인스턴스에 있는 기본 단일 호스트 SAP HANA 시스템 및 동일한 Compute Engine 리전의 다른 VM 인스턴스의 대기 SAP HANA 시스템이라는 2개의 SAP HANA 시스템이 있는 RHEL 또는 SLES 클러스터를 만듭니다. SAP HANA 시스템은 동기 시스템 복제를 사용하며, 대기 시스템은 복제된 데이터를 미리 로드합니다.

Deployment Manager 구성 파일 템플릿에 SAP HANA 고가용성 클러스터를 위한 구성 옵션을 정의합니다.

다음 안내에서는 Cloud Shell을 사용하지만 일반적으로 Cloud SDK에 적용할 수 있습니다.

  1. 영구 디스크, CPU 등 리소스의 현재 할당량이 설치하려는 SAP HANA 시스템에 충분한지 확인합니다. 할당량이 충분하지 않은 경우 배포가 실패합니다. SAP HANA 할당량 요구사항은 SAP HANA의 가격 책정 및 할당량 고려사항을 참조하세요.

    할당량 페이지로 이동

  2. Cloud Shell을 엽니다. 로컬 워크스테이션에 Cloud SDK를 설치한 경우에는 터미널을 엽니다.

    Cloud Shell로 이동

  3. Cloud Shell 또는 Cloud SDK에 다음 명령어를 입력하여 SAP HANA 고가용성 클러스터용 template.yaml 구성 파일 템플릿을 작업 디렉터리에 다운로드합니다.

    $ wget https://storage.googleapis.com/cloudsapdeploy/deploymentmanager/latest/dm-templates/sap_hana_ha_ilb/template.yaml
  4. 필요한 경우 template.yaml 파일의 이름을 변경하여 정의하는 구성을 식별합니다.

  5. Cloud Shell 코드 편집기에서 또는 Cloud SDK를 사용하는 경우 원하는 텍스트 편집기에서 template.yaml 파일을 엽니다.

    Cloud Shell 코드 편집기를 열려면 Cloud Shell 터미널 창 오른쪽 상단의 연필 아이콘을 클릭합니다.

  6. template.yaml 파일에서 대괄호로 묶인 콘텐츠를 설치에 해당하는 값으로 바꿔 다음 속성 값을 업데이트합니다. 속성은 다음 표에 설명되어 있습니다.

    SAP HANA를 설치하지 않고 VM 인스턴스를 만들려면 sap_hana_로 시작하는 모든 줄을 삭제하거나 주석 처리합니다.

    속성 데이터 유형 설명
    유형 문자열

    배포 중에 사용할 배포 관리자 템플릿의 위치, 유형, 버전을 지정합니다.

    YAML 파일에는 두 가지의 type 사양이 포함되어 있으며 그 중 하나는 주석 처리되어 있습니다. 기본적으로 활성화되는 type 사양은 템플릿 버전을 latest로 지정합니다. 주석 처리된 type 사양은 타임스탬프가 있는 특정 템플릿 버전을 지정합니다.

    모든 배포에서 동일한 템플릿 버전을 사용하려면 타임스탬프가 포함된 type 사양을 사용하세요.

    primaryInstanceName 문자열 기본 SAP HANA 시스템의 VM 인스턴스 이름입니다. 소문자, 숫자, 하이픈으로 이름을 지정합니다.
    secondaryInstanceName 문자열 보조 SAP HANA 시스템의 VM 인스턴스 이름입니다. 소문자, 숫자, 하이픈으로 이름을 지정합니다.
    primaryZone 문자열 기본 SAP HANA 시스템이 배포되는 영역입니다. 기본 영역과 보조 영역은 같은 리전에 있어야 합니다.
    secondaryZone 문자열 보조 SAP HANA 시스템이 배포되는 영역입니다. 기본 영역과 보조 영역은 같은 리전에 있어야 합니다.
    instanceType 문자열 SAP HANA를 실행하는 데 필요한 Compute Engine 가상 머신의 유형입니다. 커스텀 VM 유형이 필요한 경우 사전 정의된 VM 유형을 필요한 수(더 큼)에 가장 가까운 vCPU 수로 지정합니다. 배포가 완료되면 vCPU 수와 메모리 양을 수정합니다.
    네트워크 문자열 VIP를 관리하는 부하 분산기를 만들려는 네트워크의 이름입니다.

    공유 VPC 네트워크를 사용하는 경우 호스트 프로젝트의 ID를 네트워크 이름의 상위 디렉터리로 추가해야 합니다. 예를 들면 host-project-id/network-name입니다.

    하위 네트워크 문자열 HA 클러스터에 사용할 서브네트워크의 이름입니다.

    공유 VPC 네트워크를 사용하는 경우 호스트 프로젝트의 ID를 서브네트워크 이름의 상위 디렉터리로 추가해야 합니다. 예를 들면 host-project-id/subnetwork-name입니다.

    linuxImage 문자열 SAP HANA와 함께 사용할 Linux 운영체제 이미지 또는 이미지 계열의 이름입니다. 이미지 계열을 지정하려면 계열 이름에 프리픽스 family/를 추가합니다. 예를 들면 family/rhel-8-2-sap-ha 또는 family/sles-15-sp2-sap입니다. 특정 이미지를 지정하려면 이미지 이름만 지정합니다. 사용 가능한 이미지 계열의 목록은 Cloud Console에서 이미지 페이지를 참조하세요.
    linuxImageProject 문자열 사용할 이미지가 포함된 Google Cloud 프로젝트입니다. 이 프로젝트는 자체 프로젝트이거나 Google Cloud 이미지 프로젝트일 수 있습니다. RHEL의 경우 rhel-sap-cloud을 지정합니다. SLES의 경우 suse-sap-cloud를 지정합니다. GCP 이미지 프로젝트 목록은 Compute Engine 문서에서 이미지 페이지를 참조하세요.
    sap_hana_deployment_bucket 문자열 이전 단계에서 업로드한 SAP HANA 설치 파일이 포함된 프로젝트에 있는 GCP 스토리지 버킷의 이름입니다.
    sap_hana_sid 문자열 SAP HANA 시스템 ID입니다. ID는 3자리 영숫자 문자로 구성되고 문자로 시작되어야 합니다. 모든 문자는 대문자여야 합니다.
    sap_hana_instance_number 정수 SAP HANA 시스템의 인스턴스 번호입니다(0~99). 기본값은 0입니다.
    sap_hana_sidadm_password 문자열 배포 중에 사용할 운영체제 관리자의 임시 비밀번호입니다. 배포가 완료되면 비밀번호를 변경합니다. 비밀번호는 8자 이상이어야 하며 최소 대문자 1개, 소문자 1개, 숫자 1개를 포함해야 합니다.
    sap_hana_system_password 문자열 데이터베이스 수퍼유저의 임시 비밀번호입니다. 배포가 완료되면 비밀번호를 변경합니다. 비밀번호는 8자 이상이어야 하며 최소 1개의 대문자, 1개의 소문자, 1개의 숫자를 포함해야 합니다.
    sap_vip 문자열 VIP에 사용할 IP 주소입니다. IP 주소는 서브네트워크에 할당된 IP 주소 범위 내에 있어야 합니다. Deployment Manager 템플릿은 자동으로 이 IP 주소를 예약합니다. 활성 HA 클러스터에서 이 IP 주소는 항상 활성 SAP HANA 인스턴스에 할당됩니다.
    primaryInstanceGroupName 문자열 기본 노드의 비관리형 인스턴스 그룹 이름을 정의합니다. 매개변수를 생략하면 기본 이름은 ig-primaryInstanceName입니다.
    secondaryInstanceGroupName 문자열 보조 노드의 비관리형 인스턴스 그룹 이름을 정의합니다. 이 매개변수를 생략하면 기본 이름은 ig-secondaryInstanceName입니다.
    loadBalancerName 문자열 TCP 내부 부하 분산기 이름을 정의합니다.

    다음 예시에서는 SAP HANA용 고가용성 클러스터를 정의하는 완성된 구성 파일 템플릿을 보여줍니다. 클러스터는 내부 TCP/UDP 부하 분산을 사용하여 VIP를 관리합니다.

    Deployment Manager는 구성 파일에 정의된 Google Cloud 리소스를 배포한 후 스크립트를 이어서 수행하여 운영체제를 구성하고 SAP HANA를 설치하고 복제를 구성하며 Linux HA 클러스터를 구성합니다.

    RHEL 또는 SLES를 클릭하여 운영체제에 해당하는 예시를 확인합니다.

    RHEL

    resources:
    - name: sap_hana_ha
      type: https://storage.googleapis.com/cloudsapdeploy/deploymentmanager/latest/dm-templates/sap_hana_ha_ilb/sap_hana_ha.py
      #
      # By default, this configuration file uses the latest release of the deployment
      # scripts for SAP on Google Cloud.  To fix your deployments to a specific release
      # of the scripts, comment out the type property above and uncomment the type property below.
      #
      # type: https://storage.googleapis.com/cloudsapdeploy/deploymentmanager/yyyymmddhhmm/dm-templates/sap_hana_ha_ilb/sap_hana_ha.py
      #
      properties:
        primaryInstanceName: example-ha-vm1
        secondaryInstanceName: example-ha-vm2
        primaryZone: us-central1-a
        secondaryZone: us-central1-c
        instanceType: n2-highmem-32
        network: example-network
        subnetwork: example-subnet-us-central1
        linuxImage: family/rhel-8-1-sap-ha
        linuxImageProject: rhel-sap-cloud
        # SAP HANA parameters
        sap_hana_deployment_bucket: my-hana-bucket
        sap_hana_sid: HA1
        sap_hana_instance_number: 00
        sap_hana_sidadm_password: TempPa55word
        sap_hana_system_password: TempPa55word
        # VIP parameters
        sap_vip: 10.0.0.100
        primaryInstanceGroupName: ig-example-ha-vm1
        secondaryInstanceGroupName: ig-example-ha-vm2
        loadBalancerName: lb-ha1
        # Additional optional properties
        networkTag: hana-ha-ntwk-tag
        serviceAccount: sap-deploy-example@example-project-123456.iam.gserviceaccount.com

    SLES

    resources:
    - name: sap_hana_ha
      type: https://storage.googleapis.com/cloudsapdeploy/deploymentmanager/latest/dm-templates/sap_hana_ha_ilb/sap_hana_ha.py
      #
      # By default, this configuration file uses the latest release of the deployment
      # scripts for SAP on Google Cloud.  To fix your deployments to a specific release
      # of the scripts, comment out the type property above and uncomment the type property below.
      #
      # type: https://storage.googleapis.com/cloudsapdeploy/deploymentmanager/yyyymmddhhmm/dm-templates/sap_hana_ha_ilb/sap_hana_ha.py
      #
      properties:
        primaryInstanceName: example-ha-vm1
        secondaryInstanceName: example-ha-vm2
        primaryZone: us-central1-a
        secondaryZone: us-central1-c
        instanceType: n2-highmem-32
        network: example-network
        subnetwork: example-subnet-us-central1
        linuxImage: family/sles-15-sp1-sap
        linuxImageProject: suse-sap-cloud
        # SAP HANA parameters
        sap_hana_deployment_bucket: my-hana-bucket
        sap_hana_sid: HA1
        sap_hana_instance_number: 00
        sap_hana_sidadm_password: TempPa55word
        sap_hana_system_password: TempPa55word
        # VIP parameters
        sap_vip: 10.0.0.100
        primaryInstanceGroupName: ig-example-ha-vm1
        secondaryInstanceGroupName: ig-example-ha-vm2
        loadBalancerName: lb-ha1
        # Additional optional properties
        networkTag: hana-ha-ntwk-tag
        serviceAccount: sap-deploy-example@example-project-123456.iam.gserviceaccount.com
  7. 다음을 실행하여 인스턴스를 만듭니다.

    $ gcloud deployment-manager deployments create deployment-name --config template-name.yaml

    위 명령어는 Deployment Manager를 호출하여 Google Cloud 인프라를 설정한 후 SAP HANA 및 HA 클러스터를 설치하고 구성하는 스크립트를 직접 제어합니다.

    Deployment Manager에는 제어 기능이 있지만 상태 메시지는 Cloud Shell에 기록됩니다. 스크립트가 호출되면 상태 메시지는 Logging에 기록되고 Logging 로그 확인의 설명대로 Cloud Console에서 이 메시지를 볼 수 있습니다.

    완료 시간은 다를 수 있지만 일반적으로 전체 프로세스가 완료되는 데 30분 미만이 걸립니다.

HANA HA 시스템 배포 확인

SAP HANA HA 클러스터 확인에는 다음과 같은 여러 다양한 절차가 포함됩니다.

  • Logging 확인
  • SAP HANA 설치 및 VM의 구성 확인
  • 부하 분산기 및 인스턴스 그룹 상태 확인
  • SAP HANA Studio를 사용하여 SAP HANA 시스템 확인
  • 장애 조치 테스트 수행

로그 확인

  1. Logging을 열어 오류가 있는지 확인하고 설치 진행 상황을 모니터링합니다.

    Cloud Logging으로 이동

  2. 로그 탐색기 페이지에서 쿼리 빌더의 리소스로 전역을 선택하고 쿼리를 실행합니다.

    • 두 VM 인스턴스 모두에 "--- Finished"가 표시되면 다음 단계를 진행합니다.

      Logging 표시

    • 로그에 오류가 포함된 경우:

      1. 오류를 수정합니다.

        할당량 오류인 경우 Cloud Console에서 IAM 및 관리자 할당량 페이지로 이동하고 SAP HANA 계획 가이드에 나와 있는 SAP HANA 요구사항을 충족하지 않는 할당량을 늘립니다.

      2. Cloud Console의 Deployment Manager 배포 페이지에서 배포를 삭제하여 설치에 실패한 모든 인프라를 삭제합니다.

      3. Deployment Manager를 다시 실행합니다.

SAP HANA 설치 및 VM의 구성 확인

  1. SAP HANA 시스템이 오류 없이 배포되면 SSH를 사용하여 각 VM에 연결합니다. Compute Engine VM 인스턴스 페이지에서 각 VM 인스턴스의 SSH 버튼을 클릭하거나 선호하는 SSH 방법을 사용할 수 있습니다.

    Compute Engine VM 인스턴스 페이지의 SSH 버튼

  2. 루트 사용자로 변경합니다.

    sudo su -
  3. 명령어 프롬프트에서 df -h를 입력합니다. 출력에 /hana/data 같은 /hana 디렉터리가 표시되는지 확인합니다.

    RHEL

    [root@example-ha-vm1 ~]# df -h
    Filesystem                        Size  Used Avail Use% Mounted on
    devtmpfs                          126G     0  126G   0% /dev
    tmpfs                             126G   54M  126G   1% /dev/shm
    tmpfs                             126G   25M  126G   1% /run
    tmpfs                             126G     0  126G   0% /sys/fs/cgroup
    /dev/sda2                          30G  5.4G   25G  18% /
    /dev/sda1                         200M  6.9M  193M   4% /boot/efi
    /dev/mapper/vg_hana-shared        251G   52G  200G  21% /hana/shared
    /dev/mapper/vg_hana-sap            32G  477M   32G   2% /usr/sap
    /dev/mapper/vg_hana-data          426G  9.8G  417G   3% /hana/data
    /dev/mapper/vg_hana-log           125G  7.0G  118G   6% /hana/log
    /dev/mapper/vg_hanabackup-backup  512G  9.3G  503G   2% /hanabackup
    tmpfs                              26G     0   26G   0% /run/user/900
    tmpfs                              26G     0   26G   0% /run/user/899
    tmpfs                              26G     0   26G   0% /run/user/1003

    SLES

    example-ha-vm1:~ # df -h
    Filesystem                        Size  Used Avail Use% Mounted on
    devtmpfs                          126G  8.0K  126G   1% /dev
    tmpfs                             189G   54M  189G   1% /dev/shm
    tmpfs                             126G   34M  126G   1% /run
    tmpfs                             126G     0  126G   0% /sys/fs/cgroup
    /dev/sda3                          30G  5.4G   25G  18% /
    /dev/sda2                          20M  2.9M   18M  15% /boot/efi
    /dev/mapper/vg_hana-shared        251G   50G  202G  20% /hana/shared
    /dev/mapper/vg_hana-sap            32G  281M   32G   1% /usr/sap
    /dev/mapper/vg_hana-data          426G  8.0G  418G   2% /hana/data
    /dev/mapper/vg_hana-log           125G  4.3G  121G   4% /hana/log
    /dev/mapper/vg_hanabackup-backup  512G  6.4G  506G   2% /hanabackup
    tmpfs                              26G     0   26G   0% /run/user/473
    tmpfs                              26G     0   26G   0% /run/user/900
    tmpfs                              26G     0   26G   0% /run/user/0
    tmpfs                              26G     0   26G   0% /run/user/1003
  4. 사용자의 운영체제에 해당하는 상태 명령어를 입력하여 새 클러스터의 상태를 확인합니다.

    RHEL

    pcs status

    SLES

    crm status

    다음 예시와 비슷한 결과가 표시됩니다. 이 예시에서는 두 VM 인스턴스가 모두 시작되고 example-ha-vm1이 활성 기본 인스턴스입니다.

    RHEL

    [root@example-ha-vm1 ~]# pcs status
    Cluster name: hacluster
    Cluster Summary:
      * Stack: corosync
      * Current DC: example-ha-vm1 (version 2.0.3-5.el8_2.4-4b1f869f0f) - partition with quorum
      * Last updated: Wed Jul  7 23:05:11 2021
      * Last change:  Wed Jul  7 23:04:43 2021 by root via crm_attribute on example-ha-vm2
      * 2 nodes configured
      * 8 resource instances configured
    
    Node List:
      * Online: [ example-ha-vm1 example-ha-vm2 ]
    
    Full List of Resources:
      * STONITH-example-ha-vm1      (stonith:fence_gce):    Started example-ha-vm2
      * STONITH-example-ha-vm2      (stonith:fence_gce):    Started example-ha-vm1
      * Resource Group: g-primary:
        * rsc_healthcheck_HA1       (service:haproxy):      Started example-ha-vm2
        * rsc_vip_HA1_00    (ocf::heartbeat:IPaddr2):       Started example-ha-vm2
      * Clone Set: SAPHanaTopology_HA1_00-clone [SAPHanaTopology_HA1_00]:
        * Started: [ example-ha-vm1 example-ha-vm2 ]
      * Clone Set: SAPHana_HA1_00-clone [SAPHana_HA1_00] (promotable):
        * Masters: [ example-ha-vm2 ]
        * Slaves: [ example-ha-vm1 ]
    
    Failed Resource Actions:
      * rsc_healthcheck_HA1_start_0 on example-ha-vm1 'error' (1): call=29, status='complete', exitreason='', last-rc-change='2021-07-07 21:07:35Z', queued=0ms, exec=2097ms
      * SAPHana_HA1_00_monitor_61000 on example-ha-vm1 'not running' (7): call=44, status='complete', exitreason='', last-rc-change='2021-07-07 21:09:49Z', queued=0ms, exec=0ms
    
    Daemon Status:
      corosync: active/enabled
      pacemaker: active/enabled
      pcsd: active/enabled

    SLES

    example-ha-vm1:~ # crm status
    Cluster Summary:
      * Stack: corosync
      * Current DC: example-ha-vm1 (version 2.0.4+20200616.2deceaa3a-3.9.1-2.0.4+20200616.2deceaa3a) - partition with quorum
      * Last updated: Wed Jul  7 22:57:59 2021
      * Last change:  Wed Jul  7 22:57:03 2021 by root via crm_attribute on example-ha-vm1
      * 2 nodes configured
      * 8 resource instances configured
    
    Node List:
      * Online: [ example-ha-vm1 example-ha-vm2 ]
    
    Full List of Resources:
      * STONITH-example-ha-vm1      (stonith:external/gcpstonith):   Started example-ha-vm2
      * STONITH-example-ha-vm2      (stonith:external/gcpstonith):   Started example-ha-vm1
      * Resource Group: g-primary:
        * rsc_vip_int-primary       (ocf::heartbeat:IPaddr2):        Started example-ha-vm1
        * rsc_vip_hc-primary        (ocf::heartbeat:anything):       Started example-ha-vm1
      * Clone Set: cln_SAPHanaTopology_HA1_HDB00 [rsc_SAPHanaTopology_HA1_HDB00]:
        * Started: [ example-ha-vm1 example-ha-vm2 ]
      * Clone Set: msl_SAPHana_HA1_HDB00 [rsc_SAPHana_HA1_HDB00] (promotable):
        * Masters: [ example-ha-vm1 ]
        * Slaves: [ example-ha-vm2 ]
  5. 다음 명령어의 [SID] 값을 구성 파일 템플릿에 지정한 [SID]로 바꿔 SAP 관리자를 변경합니다.

    su - [SID]adm
    
  6. 다음 명령어를 입력하여 SAP HANA 서비스(예: hdbnameserver, hdbindexserver)가 인스턴스에서 실행 중인지 확인합니다.

    HDB info
    

부하 분산기 및 인스턴스 그룹 상태 확인

부하 분산기와 상태 확인이 올바르게 설정되었는지 확인하려면 Cloud Console에서 부하 분산기와 인스턴스 그룹을 확인합니다.

  1. Cloud Console에서 부하 분산 페이지를 엽니다.

    Cloud Load Balancing으로 이동

  2. 부하 분산기 목록에서 HA 클러스터용 부하 분산기가 생성되었는지 확인합니다.

  3. 백엔드 섹션의 인스턴스 그룹에서 정상 열의 부하 분산기 세부정보 페이지에서 인스턴스 그룹 중 하나가 '1/1'로 표시되고 다른 그룹은 '0/1'로 표시되는지 확인합니다. 장애 조치 후 정상 표시기인 '1/1'이 새 활성 인스턴스 그룹으로 전환됩니다.

    '1/1'로 표시된 활성 기본 인스턴스 그룹과 '0/1'로 표시된 비활성 보조 인스턴스 그룹과 함께 부하 분산기 세부정보 페이지가 표시됩니다.

SAP HANA Studio를 사용하여 SAP HANA 시스템 확인

SAP HANA Cockpit 또는 SAP HANA Studio를 사용하여 고가용성 클러스터에서 SAP HANA 시스템을 모니터링하고 관리할 수 있습니다.

  1. SAP HANA Studio를 사용하여 HANA 시스템에 연결합니다. 연결을 정의할 때 다음 값을 지정합니다.

    • Specify System(시스템 지정) 패널에서 Host Name(호스트 이름)으로 유동 IP 주소를 지정합니다.
    • Connection Properties(연결 속성) 패널에서 데이터베이스 사용자 인증에는 데이터베이스 수퍼유저 이름과 template.yaml 파일의 sap_hana_system_password 속성에 지정한 비밀번호를 지정합니다.

    SAP HANA Studio 설치에 대한 SAP 정보는 SAP HANA Studio 설치 및 업데이트 가이드를 참조하세요.

  2. SAP HANA Studio가 HANA HA 시스템에 연결된 후 창 왼쪽의 탐색창에 있는 시스템 이름을 더블클릭하여 시스템 개요를 표시합니다.

    SAP HANA Studio의 탐색창 스크린샷

  3. Overview(개요) 탭의 General Information(일반 정보) 아래에서 다음을 확인합니다.

    • Operational Status(운영 상태)가 'All services started(모든 서비스 시작됨)'로 표시됩니다.
    • System Replication Status(시스템 복제 상태)가 'All services are active and in sync(모든 서비스가 활성이며 동기화됨)'로 표시됩니다.

    SAP HANA Studio의 Overview(개요) 탭 스크린샷

  4. General Information(일반 정보) 아래의 System Replication Status(시스템 복제 상태) 링크를 클릭하여 복제 모드를 확인합니다. 동기 복제는 System Replication(시스템 복제) 탭에서 REPLICATION_MODE 열의 SYNCMEM에 나타납니다.

    SAP HANA Studio의 System Replication Status(시스템 복제 상태) 탭 스크린샷

검증 단계에서 설치에 실패한 단계를 하나라도 발견한 경우 다음을 수행합니다.

  1. 오류를 해결합니다.
  2. Deployments(배포) 페이지에서 배포를 삭제합니다.
  3. 이전 섹션의 마지막 단계에 설명된 대로 인스턴스를 다시 만듭니다.

장애 조치 테스트 수행

장애 조치 테스트를 수행하려면 다음 안내를 따르세요.

  1. SSH를 사용하여 기본 VM에 연결합니다. Compute Engine VM 인스턴스 페이지에서 각 VM 인스턴스의 SSH 버튼을 클릭하여 연결하거나 선호하는 SSH 방법을 사용할 수 있습니다.

  2. 명령 프롬프트에서 다음 명령어를 입력합니다.

    sudo ip link set eth0 down

    ip link set eth0 down 명령어는 기본 호스트와의 통신을 끊어 장애 조치를 트리거합니다.

  3. SSH를 사용하여 두 호스트 중 하나에 다시 연결하고 루트 사용자로 변경합니다.

  4. 보조 호스트를 포함하는 데 사용됐던 VM에서 지금 기본 호스트가 활성 상태임을 확인합니다. 클러스터에 자동으로 다시 시작이 사용 설정되어, 중지된 호스트가 다시 시작되고 보조 호스트 역할이 할당됩니다.

    RHEL

    pcs status

    SLES

    crm status

    다음 예시에서는 각 호스트의 역할이 전환되었음을 보여줍니다.

    RHEL

    [root@example-ha-vm1 ~]# pcs status
    Cluster name: hacluster
    Cluster Summary:
      * Stack: corosync
      * Current DC: example-ha-vm1 (version 2.0.3-5.el8_2.3-4b1f869f0f) - partition with quorum
      * Last updated: Fri Mar 19 21:22:07 2021
      * Last change:  Fri Mar 19 21:21:28 2021 by root via crm_attribute on example-ha-vm2
      * 2 nodes configured
      * 8 resource instances configured
    
    Node List:
      * Online: [ example-ha-vm1 example-ha-vm2 ]
    
    Full List of Resources:
      * STONITH-example-ha-vm1  (stonith:fence_gce):    Started example-ha-vm2
      * STONITH-example-ha-vm2  (stonith:fence_gce):    Started example-ha-vm1
      * Resource Group: g-primary:
        * rsc_healthcheck_HA1   (service:haproxy):  Started example-ha-vm2
        * rsc_vip_HA1_00    (ocf::heartbeat:IPaddr2):   Started example-ha-vm2
      * Clone Set: SAPHanaTopology_HA1_00-clone [SAPHanaTopology_HA1_00]:
        * Started: [ example-ha-vm1 example-ha-vm2 ]
      * Clone Set: SAPHana_HA1_00-clone [SAPHana_HA1_00] (promotable):
        * Masters: [ example-ha-vm2 ]
        * Slaves: [ example-ha-vm1 ]
    

    SLES

    example-ha-vm2:~ #
    Cluster Summary:
      * Stack: corosync
      * Current DC: example-ha-vm2 (version 2.0.4+20200616.2deceaa3a-3.9.1-2.0.4+20200616.2deceaa3a) - partition with quorum
      * Last updated: Thu Jul  8 17:33:44 2021
      * Last change:  Thu Jul  8 17:33:07 2021 by root via crm_attribute on example-ha-vm2
      * 2 nodes configured
      * 8 resource instances configured
    
    Node List:
      * Online: [ example-ha-vm1 example-ha-vm2 ]
    
    Full List of Resources:
      * STONITH-example-ha-vm1      (stonith:external/gcpstonith):   Started example-ha-vm2
      * STONITH-example-ha-vm2      (stonith:external/gcpstonith):   Started example-ha-vm1
      * Resource Group: g-primary:
        * rsc_vip_int-primary       (ocf::heartbeat:IPaddr2):        Started example-ha-vm2
        * rsc_vip_hc-primary        (ocf::heartbeat:anything):       Started example-ha-vm2
      * Clone Set: cln_SAPHanaTopology_HA1_HDB00 [rsc_SAPHanaTopology_HA1_HDB00]:
        * Started: [ example-ha-vm1 example-ha-vm2 ]
      * Clone Set: msl_SAPHana_HA1_HDB00 [rsc_SAPHana_HA1_HDB00] (promotable):
        * Masters: [ example-ha-vm2 ]
        * Slaves: [ example-ha-vm1 ]
  5. Console의 부하 분산기 세부정보 페이지에서 새 활성 기본 인스턴스가 정상 열에 '1/1'을 표시하는지 확인합니다. 필요한 경우 페이지를 새로고칩니다.

    Cloud Load Balancing으로 이동

    예를 들면 다음과 같습니다.

    정상 열의 '1/1'를 표시하는 'ig-example-ha-vm2' 인스턴스가 있는 부하 분산기 세부정보 페이지를 표시합니다.

  6. SAP HANA Studio에서 탐색창의 시스템 항목을 더블클릭하여 시스템 정보를 새로고쳐 시스템에 여전히 연결되어 있는지 확인합니다.

  7. System Replication Status(시스템 복제 상태) 링크를 클릭하여 기본 및 보조 호스트가 호스트를 바꿨고 활성 상태인지 확인합니다.

    SAP HANA Studio의 System Replication Status(시스템 복제 상태) 탭 스크린샷

선택사항: SAP HANA 빠른 다시 시작 사용 설정

특히 큰 인스턴스의 경우 Google Cloud는 SAP HANA의 각 인스턴스에 SAP HANA 빠른 다시 시작을 사용 설정하는 것을 권장합니다.

Deployment Manager에서 구성된 대로 운영체제 및 커널 설정은 이미 SAP HANA 빠른 다시 시작을 지원합니다. tmpfs 파일 시스템을 정의하고 SAP HANA를 구성해야 합니다.

SAP HANA 빠른 다시 시작 옵션에 대한 전체 안내는 SAP HANA 빠른 다시 시작 옵션 문서를 참조하세요.

tmpfs 파일 시스템 구성

호스트 VM 및 기본 SAP HANA 시스템이 성공적으로 배포되면 tmpfs 파일 시스템에 NUMA 노드의 디렉터리를 만들고 마운트해야 합니다.

VM의 NUMA 토폴로지 표시

필요한 tmpfs 파일 시스템을 매핑하려면 먼저 VM에 있는 NUMA 노드 수를 알아야 합니다. Compute Engine VM에 사용 가능한 NUMA 노드를 표시하려면 다음 명령어를 입력합니다.

lscpu | grep NUMA

예를 들어 m2-ultramem-208 VM 유형에는 다음 예시와 같이 0~3으로 번호가 지정된 4개의 NUMA 노드가 있습니다.

NUMA node(s):        4
NUMA node0 CPU(s):   0-25,104-129
NUMA node1 CPU(s):   26-51,130-155
NUMA node2 CPU(s):   52-77,156-181
NUMA node3 CPU(s):   78-103,182-207

NUMA 노드 디렉터리 만들기

VM에서 각 NUMA 노드의 디렉터리를 만들고 권한을 설정합니다.

예를 들어 0~3으로 번호가 지정된 4개의 NUMA 노드는 다음과 같습니다.

mkdir -pv /hana/tmpfs{0..3}/SID
chown -R SIDadm:sapsys /hana/tmpfs*/SID
chmod 777 -R /hana/tmpfs*/SID

NUMA 노드 디렉터리를 tmpfs에 마운트

tmpfs 파일 시스템 디렉터리를 마운트하고 mpol=prefer로 각 디렉터리의 NUMA 노드 환경설정을 지정합니다.

mount tmpfsSID0 -t tmpfs -o mpol=prefer:0 /hana/tmpfs0/SID
mount tmpfsSID1 -t tmpfs -o mpol=prefer:1 /hana/tmpfs1/SID
mount tmpfsSID2 -t tmpfs -o mpol=prefer:2 /hana/tmpfs2/SID
mount tmpfsSID3 -t tmpfs -o mpol=prefer:3 /hana/tmpfs3/SID

/etc/fstab 업데이트

운영체제 재부팅 후 마운트 지점을 사용할 수 있도록 하려면 파일 시스템 테이블 /etc/fstab에 항목을 추가합니다.

tmpfsSID0 /hana/tmpfs0/SID tmpfs rw,relatime,mpol=prefer:0
tmpfsSID1 /hana/tmpfs1/SID tmpfs rw,relatime,mpol=prefer:1
tmpfsSID1 /hana/tmpfs2/SID tmpfs rw,relatime,mpol=prefer:2
tmpfsSID1 /hana/tmpfs3/SID tmpfs rw,relatime,mpol=prefer:3

선택사항: 메모리 사용량 한도 설정

tmpfs 파일 시스템은 동적으로 확장 및 축소할 수 있습니다.

tmpfs 파일 시스템에서 사용하는 메모리를 제한하려면 size 옵션을 사용하여 NUMA 노드 볼륨의 크기 제한을 설정하면 됩니다. 예를 들면 다음과 같습니다.

mount tmpfsSID0 -t tmpfs -o mpol=prefer:0,size=250G /hana/tmpfs0/SID

global.ini 파일의 [memorymanager] 섹션에서 persistent_memory_global_allocation_limit 매개변수를 설정하여 특정 SAP HANA 인스턴스 및 지정된 서버 노드의 모든 NUMA 노드에 대한 전체 tmpfs 메모리 사용량을 제한할 수도 있습니다.

빠른 다시 시작을 위한 SAP HANA 구성

빠른 다시 시작을 위해 SAP HANA를 구성하려면 global.ini 파일을 업데이트하고 영구 메모리에 저장할 테이블을 지정합니다.

global.ini 파일에서 [persistence] 섹션 업데이트

tmpfs 위치를 참조하도록 SAP HANA global.ini 파일의 [persistence] 섹션을 구성합니다. 각 tmpfs 위치를 세미콜론으로 구분합니다.

[persistence]
basepath_datavolumes = /hana/data
basepath_logvolumes = /hana/log
basepath_persistent_memory_volumes = /hana/tmpfs0/SID;/hana/tmpfs1/SID;/hana/tmpfs2/SID;/hana/tmpfs3/SID

앞의 예시는 m2-ultramem-208에 해당하는 4개의 NUMA 노드에 메모리 볼륨 4개를 지정합니다. m2-ultramem-416에서 실행 중인 경우 메모리 볼륨 8개(0~7)를 구성해야 합니다.

global.ini 파일을 수정한 후 SAP HANA를 다시 시작합니다.

이제 SAP HANA에서 tmpfs 위치를 영구 메모리 공간으로 사용할 수 있습니다.

영구 메모리에 저장할 테이블 지정

영구 메모리에 저장할 특정 열 테이블 또는 파티션을 지정합니다.

예를 들어 기존 테이블에 영구 메모리를 사용 설정하려면 SQL 쿼리를 실행합니다.

ALTER TABLE exampletable persistent memory ON immediate CASCADE

새 테이블의 기본값을 변경하려면 indexserver.ini 파일에 table_default 매개변수를 추가합니다. 예를 들면 다음과 같습니다.

[persistent_memory]
table_default = ON

열, 테이블 제어 방법 및 자세한 정보를 제공하는 모니터링 뷰에 대한 자세한 내용은 SAP HANA 영구 메모리를 참조하세요.

SAP HANA용 Google 모니터링 에이전트 설정

원하는 경우 SAP HANA에서 측정항목을 수집하여 Monitoring으로 전송하는 SAP HANA용 Google 모니터링 에이전트를 설정할 수 있습니다. Monitoring을 사용하면 측정항목의 대시보드를 만들고, 측정항목 기준에 따라 커스텀 알림을 설정하는 등의 작업을 수행할 수 있습니다.

HA 클러스터를 모니터링하려면 클러스터 외부에 있는 VM 인스턴스에 모니터링 에이전트를 설치합니다. 클러스터의 부동 IP 주소를 모니터링할 호스트 인스턴스의 IP 주소로 지정합니다.

SAP HANA용 Google 모니터링 에이전트 설정 및 구성에 대한 자세한 내용은 SAP HANA 모니터링 에이전트 사용자 가이드를 참조하세요.

SAP HANA에 연결

이 안내에서는 SAP HANA에 외부 IP 주소를 사용하지 않으므로 SSH를 사용하여 배스천 인스턴스를 통하거나 SAP HANA Studio를 사용하여 Windows Server를 통해서만 SAP HANA 인스턴스에 연결할 수 있습니다.

  • 배스천 인스턴스를 통해 SAP HANA에 연결하려면 배스천 호스트에 연결한 다음 원하는 SSH 클라이언트를 사용하여 SAP HANA 인스턴스에 연결합니다.

  • SAP HANA Studio를 통해 SAP HANA 데이터베이스에 연결하려면 원격 데스크톱 클라이언트를 사용하여 Windows Server 인스턴스에 연결합니다. 연결 후 수동으로 SAP HANA Studio를 설치하고 SAP HANA 데이터베이스에 액세스합니다.

배포 후 태스크 수행

SAP HANA 인스턴스를 사용하기 전에 다음과 같은 배포 후 단계를 수행하는 것이 좋습니다. 자세한 내용은 SAP HANA 설치 및 업데이트 가이드를 참조하세요.

  1. SAP HANA 시스템 관리자와 데이터베이스 수퍼유저의 임시 비밀번호를 변경합니다.

  2. SAP HANA 소프트웨어를 최신 패치로 업데이트합니다.

  3. Application Function Libraries(AFL) 또는 Smart Data Access(SDA)와 같은 추가 구성요소를 설치합니다.

  4. 새로운 SAP HANA 데이터베이스를 구성 및 백업합니다. 자세한 내용은 SAP HANA 운영 가이드를 참조하세요.

다음 단계