Terraform: RHEL 기반 SAP NetWeaver용 HA 클러스터 구성 가이드

컬렉션을 사용해 정리하기 내 환경설정을 기준으로 콘텐츠를 저장하고 분류하세요.

이 가이드에서는 SAP NetWeaver용 성능 최적화 Red Hat Enterprise Linux(RHEL) 고가용성(HA) 클러스터 배포를 자동화하는 방법을 보여줍니다.

이 가이드에서는 Google Cloud, SAP, OS 공급업체의 모든 권장사항에 따라 Terraform을 사용하여 Compute Engine 가상 머신(VM) 두 개, 내부 TCP/UDP 부하 분산기 구현이 포함된 가상 IP 주소(VIP), OS 기반 HA 클러스터를 배포합니다.

고가용성에 국한되지 않는 SAP NetWeaver용 Compute Engine VM 배포에 대한 자세한 내용은 사용하는 운영체제에 해당하는 SAP NetWeaver 배포 가이드를 참조하세요.

SUSE Linux Enterprise Server(SLES)에서 SAP NetWeaver용 HA 클러스터를 구성하려면 SLES에서 SAP NetWeaver용 HA 클러스터 수동 구성 가이드를 참조하세요.

이 가이드는 SAP NetWeaver용 Linux 고가용성 구성에 익숙한 SAP NetWeaver 고급 사용자를 대상으로 합니다.

이 가이드에서 배포하는 시스템

이 가이드를 수행하여 SAP NetWeaver 인스턴스 두 개를 배포하고 RHEL에서 HA 클러스터를 설정합니다. 각 SAP NetWeaver 인스턴스를 동일한 리전 내 서로 다른 영역에 있는 Compute Engine VM에 배포합니다. 기본 데이터베이스의 고가용성 설치는 이 가이드에서 다루지 않습니다.

단일 노드 SAP NetWeaver 시스템의 고가용성 Linux 클러스터 개요

배포된 클러스터에는 다음 기능과 특징이 포함됩니다.

  • 호스트 VM 두 개(활성 ASCS 인스턴스용 하나 및 ENSA2 Enqueue Replicator 또는 ENSA1 Enqueue Replication Server(ENSA1)의 활성 인스턴스 하나). ENSA2 인스턴스와 ENSA1 인스턴스 모두 ERS라고 합니다.
  • Pacemaker 고가용성 클러스터 리소스 관리자
  • STONITH 펜싱 메커니즘
  • 실패한 인스턴스를 새 보조 인스턴스로 자동 다시 시작

기본 요건

SAP NetWeaver 고가용성 클러스터를 만들기 전에 다음 기본 요건을 충족하는지 확인하세요.

Google Cloud 환경에 필요한 경우를 제외하고 이 가이드의 정보는 Red Hat 및 SAP의 다음 관련 가이드와 일치합니다.

네트워크 만들기

보안 문제로 새 네트워크를 만들어야 합니다. 방화벽 규칙을 추가하거나 다른 액세스 제어 방법을 사용하여 액세스 권한이 있는 사용자를 제어할 수 있습니다.

프로젝트에 기본 VPC 네트워크가 있더라도 사용하지 마세요. 명시적으로 직접 만든 방화벽 규칙만 적용되도록 VPC 네트워크를 직접 만드시기 바랍니다.

배포 중에 VM 인스턴스는 일반적으로 Google의 모니터링 에이전트를 다운로드하기 위해 인터넷에 액세스할 수 있어야 합니다. Google Cloud에서 제공하는 SAP 인증 Linux 이미지 중 하나를 사용하는 경우 VM 인스턴스도 라이선스를 등록하고 OS 공급업체 저장소에 액세스하기 위해 인터넷에 액세스할 수 있어야 합니다. NAT 게이트웨이 및 VM 네트워크 태그가 있는 구성은 대상 VM에 외부 IP가 없더라도 이러한 액세스를 지원합니다.

프로젝트의 VPC 네트워크를 만들려면 다음 단계를 완료합니다.

  1. 커스텀 모드 네트워크를 만듭니다. 자세한 내용은 커스텀 모드 네트워크 만들기를 참조하세요.

  2. 서브네트워크를 만들고 리전과 IP 범위를 지정합니다. 자세한 내용은 서브넷 추가를 참조하세요.

NAT 게이트웨이 설정

공개 IP 주소가 없는 VM을 하나 이상 만들어야 하는 경우 네트워크 주소 변환(NAT)을 사용하여 VM이 인터넷에 액세스하도록 설정해야 합니다. VM이 인터넷에 아웃바운드 패킷을 보내고 그에 따라 설정된 인바운드 응답 패킷을 받을 수 있도록 하는 Google Cloud 분산 소프트웨어 정의 관리형 서비스인 Cloud NAT를 사용하세요. 또는 별도의 VM을 NAT 게이트웨이로 설정할 수 있습니다.

프로젝트에 Cloud NAT 인스턴스를 만들려면 Cloud NAT 사용을 참조하세요.

프로젝트에 Cloud NAT를 구성하면 VM 인스턴스가 공개 IP 주소 없이 인터넷에 안전하게 액세스할 수 있습니다.

방화벽 규칙 추가

기본적으로 Google Cloud 네트워크 외부에서 들어오는 연결이 차단됩니다. 새로 추가되는 연결을 허용하려면 VM에 대해 방화벽 규칙을 설정합니다. 방화벽 규칙은 VM에 새로 추가되는 연결만 규제합니다. VM과 연결이 설정되면 이 연결을 통해 트래픽이 양방향으로 허용됩니다

지정된 포트에 액세스를 허용하거나 동일한 서브네트워크에 있는 VM 간의 액세스를 허용하는 방화벽 규칙을 만들 수 있습니다.

다음에 액세스를 허용하는 방화벽 규칙을 만들 수 있습니다.

  • 모든 SAP 제품의 TCP/IP 포트에 설명된 대로 SAP NetWeaver에서 사용하는 기본 포트
  • 사용자 컴퓨터 또는 기업 네트워크 환경에서 Compute Engine VM 인스턴스에 연결. 사용할 IP 주소를 잘 모를 때는 회사의 네트워크 관리자에게 문의하세요.
  • 3계층, 수평 확장 또는 고가용성 구성에서 VM 간 통신 예를 들어 3계층 시스템을 배포하는 경우 SAP NetWeaver용 VM과 데이터베이스 서버용 VM 각각 1개씩, 2개 이상의 VM이 서브네트워크에 포함됩니다. 두 VM 간 통신을 사용 설정하려면 서브네트워크에서 시작된 트래픽을 허용하는 방화벽 규칙을 만들어야 합니다.
  • Cloud Load Balancing 상태 확인 자세한 내용은 상태 확인에 사용할 방화벽 규칙 만들기를 참조하세요.

프로젝트의 방화벽 규칙을 만들려면 방화벽 규칙 만들기를 참조하세요.

SAP NetWeaver용 고가용성 Linux 클러스터 만들기

다음 안내에서는 Terraform 구성 파일을 사용하여 2개의 Compute Engine VM을 사용하여 SAP NetWeaver용 RHEL 고가용성 클러스터를 만듭니다. Compute Engine VM은 SAP 중앙 서비스 및 Enqueue 복제를 위한 자동 장애 조치 구성에서 2개의 대상 영역에 생성됩니다.

Terraform 구성 파일에서 SAP NetWeaver 고가용성 클러스터를 위한 구성 옵션을 정의합니다.

  1. Cloud Shell을 엽니다.

    Cloud Shell로 이동

  2. SAP NetWeaver 고가용성 클러스터의 sap_nw_ha.tf 구성 파일을 작업 디렉터리에 다운로드합니다.

    $ wget https://storage.googleapis.com/cloudsapdeploy/terraform/latest/terraform/sap_nw_ha/terraform/sap_nw_ha.tf
  3. Cloud Shell 코드 편집기에서 sap_nw_ha.tf 파일을 엽니다.

    Cloud Shell 코드 편집기를 열려면 Cloud Shell 터미널 창 오른쪽 상단에 있는 연필 아이콘을 클릭합니다.

  4. sap_nw_ha.tf 파일에서 큰따옴표 내 콘텐츠를 설치 값으로 바꿔 인수 값을 업데이트합니다. 인수는 다음 표에 설명되어 있습니다.

    인수 데이터 유형 설명
    source 문자열

    배포 중에 사용할 Terraform 모듈의 위치와 버전을 지정합니다.

    DEPLOYMENT_TYPE.tf 구성 파일에는 source 인수의 인스턴스 두 개, 즉 활성 인스턴스와 주석으로 포함된 인스턴스가 포함됩니다. 기본적으로 활성화되는 source 인수는 latest를 모듈 버전으로 지정합니다. 기본적으로 앞에 오는 # 문자에 의해 비활성화되는 source 인수의 두 번째 인스턴스에서 모듈 버전을 식별하는 타임스탬프를 지정합니다.

    모든 배포에서 동일한 모듈 버전을 사용해야 하는 경우 버전 타임스탬프를 지정하는 source 인수에서 앞에 오는 # 문자를 삭제하고 latest를 지정하는 source 인수에 추가합니다.

    project_id 문자열 이 시스템을 배포할 Google Cloud 프로젝트의 ID를 지정합니다.
    machine_type 문자열 SAP 시스템을 실행하는 데 필요한 Compute Engine 가상 머신(VM)의 유형을 지정합니다. 커스텀 VM 유형이 필요한 경우 사전 정의된 VM 유형을 필요한 수(더 큼)에 가장 가까운 vCPU 수로 지정합니다. 배포가 완료되면 vCPU 수와 메모리 양을 수정합니다.
    network 문자열 VIP를 관리하는 부하 분산기를 만들어야 하는 네트워크의 이름을 지정합니다.

    공유 VPC 네트워크를 사용하는 경우 호스트 프로젝트의 ID를 네트워크 이름의 상위 디렉터리로 추가해야 합니다. 예를 들면 HOST_PROJECT_ID/NETWORK_NAME입니다.

    subnetwork 문자열 이전 단계에서 만든 서브네트워크의 이름을 지정합니다. 공유 VPC에 배포하는 경우 이 값을 SHARED_VPC_PROJECT_ID/SUBNETWORK로 지정합니다. 예를 들면 myproject/network1입니다.
    linux_image 문자열 SAP 시스템을 배포할 Linux 운영체제 이미지의 이름을 지정합니다. 예를 들면 rhel-8-4-sap-ha입니다. 사용 가능한 운영체제 이미지의 목록은 Google Cloud 콘솔의 이미지 페이지를 참조하세요.
    linux_image_project 문자열 인수 linux_image에 지정된 이미지가 포함된 Google Cloud 프로젝트를 지정합니다. 이 프로젝트는 자체 프로젝트이거나 Google Cloud 이미지 프로젝트일 수 있습니다. Compute Engine 이미지의 경우 rhel-sap-cloud를 지정합니다. 운영체제의 이미지 프로젝트를 찾으려면 운영체제 세부정보를 참조하세요.
    sap_primary_instance 문자열 기본 SAP NetWeaver 시스템의 VM 인스턴스 이름을 지정합니다. 초기 ASCS 위치입니다. 이름은 소문자, 숫자, 하이픈을 포함할 수 있으며 13자를 초과할 수 없습니다.
    sap_primary_zone 문자열 기본 SAP NetWeaver 시스템이 배포되는 영역을 지정합니다. 기본 영역과 보조 영역은 같은 리전에 있어야 합니다.
    sap_secondary_instance 문자열 보조 SAP NetWeaver 시스템의 VM 인스턴스 이름을 지정합니다. 초기 ERS 위치입니다. 이름은 소문자, 숫자, 하이픈을 포함할 수 있으며 13자를 초과할 수 없습니다.
    sap_secondary_zone 문자열 보조 SAP NetWeaver 시스템이 배포되는 영역을 지정합니다. 기본 영역과 보조 영역은 같은 리전에 있어야 합니다.
    nfs_path 문자열 공유 파일 시스템의 NFS 마운트 지점을 지정합니다. 10.163.58.114:/ssd_nfs).
    sap_sid 문자열 SAP 시스템 ID를 지정합니다. ID는 3자리 영숫자 문자로 구성되고 문자로 시작해야 합니다. 모든 문자는 대문자여야 합니다.
    hc_firewall_rule_name 문자열 선택사항. 상태 점검 방화벽 규칙의 이름을 지정합니다. 기본값은 SAP_SID-hc-allow입니다.
    hc_network_tag 문자열 선택사항. 상태 점검 방화벽 규칙에 대해 VM 인스턴스와 연결하려는 하나 이상의 쉼표로 구분된 네트워크 태그를 지정합니다. 기본값은 SAP_SID-hc-allow-tag입니다.
    scs_inst_group_name 문자열 선택사항. ASCS 인스턴스 그룹의 이름을 지정합니다. 기본값은 SAP_SID-scs-ig입니다.
    scs_hc_name 문자열 선택사항. ASCS 상태 점검의 이름을 지정합니다. 기본값은 SAP_SID-scs-hc입니다.
    scs_hc_port 문자열 선택사항. ASCS 상태 점검의 포트를 지정합니다. 다른 서비스와 충돌하지 않도록 비공개 범위 49152~65535에서 ASCS 상태 점검의 포트 번호를 지정합니다. 기본값은 60000입니다.
    scs_vip_address 문자열 선택사항. 앞서 subnetwork에 지정된 서브네트워크 내에 ASCS 인스턴스의 가상 IP 주소로 사용할 사용되지 않은 IP 주소를 지정합니다. 아무 것도 지정되지 않으면 배포 스크립트가 지정된 서브네트워크에서 사용되지 않은 IP 주소를 자동으로 선택합니다.
    scs_vip_name 문자열 선택사항. ASCS 가상 IP의 이름을 지정합니다. 기본값은 SAP_SID-scs-vip입니다.
    scs_backend_svc_name 문자열 선택사항. ASCS 백엔드 서비스의 이름을 지정합니다. 기본값은 SAP_SID-scs-backend-svc입니다.
    scs_forw_rule_name 문자열 선택사항. ASCS 전달 규칙의 이름을 지정합니다. 기본값은 SAP_SID-scs-fwd-rule입니다.
    ers_inst_group_name 문자열 선택사항. ERS 인스턴스 그룹의 이름을 지정합니다. 기본값은 SAP_SID-ers-ig입니다.
    ers_hc_name 문자열 선택사항. ERS 상태 점검의 이름을 지정합니다. 기본값은 SAP_SID-ers-hc입니다.
    ers_hc_port 문자열 선택사항. ERS 상태 점검의 포트를 지정합니다. 다른 서비스와 충돌하지 않도록 비공개 범위 49152~65535에서 ERS 상태 점검의 포트 번호를 지정합니다. 기본값은 60010입니다.
    ers_vip_address 문자열 선택사항. 앞서 subnetwork에 지정된 서브네트워크 내에 ERS 인스턴스의 가상 IP 주소로 사용할 사용되지 않은 IP 주소를 지정합니다. 아무 것도 지정되지 않으면 배포 스크립트가 지정된 서브네트워크에서 사용되지 않은 IP 주소를 자동으로 선택합니다.
    ers_vip_name 문자열 선택사항. ERS 가상 IP의 이름을 지정합니다. 기본값은 SAP_SID-ers-vip입니다.
    ers_backend_svc_name 문자열 선택사항. ERS 백엔드 서비스의 이름을 지정합니다. 기본값은 SAP_SID-ers-backend-svc입니다.
    ers_forw_rule_name 문자열 선택사항. ERS 전달 규칙의 이름을 지정합니다. 기본값은 SAP_SID-ers-fwd-rule입니다.
    usr_sap_size 정수 선택사항. /usr/sap 디스크의 크기를 GB 단위로 지정합니다. 최소 크기는 8GB입니다. 기본값은 8입니다.
    sap_mnt_size 정수 선택사항. /sapmnt 디스크의 크기를 GB 단위로 지정합니다. 최소 크기는 8GB입니다. 기본값은 8입니다.
    swap_size 정수 선택사항. 스왑 볼륨의 크기를 GB 단위로 지정합니다. 최소 크기는 8GB입니다. 기본값은 8입니다.
    sap_scs_instance_number 문자열 선택사항. ASCS 인스턴스 번호를 지정합니다. sap_scs_instance_number는 2자리 숫자여야 합니다. 한 자릿수 숫자를 지정해야 하는 경우 번호 앞에 0을 추가합니다. 예를 들면 07입니다. 기본값은 00입니다.
    sap_ers_instance_number 문자열 선택사항. ERS 인스턴스 번호를 지정합니다. sap_ers_instance_number는 2자리 숫자여야 합니다. 한 자릿수 숫자를 지정해야 하는 경우 번호 앞에 0을 추가합니다. 예를 들면 07입니다. 기본값은 10입니다.
    sap_nw_abap 불리언 선택사항. SAP NetWeaver의 ABAP 스택 또는 자바 스택을 배포할지 여부를 지정합니다. SAP NetWeaver의 자바 스택에는 false를 지정합니다. 기본값은 true입니다.
    pacemaker_cluster_name 문자열 선택사항. Pacemaker 클러스터의 이름을 지정합니다. 기본값은 SAP_SID-cluster입니다.
    public_ip 불리언 선택사항. VM 인스턴스의 임시 공개 IP 주소를 만들려면 public_iptrue로 설정합니다. 기본값은 false입니다.
    service_account 문자열 선택사항. 호스트 VM와 호스트 VM에서 실행되는 프로그램에서 사용할 사용자 관리형 서비스 계정의 이메일 주소를 지정합니다. 예를 들면 svc-acct-name@project-id.iam.gserviceaccount.com입니다.

    이 인수를 값 없이 지정하거나 생략하면 설치 스크립트에서 Compute Engine 기본 서비스 계정을 사용합니다. 자세한 내용은 Google Cloud에서 SAP 프로그램의 ID 및 액세스 관리를 참조하세요.

    network_tags 문자열 선택사항. 방화벽 또는 라우팅 목적으로 VM 인스턴스와 연결하려는 하나 이상의 쉼표로 구분된 네트워크 태그를 지정합니다.

    ILB 구성요소의 네트워크 태그는 VM의 네트워크 태그에 자동으로 추가됩니다.

    public_ip = false이고 네트워크 태그를 지정하지 않으면 다른 인터넷 액세스 방법을 제공해야 합니다.

    sap_deployment_debug 불리언 선택사항. Cloud Customer Care에서 배포에 디버깅을 사용 설정하도록 요청하는 경우에만 true를 지정하여 배포 시 상세 배포 로그를 생성합니다. 기본값은 false입니다.
    primary_reservation_name 문자열 선택사항. 특정 Compute Engine VM 예약을 사용하여 HA 클러스터의 기본 SAP HANA 인스턴스를 호스팅하는 VM 인스턴스를 프로비저닝하려면 예약 이름을 지정합니다. 기본적으로 설치 스크립트는 다음 조건에 따라 사용 가능한 Compute Engine 예약을 선택합니다.

    예약을 사용할 수 있도록 하려면 이름을 지정했는지 또는 설치 스크립트가 자동으로 예약을 선택했는지 여부에 관계없이 다음을 사용하여 예약을 설정해야 합니다.

    • specificReservationRequired 옵션이 true로 설정되거나 Google Cloud 콘솔에서 특정 예약 선택 옵션이 선택됩니다.
    • 일부 Compute Engine 머신 유형은 머신 유형의 SAP 인증서로 처리되지 않는 CPU 플랫폼을 지원합니다. 다음 머신 유형 중 하나에 대한 대상 예약인 경우 예약에서 다음과 같이 최소 CPU 플랫폼을 지정해야 합니다.
      • n1-highmem-32: Intel Broadwell
      • n1-highmem-64: Intel Broadwell
      • n1-highmem-96: Intel Skylake
      • m1-megamem-96: Intel Skylake
    • Google Cloud에서 사용하도록 SAP에서 인증한 다른 모든 머신 유형의 최소 CPU 플랫폼은 SAP 최소 CPU 요구사항을 준수합니다.
    secondary_reservation_name 문자열 선택사항. 특정 Compute Engine VM 예약을 사용하여 HA 클러스터의 보조 SAP HANA 인스턴스를 호스팅하는 VM 인스턴스를 프로비저닝하려면 예약 이름을 지정합니다. 기본적으로 설치 스크립트는 다음 조건에 따라 사용 가능한 Compute Engine 예약을 선택합니다.

    예약을 사용할 수 있도록 하려면 이름을 지정했는지 또는 설치 스크립트가 자동으로 예약을 선택했는지 여부에 관계없이 다음을 사용하여 예약을 설정해야 합니다.

    • specificReservationRequired 옵션이 true로 설정되거나 Google Cloud 콘솔에서 특정 예약 선택 옵션이 선택됩니다.
    • 일부 Compute Engine 머신 유형은 머신 유형의 SAP 인증서로 처리되지 않는 CPU 플랫폼을 지원합니다. 다음 머신 유형 중 하나에 대한 대상 예약인 경우 예약에서 다음과 같이 최소 CPU 플랫폼을 지정해야 합니다.
      • n1-highmem-32: Intel Broadwell
      • n1-highmem-64: Intel Broadwell
      • n1-highmem-96: Intel Skylake
      • m1-megamem-96: Intel Skylake
    • Google Cloud에서 사용하도록 SAP에서 인증한 다른 모든 머신 유형의 최소 CPU 플랫폼은 SAP 최소 CPU 요구사항을 준수합니다.

    다음 예시에서는 SAP NetWeaver용 고가용성 클러스터를 정의하는 완성된 구성 파일을 보여줍니다. 클러스터는 내부 TCP/UDP 부하 분산을 사용하여 VIP를 관리합니다.

    Terraform은 구성 파일에 정의된 Google Cloud 리소스를 배포한 후 시작 스크립트를 이어서 수행하여 운영체제를 구성하고 Linux HA 클러스터를 구성합니다.

    명확하게 하기 위해 구성 파일의 주석은 예시에서 생략됩니다.

       # ...
         module "sap_nw_ha" {
         source = "https://storage.googleapis.com/cloudsapdeploy/terraform/latest/terraform/sap_nw_ha/sap_nw_ha_module.zip"
       #
       # By default, this source file uses the latest release of the terraform module
       # for SAP on Google Cloud.  To fix your deployments to a specific release
       # of the module, comment out the source argument above and uncomment the source argument below.
       #
       # source = "https://storage.googleapis.com/cloudsapdeploy/terraform/202201240926/terraform/sap_nw_ha/sap_nw_ha_module.zip"
       #
       # ...
       #
       project_id = "example-project-123456"
       machine_type = "n2-highmem-32"
       network = "example-network"
       subnetwork = "example-subnet-us-central1"
       linux_image = "rhel-8-4-sap-ha"
       linux_image_project = "rhel-sap-cloud"
    
       sap_primary_instance = "nw-ha-vm-1"
       sap_primary_zone = "us-central1-a"
    
       sap_secondary_instance = "nw-ha-vm-2"
       sap_secondary_zone = "us-central1-c"
    
       nfs_path = "10.223.55.130:/pr1_nw"
    
       sap_sid = "PR1"
       # ...
    }
  5. 현재 작업 디렉터리를 초기화하고 Google Cloud용 Terraform 제공업체 플러그인 및 모듈 파일을 다운로드합니다.

    terraform init

    terraform init 명령어는 다른 Terraform 명령어에 사용되는 작업 디렉터리를 준비합니다.

    작업 디렉터리에서 제공업체 플러그인과 구성 파일을 강제로 새로 고치려면 --upgrade 플래그를 지정합니다. --upgrade 플래그가 생략되고 작업 디렉터리를 변경하지 않으면 Terraform은 latestsource URL에 지정되더라도 로컬에서 캐시된 복사본을 사용합니다.

    terraform init --upgrade 
  6. 선택적으로 Terraform 실행 계획을 만듭니다.

    terraform plan

    terraform plan 명령어는 현재 구성에 필요한 변경사항을 표시합니다. 이 단계를 건너뛰면 terraform apply 명령어가 자동으로 새 계획을 만들고 승인하라는 메시지를 표시합니다.

  7. 실행 계획을 적용합니다.

    terraform apply

    작업을 승인하라는 메시지가 표시되면 yes를 입력합니다.

    terraform apply 명령어는 Google Cloud 인프라를 설정한 후 Terraform 파일의 구성 파일에 정의된 인수에 따라 HA 클러스터를 구성하는 스크립트를 직접 제어합니다.

    Terraform에는 제어 기능이 있지만 상태 메시지는 Cloud Shell에 기록됩니다. 스크립트가 호출되면 상태 메시지는 Logging에 기록되고 로깅 로그 확인의 설명대로 Google Cloud 콘솔에서 이 메시지를 볼 수 있습니다.

    완료 시간은 다를 수 있지만 일반적으로 전체 프로세스가 완료되는 데 30분 미만이 걸립니다.

SAP NetWeaver HA 시스템 배포 확인

SAP NetWeaver HA 클러스터 확인에는 다음과 같은 여러 다양한 절차가 포함됩니다.

  • 로그 확인
  • VM 구성 확인

로그 확인

  1. Google Cloud 콘솔에서 Cloud Logging을 열어 설치 진행 상황을 모니터링하고 오류를 확인합니다.

    Cloud Logging으로 이동

  2. 로그를 필터링합니다.

    로그 탐색기

    1. 로그 탐색기 페이지에서 쿼리 창으로 이동합니다.

    2. 리소스 드롭다운 메뉴에서 전역을 선택한 후 추가를 클릭합니다.

      전역 옵션이 표시되지 않으면 쿼리 편집기에 다음 쿼리를 입력합니다.

      resource.type="global"
      "Deployment"
      
    3. 쿼리 실행을 클릭합니다.

    기존 로그 뷰어

    • 기존 로그 뷰어 페이지의 기본 선택기 메뉴에서 전역을 로깅 리소스로 선택합니다.
  3. 필터링된 로그를 분석합니다.

    • "--- Finished"가 표시되면 배포 처리가 완료된 것이므로 다음 단계를 진행할 수 있습니다.
    • 할당량 오류가 표시되면 다음을 수행합니다.

      1. IAM 및 관리자 할당량 페이지에서 SAP NetWeaver 계획 가이드에 나와 있는 SAP NetWeaver 요구사항을 충족하지 않는 할당량을 늘립니다.

      2. Cloud Shell을 엽니다.

        Cloud Shell로 이동

      3. 작업 디렉터리로 이동하고 배포를 삭제하여 설치에 실패한 VM과 영구 디스크를 삭제합니다.

        terraform destroy

        작업을 승인하라는 메시지가 표시되면 yes를 입력합니다.

      4. 배포를 다시 실행합니다.

VM 구성 확인

  1. VM 인스턴스가 오류 없이 배포되면 SSH를 사용하여 각 VM에 연결합니다. Compute Engine VM 인스턴스 페이지에서 각 VM 인스턴스의 SSH 버튼을 클릭하거나 선호하는 SSH 방법을 사용할 수 있습니다.

  2. 루트 사용자로 변경합니다.

    sudo su -
  3. 명령 프롬프트에서 df -h를 입력합니다. 출력에 /usr/sap/trans 같은 /usr/sap 디렉터리가 표시되는지 확인합니다.

    nw-ha-vm-1:~ # df -h
    Filesystem                             Size  Used Avail Use% Mounted on
    devtmpfs                               126G     0  126G   0% /dev
    tmpfs                                  126G   48M  126G   1% /dev/shm
    tmpfs                                  126G  8.6M  126G   1% /run
    tmpfs                                  126G     0  126G   0% /sys/fs/cgroup
    /dev/sda2                               30G  4.3G   26G  15% /
    /dev/sda1                              200M  5.8M  195M   3% /boot/efi
    /dev/mapper/vg_usrsap-vol              8.0G  242M  7.8G   3% /usr/sap
    /dev/mapper/vg_sapmnt-vol              8.0G   90M  7.9G   2% /sapmnt
    10.95.255.130:/pr1_nw/usrsaptrans     1007G     0  956G   0% /usr/sap/trans
    10.95.255.130:/pr1_nw/usrsapPR1SYS    1007G     0  956G   0% /usr/sap/PR1/SYS
    10.95.255.130:/pr1_nw/usrsapPR1ASCS00 1007G     0  956G   0% /usr/sap/PR1/ASCS00
    tmpfs                                   26G     0   26G   0% /run/user/1002
      

  4. 상태 명령어 pcs status를 입력하여 새 클러스터의 상태를 확인합니다.

    다음 예시와 비슷한 결과가 표시됩니다. 이 예시에서는 두 VM 인스턴스가 모두 시작되고 nw-ha-vm-1이 활성 기본 인스턴스입니다.

    nw-ha-vm-1:~ # pcs status
    Cluster name: pr1-cluster
    Cluster Summary:
    * Stack: corosync
    * Current DC: nw-ha-vm-1 (version 2.0.5-9.el8_4.5-ba59be7122) - partition with quorum
    * Last updated: Mon Aug 29 18:03:22 2022
    * Last change:  Mon Aug 29 17:58:21 2022 by root via cibadmin on nw-ha-vm-1
    * 2 nodes configured
    * 8 resource instances configured
    Node List:
    * Online: [ nw-ha-vm-1 nw-ha-vm-2 ]
    Full List of Resources:
    * fence-PR1-nw-ha-vm-1    (stonith:fence_gce):     Started nw-ha-vm-2
    * fence-PR1-nw-ha-vm-2    (stonith:fence_gce):     Started nw-ha-vm-1
    * file-system-PR1-ASCS00    (ocf::heartbeat:Filesystem):     Started nw-ha-vm-1
    * file-system-PR1-ERS10    (ocf::heartbeat:Filesystem):     Started nw-ha-vm-2
    * health-check-PR1-ASCS00    (service:haproxy@PR1ASCS):     Started nw-ha-vm-1
    * health-check-PR1-ERS10    (service:haproxy@PR1ERS):     Started nw-ha-vm-2
    * vip-PR1-ASCS00    (ocf::heartbeat:IPaddr2):     Started nw-ha-vm-1
    * vip-PR1-ERS10    (ocf::heartbeat:IPaddr2):     Started nw-ha-vm-2
    Daemon Status:
    corosync: active/enabled
    pacemaker: active/enabled
    pcsd: active/enabled

  5. socat 유틸리티를 사용하여 ASCS 및 ERS 부하 분산기 설정을 테스트합니다. 각 VM 인스턴스에서 자체 호스트 이름을 반환하는 socat 프로세스를 시작합니다.

    # socat TCP-LISTEN:80,bind=0.0.0.0,fork,reuseaddr,crlf SYSTEM:"echo HTTP/1.0 200; echo Content-Type\: text/plain; echo; echo $(hostname)" & 

검증 단계에서 설치에 실패한 단계를 하나라도 발견한 경우 다음을 수행합니다.

  1. 오류를 해결합니다.

  2. Cloud Shell을 엽니다.

    Cloud Shell로 이동

  3. Terraform 구성 파일이 있는 디렉터리로 이동합니다.

  4. 배포를 삭제합니다.

    terraform destroy

    작업을 승인하라는 메시지가 표시되면 yes를 입력합니다.

  5. 배포를 다시 실행합니다.

SAP NetWeaver용 모니터링 에이전트 설치 검사

VM을 배포하고 SAP 시스템을 설치했으면 SAP의 향상된 모니터링 기능을 통해 SAP NetWeaver용 모니터링 에이전트가 올바르게 작동하는지 확인합니다.

SAP NetWeaver용 모니터링 에이전트 실행 여부 확인

모니터링 에이전트가 실행 중인지 확인하려면 다음 단계를 따릅니다.

  1. 호스트 VM과의 SSH 연결을 설정합니다.

  2. 다음 명령어를 실행합니다.

    sudo systemctl status google-sapnetweavermonitoring-agent

    SAP NetWeaver용 모니터링 에이전트가 올바르게 작동하는 경우 출력에 active (running)이 포함됩니다. 예를 들면 다음과 같습니다.

    google-sapnetweavermonitoring-agent.service - Google Cloud monitoring agent for SAP NetWeaver
    Loaded: loaded (/usr/lib/systemd/system/google-sapnetweavermonitoring-agent.service; enabled; vendor preset: disabled)
    Active:  active (running)  since Thu 2021-09-02 07:21:42 UTC; 742ms ago
    Main PID: 10723 (java)
    Tasks: 26 (limit: 512)
    CGroup: /system.slice/google-sapnetweavermonitoring-agent.service
           └─10723 /usr/sap/google-sapnetweavermonitoring-agent/jre/bin/java -Xms32m -Xmx64m -cp /usr/sap/google-sapnetweavermonitoring-age...
    

모니터링 에이전트가 실행되지 않고 있으면 에이전트 다시 시작에 대한 운영 가이드 섹션을 참조하세요.

SAP 호스트 에이전트가 측정항목을 수신하는지 확인

인프라 측정항목이 수집되어 SAP 호스트 에이전트로 올바르게 전송되는지 확인하려면 다음 단계를 수행하세요.

  1. SAP 시스템에서 ST06 트랜잭션을 입력합니다.
  2. 개요 창에서 다음 필드의 가용성과 콘텐츠를 확인하여 SAP 및 Google 모니터링 인프라의 엔드 투 엔드 설정이 올바른지 확인합니다.

    • 클라우드 제공업체: Google Cloud Platform
    • 향상된 모니터링 액세스: TRUE
    • 향상된 모니터링 세부정보: ACTIVE

ASCS 및 ERS 설치

다음 섹션에서는 Google Cloud 기반 SAP NetWeaver를 설치하는 데 필요한 요구사항과 권장사항만 설명합니다.

자세한 설치 안내는 SAP NetWeaver 문서를 참조하세요.

설치 준비

클러스터 전체에서 일관성을 유지하고 설치를 단순화하려면 SAP NetWeaver ASCS 및 ERS 구성요소를 설치하기 전에 사용자, 그룹, 권한을 정의하고 보조 서버를 대기 모드로 전환해야 합니다.

  1. 클러스터의 유지보수 모드를 해제합니다.

    # sudo pcs property set maintenance-mode="false"

  2. 두 서버 모두에서 루트로 환경에 적합한 사용자 및 그룹 ID를 지정하여 다음 명령어를 입력합니다.

    # groupadd -g GID_SAPINST sapinst
    # groupadd -g GID_SAPSYS sapsys
    # useradd -u UID_SIDADM SID_LCadm -g sapsys
    # usermod -a -G sapinst SID_LCadm
    # useradd -u UID_SAPADM sapadm -g sapinst
    
    # chown SID_LCadm:sapsys /usr/sap/SID/SYS
    # chown SID_LCadm:sapsys /sapmnt/SID -R
    # chown SID_LCadm:sapsys /usr/sap/trans -R
    # chown SID_LCadm:sapsys /usr/sap/SID/SYS -R
    # chown SID_LCadm:sapsys /usr/sap/SID -R

    다음을 바꿉니다.

    • GID_SAPINST: SAP 프로비저닝 도구의 Linux 그룹 ID를 지정합니다.
    • GID_SAPSYS: SAPSYS 사용자의 Linux 그룹 ID를 지정합니다.
    • UID_SIDADM: SAP 시스템 관리자(SID)의 Linux 사용자 ID를 지정합니다.
    • SID_LC: 시스템 ID(SID)를 지정합니다. 모든 문자에 소문자를 사용합니다.
    • UID_SAPADM: SAP 호스트 에이전트의 사용자 ID를 지정합니다.
    • SID: 시스템 ID(SID)를 지정합니다. 모든 문자에 대문자를 사용합니다.

    예를 들어 다음은 실제 GID 및 UID 번호 지정 스키마를 보여줍니다.

    Group sapinst      1001
    Group sapsys       1002
    Group dbhshm       1003
    
    User  en2adm       2001
    User  sapadm       2002
    User  dbhadm       2003

ASCS 구성요소 설치

  1. 보조 서버에서 다음 명령어를 입력하여 보조 서버를 대기 모드로 전환합니다.

    # pcs node standby

    보조 서버를 대기 모드로 설정하면 모든 클러스터 리소스가 기본 서버에 통합되어 설치가 간소화됩니다.

  2. 보조 서버가 대기 모드인지 확인합니다.

    # pcs status

    다음과 비슷한 출력이 표시됩니다.

    Cluster name: nwha
       Cluster Summary:
         * Stack: corosync
         * Current DC: nw-ha-vm-1 (version 2.0.5-9.el8_4.3-ba59be7122) - partition with quorum
         * 2 nodes configured
         * 8 resource instances configured
    
       Node List:
         * Online: [ nw-ha-vm-1 nw-ha-vm-2 ]
    
       Full List of Resources:
         * fence-nw-ha-vm-2  (stonith:fence_gce):     Started nw-ha-vm-1
         * fence-nw-ha-vm-1  (stonith:fence_gce):     Stopped
         * Resource Group: nw8_ascs00_group:
           * nw8_vip_ascs00  (ocf::heartbeat:IPaddr2):    Started nw-ha-vm-1
           * nw8_healthcheck_scs (service:haproxy@nw8scs):    Started nw-ha-vm-1
           * nw8_fs_ascs00   (ocf::heartbeat:Filesystem):     Started nw-ha-vm-1
         * Resource Group: nw8_ers10_group:
           * nw8_vip_ers10   (ocf::heartbeat:IPaddr2):    Started nw-ha-vm-1
           * nw8_healthcheck_ers (service:haproxy@nw8ers):    Started nw-ha-vm-1
           * nw8_fs_ers10    (ocf::heartbeat:Filesystem):     Started nw-ha-vm-1
    
       Daemon Status:
         corosync: active/enabled
    
  3. 기본 서버에서 루트 사용자 권한으로 SAP Software Provisioning Manager(SWPM)를 실행하여 디렉터리를 /tmp와 같은 임시 설치 디렉터리로 변경하고 ASCS 인스턴스를 설치합니다.

    • SWPM의 웹 인터페이스에 액세스하려면 root 사용자의 비밀번호가 필요합니다. IT 정책으로 인해 SAP 관리자가 루트 비밀번호에 액세스할 수 없는 경우 SAPINST_REMOTE_ACCESS_USER를 사용할 수 있습니다.

    • SWPM을 시작할 때 SAPINST_USE_HOSTNAME 매개변수를 사용하여 /etc/hosts 파일에서 ASCS VIP 주소에 정의한 가상 호스트 이름을 지정합니다.

      예를 들면 다음과 같습니다.

      cd /tmp; /mnt/nfs/install/SWPM/sapinst SAPINST_USE_HOSTNAME=vh-aha-scs
    • 마지막 SWPM 확인 페이지에서 가상 호스트 이름이 올바른지 확인합니다.

  4. 구성이 완료되면 보조 VM을 대기 모드에서 해제합니다.

    # pcs node unstandby

ERS 구성요소 설치

  1. 기본 서버에서 루트 또는 SID_LCadm으로 ASCS 서비스를 중지합니다.

    # su - SID_LCadm -c "sapcontrol -nr ASCS_INSTANCE_NUMBER -function Stop"
    # su - SID_LCadm -c "sapcontrol -nr ASCS_INSTANCE_NUMBER -function StopService"
  2. 기본 서버에서 다음 명령어를 입력하여 기본 서버를 대기 모드로 전환합니다.

    # pcs node standby

    기본 서버를 대기 모드로 설정하면 모든 클러스터 리소스가 보조 서버에 통합되어 설치가 간소화됩니다.

  3. 기본 서버가 대기 모드인지 확인합니다.

    # pcs status

  4. 보조 서버에서 루트 사용자 권한으로 SAP Software Provisioning Manager(SWPM)를 실행하여 디렉터리를 /tmp와 같은 임시 설치 디렉터리로 변경하고 ERS 인스턴스를 설치합니다.

    • ASCS 구성요소를 설치할 때 사용한 동일한 사용자 및 비밀번호를 사용하여 SWPM에 액세스합니다.

    • SWPM을 시작할 때 SAPINST_USE_HOSTNAME 매개변수를 사용하여 /etc/hosts 파일에서 ERS VIP 주소에 정의한 가상 호스트 이름을 지정합니다.

      예를 들면 다음과 같습니다.

      cd /tmp; /mnt/nfs/install/SWPM/sapinst SAPINST_USE_HOSTNAME=vh-aha-ers
    • 마지막 SWPM 확인 페이지에서 가상 호스트 이름이 올바른지 확인합니다.

  5. 기본 VM을 대기 모드에서 해제하여 두 VM 모두 활성화되도록 합니다.

    # pcs node unstandby

SAP 서비스 구성

서비스가 올바르게 구성되었는지 확인하고 ASCS 프로필과 ERS 프로필에서 설정을 확인해야 합니다.

SAP 서비스 중지

  1. 보조 서버에서 ERS 서비스를 중지합니다.

    # su - SID_LCadm -c "sapcontrol -nr ERS_INSTANCE_NUMBER -function Stop"
    # su - SID_LCadm -c "sapcontrol -nr ERS_INSTANCE_NUMBER -function StopService"
  2. 각 서버에서 모든 서비스가 중지되었는지 확인합니다.

    # su - SID_LCadm -c "sapcontrol -nr ASCS_INSTANCE_NUMBER -function GetSystemInstanceList"
    # su - SID_LCadm -c "sapcontrol -nr ERS_INSTANCE_NUMBER -function GetSystemInstanceList"

    다음과 비슷한 출력이 표시됩니다.

    GetSystemInstanceList
    FAIL: NIECONN_REFUSED (Connection refused), NiRawConnect failed in plugin_fopen()

SAP에서 자동 서비스 다시 시작 중지

클러스터 소프트웨어는 장애 조치 중에 SAP 서비스 다시 시작을 관리하므로 충돌이 방지되도록 SAP 소프트웨어에서 자동으로 서비스를 다시 시작하는 기능을 중지합니다.

  1. 두 노드 모두에서 ASCS 및 ERS 구성요소에 대한 sapstartsrv 명령어의 시작 부분에 주석 문자 #을 추가하여 SAP 소프트웨어에서 자동 다시 시작을 사용 중지하도록 /usr/sap/sapservices 파일을 수정합니다.

    예를 들면 다음과 같습니다.

    #!/bin/sh
    
     #LD_LIBRARY_PATH=/usr/sap/SID/ASCSASCS_INSTANCE_NUMBER/exe:$LD_LIBRARY_PATH; export LD_LIBRARY_PATH; /usr/sap/SID/ASCSASCS_INSTANCE_NUMBER/exe/sapstartsrv pf=/usr/sap/SID/SYS/profile/SID_ASCSASCS_INSTANCE_NUMBER_ASCS_VIRTUAL_HOST_NAME -D -u SID_LCadm
     #LD_LIBRARY_PATH=/usr/sap/SID/ERSERS_INSTANCE_NUMBER/exe:$LD_LIBRARY_PATH; export LD_LIBRARY_PATH; /usr/sap/SID/ERSERS_INSTANCE_NUMBER/exe/sapstartsrv pf=/usr/sap/SID/SYS/profile/SID_ERSERS_INSTANCE_NUMBER_ERS_VIRTUAL_HOST_NAME -D -u SID_LCadm
     

ASCS 및 ERS 프로필 수정

  1. 두 서버 중 하나에서 다음 명령어 중 하나를 사용하여 프로필 디렉터리로 전환합니다.

    # cd /usr/sap/SID_UC/SYS/profile
    # cd /sapmnt/SID_UC/profile
  2. 필요한 경우 프로필 디렉터리에 파일을 나열하여 ASCS 및 ERS 프로필의 파일 이름을 찾거나 다음 형식을 사용합니다.

    SID_ASCSASCS_INSTANCE_NUMBER_ASCS_VIRTUAL_HOST_NAME
    SID_ERSERS_INSTANCE_NUMBER_ERS_VIRTUAL_HOST_NAME
  3. ENSA1을 사용하는 경우 ASCS 프로필에서 다음을 설정하여 연결 유지 함수를 사용 설정합니다.

    enque/encni/set_so_keepalive = true

    자세한 내용은 SAP Note 1410736 - TCP/IP: settings keepalive interval(연결 유지 간격 설정)을 참조하세요.

  4. 필요한 경우 ASCS 및 ERS 프로필을 수정하여 Enqueue Server와 Enqueue Replication Server의 시작 동작을 변경합니다.

    ENSA1

    ASCS 프로필의 'SAP Enqueue Server 시작' 섹션에서 Restart_Program_NN이라고 표시되면 다음 예시와 같이 'Restart'를 'Start'로 변경합니다.

    Start_Program_01 = local $(_EN) pf=$(_PF)

    ERS 프로필의 'Enqueue Replication Server 시작' 섹션에서 Restart_Program_NN이라고 표시되면 다음 예시와 같이 'Restart'를 'Start'로 변경합니다.

    Start_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)

    ENSA2

    ASCS 프로필의 'SAP Enqueue Server 시작' 섹션에서 Restart_Program_NN이라고 표시되면 다음 예시와 같이 'Restart'를 'Start'로 변경합니다.

    Start_Program_01 = local $(_ENQ) pf=$(_PF)

    ERS 프로필의 'Enqueue Replicator 시작' 섹션에서 Restart_Program_NN이라고 표시되면 다음 예시와 같이 'Restart'를 'Start'로 변경합니다.

    Start_Program_00 = local $(_ENQR) pf=$(_PF) ...

ASCS 및 ERS용 클러스터 리소스 구성

  1. 두 서버 중 하나에서 루트로 클러스터를 유지보수 모드로 설정합니다.

    # pcs property set maintenance-mode="true"
  2. 클러스터가 유지보수 모드인지 확인합니다.

    # pcs status
  3. ASCS 및 ERS 서비스용 클러스터 리소스를 만듭니다.

    ENSA1

    • ASCS 인스턴스의 클러스터 리소스를 만듭니다. InstanceName 값은 ASCS를 설치할 때 SWPM이 생성한 인스턴스 프로필의 이름입니다.

      # pcs resource create ASCS_INSTANCE_RESOURCE SAPInstance \
          InstanceName=SID_ASCSASCS_INSTANCE_NUMBER_ASCS_VIRTUAL_HOST_NAME \
          START_PROFILE=/sapmnt/SID/profile/SID_ASCSASCS_INSTANCE_NUMBER_ASCS_VIRTUAL_HOST_NAME \
          AUTOMATIC_RECOVER=false meta resource-stickiness=5000 migration-threshold=1 \
          failure-timeout=60  --group ASCS_RESOURCE_GROUP \
          op monitor interval=20 on-fail=restart timeout=60 \
          op start interval=0 timeout=600 \
          op stop interval=0 timeout=600
      
      # pcs resource meta ASCS_RESOURCE_GROUP resource-stickiness=3000
      
    • ERS 인스턴스의 클러스터 리소스를 만듭니다. InstanceName 값은 ERS를 설치할 때 SWPM이 생성한 인스턴스 프로필의 이름입니다. IS_ERS=true 매개변수는 Pacemaker로 하여금 ERS가 활성화된 노드에서 runsersSID 플래그를 1로 설정하도록 지시합니다.

      # pcs resource create ERS_INSTANCE_RESOURCE SAPInstance \
          InstanceName=SID_ERSERS_INSTANCE_NUMBER_ERS_VIRTUAL_HOST_NAME \
          START_PROFILE=/sapmnt/SID/profile/SID_ERSERS_INSTANCE_NUMBER_ERS_VIRTUAL_HOST_NAME \
          AUTOMATIC_RECOVER=false IS_ERS=true --group ERS_RESOURCE_GROUP \
          op monitor interval=20 on-fail=restart timeout=60 \
          op start interval=0 timeout=600 \
          op stop interval=0 timeout=600
      

    ENSA2

    • ASCS 인스턴스의 클러스터 리소스를 만듭니다. InstanceName 값은 ASCS를 설치할 때 SWPM이 생성한 인스턴스 프로필의 이름입니다.

      # pcs resource create ASCS_INSTANCE_RESOURCE SAPInstance \
          InstanceName=SID_ASCSASCS_INSTANCE_NUMBER_ASCS_VIRTUAL_HOST_NAME \
          START_PROFILE=/sapmnt/SID/profile/SID_ASCSASCS_INSTANCE_NUMBER_ASCS_VIRTUAL_HOST_NAME \
          AUTOMATIC_RECOVER=false meta resource-stickiness=5000 \
          --group ASCS_RESOURCE_GROUP \
          op monitor interval=20 on-fail=restart timeout=60 \
          op start interval=0 timeout=600 \
          op stop interval=0 timeout=600
      
      # pcs resource meta ASCS_RESOURCE_GROUP resource-stickiness=3000
      
    • ERS 인스턴스의 클러스터 리소스를 만듭니다. InstanceName 값은 ERS를 설치할 때 SWPM이 생성한 인스턴스 프로필의 이름입니다.

      # pcs resource create ERS_INSTANCE_RESOURCE SAPInstance \
          InstanceName=SID_ERSERS_INSTANCE_NUMBER_ERS_VIRTUAL_HOST_NAME \
          START_PROFILE=/sapmnt/SID/profile/SID_ERSERS_INSTANCE_NUMBER_ERS_VIRTUAL_HOST_NAME \
          AUTOMATIC_RECOVER=false IS_ERS=true --group ERS_RESOURCE_GROUP \
          op monitor interval=20 on-fail=restart timeout=60 \
          op start interval=0 timeout=600 \
          op stop interval=0 timeout=600
      

위치 및 순서 제약조건 구성

제약조건을 만들어 먼저 시작해야 하는 서비스와 동일한 호스트에서 함께 실행해야 하는 서비스를 정의할 수 있습니다. 예를 들어 IP 주소는 기본 SAP Central Services 인스턴스와 같은 호스트에 있어야 합니다.

  1. 시작 순서 제약조건을 정의합니다.

ENSA1

  1. ASCS 리소스가 ERS 리소스와 동일한 서버에서 실행되지 않도록 코로케이션 제약조건을 만듭니다.

    # pcs constraint colocation add ASCS_RESOURCE_GROUP with \
        ERS_RESOURCE_GROUP -5000
    
  2. runsersSID 플래그가 1과 동일하다고 판단하여 ERS가 실행 중인 서버로 장애 조치하도록 ASCS를 구성합니다.

    # pcs constraint location ASCS_INSTANCE \
        rule score=2000 runs_ers_SID eq 1
  3. 장애 조치가 완료된 후 ERS가 다른 서버로 이동하기 전에 ASCS가 시작되도록 구성합니다.

    # pcs constraint order start ASCS_RESOURCE_GROUP then \
        start ERS_RESOURCE_GROUP symmetrical=false kind=Optional
    # pcs constraint order start ASCS_RESOURCE_GROUP then \
        stop ERS_RESOURCE_GROUP symmetrical=false kind=Optional
    

ENSA2

  1. ASCS 리소스가 ERS 리소스와 동일한 서버에서 실행되지 않도록 코로케이션 제약조건을 만듭니다.

    # pcs constraint colocation add ASCS_RESOURCE_GROUP  with \
        ERS_RESOURCE_GROUP -5000
    
  2. 장애 조치가 완료된 후 ERS가 다른 서버로 이동하기 전에 ASCS가 시작되도록 구성합니다.

    # pcs constraint order start ASCS_RESOURCE_GROUP then \
        start ERS_RESOURCE_GROUP symmetrical=false kind=Optional
    # pcs constraint order start ASCS_RESOURCE_GROUP then \
        stop ERS_RESOURCE_GROUP symmetrical=false kind=Optional
    
  1. 제약조건을 확인합니다.

    # pcs constraint

    다음과 비슷한 출력이 표시됩니다.

    Location Constraints:
      Resource: ascs-aha-instance
        Constraint: location-ascs-instance
          Rule: score=2000
            Expression: runs_ers_HKN eq 1
      Resource: fence-nw-ha-vm-1
        Disabled on: nw-ha-vm-1 (score:-INFINITY)
      Resource: fence-nw-ha-vm-2
        Disabled on: nw-ha-vm-2 (score:-INFINITY)
    Ordering Constraints:
      start ascs-group then start ers-group (kind:Optional) (non-symmetrical)
      start ascs-group then stop ers-group (kind:Optional) (non-symmetrical)
    Colocation Constraints:
      ascs-group with ers-group (score:-5000)
    Ticket Constraints:
  2. 두 서버 중 하나에서 루트로 클러스터 유지보수 모드를 중지합니다.

    # pcs property set maintenance-mode="false"

SAP용 Red Hat 클러스터 커넥터 구성

클러스터의 호스트마다 HA 인터페이스를 통해 Pacemaker 클러스터 소프트웨어와 통신하도록 SAP Start Service sapstartsrv를 구성합니다.

  1. SAP 관리 권한 사용자를 haclient 그룹에 추가합니다.

    usermod -a -G haclient SID_LCadm
  2. 각 프로필 끝에 다음 줄을 추가하여 SAP 인스턴스 프로필을 수정합니다. /sapmnt/SID/profiles 디렉터리에서 프로필을 찾을 수 있습니다.

    service/halib = $(DIR_CT_RUN)/saphascriptco.so
    service/halib_cluster_connector = /usr/bin/sap_cluster_connector
  3. ASCS 및 ERS 인스턴스 리소스가 현재 클러스터에서 실행 중인 경우 중지합니다.

    pcs resource disable ERS_INSTANCE_RESOURCE
    pcs resource disable ASCS_INSTANCE_RESOURCE
  4. ASCS 호스트에서 서비스를 중지합니다.

    sapcontrol -nr ASCS_INSTANCE_NUMBER -function StopService
  5. ERS 호스트에서 서비스를 중지합니다.

    sapcontrol -nr ERS_INSTANCE_NUMBER -function StopService
  6. 리소스를 사용 설정합니다.

    pcs resource enable ERS_INSTANCE_RESOURCE
    pcs resource enable ASCS_INSTANCE_RESOURCE
  7. 클러스터의 호스트마다 이전 단계를 반복합니다.

Red Hat의 자세한 내용은 RHEL 7 및 8에서 SAPInstance 리소스의 SAP halib 구성 방법을 참조하세요.

클러스터 외부의 호스트에 데이터베이스 및 애플리케이션 서버 설치

고가용성 구성에서는 데이터베이스 서버와 애플리케이션 서버를 클러스터의 ASCS 및 ERS 호스트와 다른 호스트에 설치하는 것이 좋습니다.

서버마다 별도의 호스트를 사용하면 복잡성이 줄어들고 여러 서버에 영향을 미치는 오류가 발생할 위험이 줄어들며 각 Compute Engine의 크기를 각 서버 유형에 맞게 조정할 수 있습니다.

이를 통해 가장 적합한 인증 머신 크기를 선택하고 오류를 방지하고 복잡성을 줄일 수 있습니다.

이 가이드에서는 데이터베이스 서버와 애플리케이션 서버 설치를 다루지 않습니다.

데이터베이스 서버 설치는 다음을 참조하세요.

클러스터 유효성 검사 및 테스트

이 섹션에서는 다음 테스트를 실행하는 방법을 보여줍니다.

  • 구성 오류 검사
  • ASCS 및 ERS 리소스가 장애 조치 중에 서버를 올바르게 전환하는지 확인
  • 잠금이 유지되었는지 확인
  • 라이브 마이그레이션으로 장애 조치가 트리거되지 않도록 Compute Engine 유지보수 이벤트 시뮬레이션

클러스터 구성 확인

  1. 두 서버 중 하나에서 루트로 리소스가 실행 중인 노드를 확인합니다.

    # pcs status

    다음 예시에서는 ASCS 리소스가 nw-ha-vm-2 서버에서 실행되고 ERS 리소스가 nw-ha-vm-1 서버에서 실행됩니다.

    Stack: corosync
      Current DC: nw-ha-vm-1 (version 1.1.23-1.el7_9.1-9acf116022) - partition with quorum
      Last updated: Wed Apr 13 05:21:21 2022
      Last change: Wed Apr 13 05:21:18 2022 by hacluster via crmd on nw-ha-vm-2
    
      2 nodes configured
      10 resource instances configured
    
      Online: [ nw-ha-vm-1 nw-ha-vm-2 ]
    
      Full list of resources:
    
      fence-nw-ha-vm-1     (stonith:fence_gce):    Started nw-ha-vm-2
      fence-nw-ha-vm-2     (stonith:fence_gce):    Started nw-ha-vm-1
       Resource Group: ascs-group
           ascs-file-system   (ocf::heartbeat:Filesystem):    Started nw-ha-vm-2
           ascs-vip   (ocf::heartbeat:IPaddr2):       Started nw-ha-vm-2
           ascs-healthcheck   (service:haproxy@AHAascs):      Started nw-ha-vm-2
           ascs-aha-instance      (ocf::heartbeat:SAPInstance):   Started nw-ha-vm-2
       Resource Group: ers-group
           ers-file-system    (ocf::heartbeat:Filesystem):    Started nw-ha-vm-1
           ers-vip    (ocf::heartbeat:IPaddr2):       Started nw-ha-vm-1
           ers-healthcheck    (service:haproxy@AHAers):       Started nw-ha-vm-1
           ers-aha-instance       (ocf::heartbeat:SAPInstance):   Started nw-ha-vm-1
    
      Migration Summary:
      * Node nw-ha-vm-1:
      * Node nw-ha-vm-2:
  2. SID_LCadm 사용자로 전환합니다.

    # su - SID_LCadm
  3. 클러스터 구성을 확인합니다. INSTANCE_NUMBER의 경우 명령어를 입력하는 서버에서 활성화된 ASCS 또는 ERS 인스턴스의 인스턴스 번호를 지정합니다.

    > sapcontrol -nr INSTANCE_NUMBER -function HAGetFailoverConfig

    HAActive는 다음 예시와 같이 TRUE여야 합니다.

    HAGetFailoverConfig
    
    14.04.2022 17:25:45
    HAGetFailoverConfig
    OK
    HAActive: TRUE
    HAProductVersion: Pacemaker
    HASAPInterfaceVersion: sap_cluster_connector
    HADocumentation: https://github.com/ClusterLabs/sap_cluster_connector
    HAActiveNode:
    HANodes:

  4. SID_LCadm으로 구성에서 오류가 있는지 확인합니다.

    > sapcontrol -nr INSTANCE_NUMBER -function HACheckConfig

    다음과 비슷한 출력이 표시됩니다.

    14.04.2022 21:43:39
    HACheckConfig
    OK
    state, category, description, comment
    SUCCESS, SAP CONFIGURATION, Redundant ABAP instance configuration, 0 ABAP instances detected
    SUCCESS, SAP CONFIGURATION, Enqueue separation, All Enqueue server separated from application server
    SUCCESS, SAP CONFIGURATION, MessageServer separation, All MessageServer separated from application server
    SUCCESS, SAP STATE, SCS instance running, SCS instance status ok
    SUCCESS, SAP CONFIGURATION, SAPInstance RA sufficient version (vip-ascs_NWT_00), SAPInstance includes is-ers patch
    SUCCESS, SAP CONFIGURATION, Enqueue replication (vip-ascs_NWT_00), Enqueue replication enabled
    SUCCESS, SAP STATE, Enqueue replication state (vip-ascs_NWT_00), Enqueue replication active
    SUCCESS, SAP CONFIGURATION, SAPInstance RA sufficient version (vip-ers_NWT_10), SAPInstance includes is-ers patch

  5. ASCS가 활성화된 서버에서 SID_LCadm으로 장애 조치를 시뮬레이션합니다.

    > sapcontrol -nr ASCS_INSTANCE_NUMBER -function HAFailoverToNode ""
  6. 루트로, crm_mon을 사용하여 장애 조치를 수행하면 ASCS가 다른 서버로 이동하고 ERS가 해당 서버에서 중지된 후 ASCS가 실행 중이던 서버로 ERS가 이동하는 것이 표시됩니다.

장애 조치 시뮬레이션

기본 호스트에서 장애를 시뮬레이션하여 클러스터를 테스트할 수 있습니다. 사용할 시스템을 출시하기 전에 테스트 시스템을 사용하거나 프로덕션 시스템에서 테스트를 실행합니다.

다음과 같은 다양한 방법으로 장애를 시뮬레이션할 수 있습니다.

  • shutdown -r(활성 노드에서)
  • ip link set eth0 down
  • echo c > /proc/sysrq-trigger

이 안내에서는 장애 조치와 펜싱의 유효성을 모두 확인하므로 ip link set eth0 down을 사용하여 네트워크 인터페이스를 오프라인으로 전환합니다.

  1. 시스템을 백업합니다.

  2. 활성 SCS 인스턴스가 있는 호스트의 루트로 네트워크 인터페이스를 오프라인으로 전환합니다.

    $ ip link set eth0 down
  3. SSH를 사용하여 두 호스트 중 하나에 다시 연결하고 루트 사용자로 변경합니다.

  4. pcs status를 입력하여 보조 호스트를 포함했던 VM에서 지금 기본 호스트가 활성 상태임을 확인합니다. 다음 예시와 같이 클러스터에 자동으로 다시 시작이 사용 설정되어 있으므로 중지된 호스트가 다시 시작되고 보조 호스트 역할을 할당합니다.

     Stack: corosync
      Current DC: nw-ha-vm-1 (version 1.1.23-1.el7_9.1-9acf116022) - partition with quorum
      Last updated: Wed Apr 13 05:21:21 2022
      Last change: Wed Apr 13 05:21:18 2022 by hacluster via crmd on nw-ha-vm-2
    
      2 nodes configured
      10 resource instances configured
    
      Online: [ nw-ha-vm-1 nw-ha-vm-2 ]
    
      Full list of resources:
    
      fence-nw-ha-vm-1     (stonith:fence_gce):    Started nw-ha-vm-2
      fence-nw-ha-vm-2     (stonith:fence_gce):    Started nw-ha-vm-1
       Resource Group: ascs-group
           ascs-file-system   (ocf::heartbeat:Filesystem):    Started nw-ha-vm-1
           ascs-vip   (ocf::heartbeat:IPaddr2):       Started nw-ha-vm-1
           ascs-healthcheck   (service:haproxy@AHAascs):      Started nw-ha-vm-1
           ascs-aha-instance      (ocf::heartbeat:SAPInstance):   Started nw-ha-vm-1
       Resource Group: ers-group
           ers-file-system    (ocf::heartbeat:Filesystem):    Started nw-ha-vm-2
           ers-vip    (ocf::heartbeat:IPaddr2):       Started nw-ha-vm-2
           ers-healthcheck    (service:haproxy@AHAers):       Started nw-ha-vm-2
           ers-aha-instance       (ocf::heartbeat:SAPInstance):   Started nw-ha-vm-2
    
      Migration Summary:
      * Node nw-ha-vm-1:
      * Node nw-ha-vm-2:

잠금 항목이 유지되는지 확인

잠금 항목이 장애 조치 중에 보존되는지 확인하려면 먼저 Enqueue Server 버전의 탭을 선택하고 절차에 따라 잠금 항목을 생성하고 장애 조치를 시뮬레이션하고 ASCS가 다시 활성화된 후에도 잠금 항목이 유지되는지 확인합니다.

ENSA1

  1. ERS가 활성화된 서버에서 SID_LCadm으로 enqt 프로그램을 사용하여 잠금 항목을 생성합니다.

    > enqt pf=/PATH_TO_PROFILE/SID_ERSERS_INSTANCE_NUMBER_ERS_VIRTUAL_HOST_NAME 11 NUMBER_OF_LOCKS
  2. ASCS가 활성화된 서버에서 SID_LCadm으로 잠금 항목이 등록되었는지 확인합니다.

    > sapcontrol -nr ASCS_INSTANCE_NUMBER -function EnqGetStatistic | grep locks_now

    10개의 잠금을 설정한 경우 다음 예시와 비슷한 출력이 표시됩니다.

    locks_now: 10
  3. ERS가 활성화된 서버에서 SID_LCadm으로 enqt 프로그램의 모니터링 함수 OpCode=20을 시작합니다.

    > enqt pf=/PATH_TO_PROFILE/SID_ERSERS_INSTANCE_NUMBER_ERS_VIRTUAL_HOST_NAME 20 1 1 9999

    예를 들면 다음과 같습니다.

    > enqt pf=/sapmnt/AHA/profile/AHA_ERS10_vh-ers-aha 20 1 1 9999
  4. ASCS가 활성화된 경우 서버를 재부팅합니다.

    모니터링 서버에서 Pacemaker가 ERS 중지하여 다른 서버로 이동할 때 다음과 같은 출력이 표시됩니다.

    Number of selected entries: 10
    Number of selected entries: 10
    Number of selected entries: 10
    Number of selected entries: 10
    Number of selected entries: 10
  5. enqt 모니터링이 중지되면 Ctrl + c를 입력하여 모니터링 종료합니다.

  6. 원하는 경우 두 서버 중 하나에서 루트로 클러스터 장애 조치를 모니터링합니다.

    # crm_mon
  7. 잠금이 유지되었음을 확인한 후 SID_LCadm으로 잠금을 해제합니다.

    > enqt pf=/PATH_TO_PROFILE/SID_ERSERS_INSTANCE_NUMBER_ERS_VIRTUAL_HOST_NAME 12 NUMBER_OF_LOCKS
  8. ASCS가 활성화된 서버에서 SID_LCadm으로 잠금 항목이 삭제되었는지 확인합니다.

    > sapcontrol -nr ASCS_INSTANCE_NUMBER -function EnqGetStatistic | grep locks_now

ENSA2

  1. ASCS가 활성화된 서버에서 SID_LCadm으로 enq_adm 프로그램을 사용하여 잠금 항목을 생성합니다.

    > enq_admin --set_locks=NUMBER_OF_LOCKS:X:DIAG::TAB:%u pf=/PATH_TO_PROFILE/SID_ASCSASCS_INSTANCE_NUMBER_ASCS_VIRTUAL_HOST_NAME
  2. ASCS가 활성화된 서버에서 SID_LCadm으로 잠금 항목이 등록되었는지 확인합니다.

    > sapcontrol -nr ASCS_INSTANCE_NUMBER -function EnqGetStatistic | grep locks_now

    10개의 잠금을 설정한 경우 다음 예시와 비슷한 출력이 표시됩니다.

    locks_now: 10
  3. ERS가 활성 상태이면 잠금 항목이 복제되었는지 확인합니다.

    > sapcontrol -nr ERS_INSTANCE_NUMBER -function EnqGetStatistic | grep locks_now

    반환된 잠금 수는 ASCS 인스턴스와 동일해야 합니다.

  4. ASCS가 활성화된 경우 서버를 재부팅합니다.

  5. 원하는 경우 두 서버 중 하나에서 루트로 클러스터 장애 조치를 모니터링합니다.

    # crm_mon
  6. ASCS가 다시 시작된 서버에서 SID_LCadm으로 잠금 항목이 유지되었는지 확인합니다.

    > sapcontrol -nr ASCS_INSTANCE_NUMBER -function EnqGetStatistic | grep locks_now
  7. ERS가 활성화된 서버에서 SID_LCadm으로 잠금이 유지되었음을 확인한 후 잠금을 해제합니다.

    > enq_admin --release_locks=NUMBER_OF_LOCKS:X:DIAG::TAB:%u pf=/PATH_TO_PROFILE/SID_ERSERS_INSTANCE_NUMBER_ERS_VIRTUAL_HOST_NAME
  8. ASCS가 활성화된 서버에서 SID_LCadm으로 잠금 항목이 삭제되었는지 확인합니다.

    > sapcontrol -nr ASCS_INSTANCE_NUMBER -function EnqGetStatistic | grep locks_now

    다음과 비슷한 출력이 표시됩니다.

    locks_now: 0

Compute Engine 유지보수 이벤트 시뮬레이션

Compute Engine 유지보수 이벤트를 시뮬레이션하여 라이브 마이그레이션이 장애 조치를 트리거하지 않도록 합니다.

이러한 안내에서 사용되는 제한 시간과 간격 값은 라이브 마이그레이션 기간을 설명합니다. 클러스터 구성에서 더 짧은 값을 사용하면 라이브 마이그레이션으로 장애 조치가 트리거될 위험이 커집니다.

라이브 마이그레이션을 위한 클러스터의 내결함성을 테스트하려면 다음 안내를 따르세요.

  1. 기본 노드에서 다음 gcloud CLI 명령어를 사용하여 시뮬레이션된 유지보수 이벤트를 트리거합니다.

    $ gcloud compute instances simulate-maintenance-event PRIMARY_VM_NAME
  2. 기본 노드가 변경되지 않는지 확인합니다.

    $ pcs status

문제 해결하기

SAP NetWeaver의 고가용성 구성 문제를 해결하려면 SAP의 고가용성 구성 문제 해결을 참조하세요.

SAP NetWeaver 고가용성 클러스터 진단 정보 수집

SAP NetWeaver의 고가용성 클러스터 문제를 해결하는 데 도움이 필요하면 필요한 진단 정보를 수집하고 Cloud Customer Care에 문의하세요.

진단 정보를 수집하려면 RHEL 진단 정보의 고가용성 클러스터를 참조하세요.

지원

Google Cloud 인프라 또는 서비스 관련 문제인 경우 고객 관리에 문의하세요. Google Cloud 콘솔의 지원 개요 페이지에서 연락처 정보를 확인할 수 있습니다. 고객 관리에서 SAP 시스템에 문제가 있다고 판단하면 SAP 지원으로 지원을 요청하세요.

SAP 제품 관련 문제가 발생하면 SAP 지원으로 지원을 요청하세요. SAP가 지원 티켓을 평가한 후 Google Cloud 인프라 문제로 판단되면 해당 티켓을 Google Cloud 구성요소 BC-OP-LNX-GOOGLE 또는 BC-OP-NT-GOOGLE로 전송합니다.

지원 요구사항

SAP 시스템과 사용 중인 Google Cloud 인프라 및 서비스에 대한 지원을 받으려면 최소 지원 요금제 요구사항을 충족해야 합니다.

Google Cloud 기반 SAP에 대한 최소 지원 요구사항에 대한 상세 설명은 다음을 참조하세요.

배포 후 작업 수행

SAP NetWeaver 시스템을 사용하기 전에 새 SAP NetWeaver HA 시스템을 백업하는 것이 좋습니다.

자세한 내용은 SAP NetWeaver 운영 가이드를 참조하세요.

다음 단계

고가용성, SAP NetWeaver, Google Cloud에 대한 자세한 내용은 다음 리소스를 참조하세요.