베어메탈 솔루션에서 Oracle 구현 시 권장사항

베어메탈 솔루션에서 Oracle 데이터베이스를 구현할 때의 목표는 가능한 한 적은 수의 문제로 쉽게 환경을 조성하는 것입니다. 이러한 목표 달성을 돕기 위해 Google에서는 베어메탈 솔루션에 Oracle 데이터베이스를 구현한 고객, 솔루션 설계자, 지원 담당자로부터 의견을 수집했습니다. 다음 정보는 베어메탈 솔루션에서 자체 Oracle 데이터베이스 환경을 성공적으로 구축하는 데 도움이 될 수 있도록 이러한 전문가 의견에서 얻은 권장사항을 제공합니다.

소프트웨어 배포

가장 성공적인 Oracle 소프트웨어 배포를 위해서 베어메탈 솔루션 툴킷을 사용하는 것이 좋습니다. 툴킷은 베어메탈 솔루션에서 Oracle 소프트웨어 설치를 수행하는 데 도움이 되는 몇 가지 Ansible 및 JSON 스크립트를 제공합니다. 베어메탈 솔루션 툴킷과 베어메탈 솔루션 환경에 Oracle 데이터베이스를 설치하는 방법에 대한 자세한 내용은 툴킷 사용자 가이드를 참조하세요.

운영체제

베어메탈 솔루션 서버에서 운영체제를 설정할 때는 다음 작업을 수행하는 것이 좋습니다.

NTP 서버 유효성 검사

모든 베어메탈 솔루션 서버는 시간 소스와 동기화되어야 합니다. 필요에 가장 잘 맞는 물리적 또는 가상의 NTP 서버 옵션을 선택합니다.

서버가 시간 동기화에 NTP를 사용하는 경우 timedatectl 또는 ntpstat 명령어를 사용하여 서버가 시간 소스와 동기화되었는지 확인합니다. 다음 예시는 성공적으로 동기화된 서버에서 이러한 명령어의 출력을 보여줍니다.

timedatectl show -p NTPSynchronized
NTPSynchronized=yes

synchronised to NTP server (216.239.35.8) at stratum 3
   time correct to within 49 ms
   polling server every 1024 s

Oracle VM CPU 수 및 메모리 세부정보 보기

CPU 및 메모리 세부정보를 포함해서 Oracle VM(OVM) 호스트에 대한 정보를 보려면 xm info 명령어를 사용합니다. 예를 들면 다음과 같습니다.

/usr/sbin/xm info

자세한 내용은 호스트 정보 보기에 대한 Oracle 문서를 참조하세요.

올바른 마운트 옵션을 위해 `/etc/fstab` 설정 확인

부팅 프로세스가 중단되는 것을 방지하려면 항상 기본값 대신 nofail 마운트 옵션을 사용하여 만드는 비루트 마운트 지점(예: /u01 및 /u02)을 구성합니다. 드물지만 기본 스토리지 기기를 호스트가 다시 시작할 때 사용할 수 없는 경우도 있습니다. nofail 마운트 옵션을 설정하면 서버가 스토리지 기기를 볼 수 없을 때에도 부팅 프로세스가 계속됩니다.

다음 예시에서는 /etc/fstab 파일의 /u01 및 /u02 마운트 지점에 권장되는 설정을 보여줍니다.

/dev/mapper/3600a098038314352513f4f765339624c1 /u01 xfs nofail 0 0
/dev/mapper/3600a374927591837194d4j371563816c1 /u02 xfs nofail 0 0

운영체제에 영향을 주지 않고 마운트 옵션을 defaults에서 nofail로 수정할 수 있습니다. 하지만 새 설정을 적용하려면 서버를 재부팅해야 합니다.

셸 한도 설정 확인

베어메탈 솔루션 툴킷은 Oracle RAC를 구성하는 데 필요한 셸 한도를 구성합니다. 베어메탈 솔루션 툴킷을 사용했지만 셸 한도를 변경하지 않은 경우 이 유효성 검사를 건너뛸 수 있습니다. Grid Infrastructure를 포함하여 Oracle 소프트웨어를 소유한 모든 운영체제 계정에 셸 한도를 설정해야 합니다. Oracle에서는 Linux에서 다음 설정을 사용하는 것을 권장합니다.

한도	소프트 값	하드 값
파일 열기	1024	65536
최대 사용자 프로세스	16384	16384
스택 크기	10240	32768
최대 고정 메모리	최소 90%의 메모리	최소 90%의 메모리

ulimit 명령어를 사용하여 소프트 및 하드 셸 한도를 확인합니다. 예를 들어 소프트 셸 한도를 확인하려면 다음 명령어를 입력합니다.

ulimit -S -n -u -s -l

다음 출력은 384GB의 메모리가 있는 시스템의 올바른 소프트 셸 한도 설정을 보여줍니다.

open files                      (-n) 1024
max user processes              (-u) 16384
stack size              (kbytes, -s) 10240
max locked memory       (kbytes, -l) 355263678

하드 셸 한도를 확인하려면 다음 명령어를 사용합니다.

ulimit -H -n -u -s -l

다음 출력은 384GB의 메모리가 있는 시스템의 올바른 하드 셸 한도를 보여줍니다.

open files                      (-n) 65536
max user processes              (-u) 16384
stack size              (kbytes, -s) 32768
max locked memory       (kbytes, -l) 355263678

셸 한도가 올바르게 설정되지 않았으면 다음 예시와 같이 /etc/security/limits.conf 파일의 항목을 수정합니다.

oracle  soft  nofile  1024
oracle  hard  nofile  65536
oracle  soft  nproc   2047
oracle  hard  nproc   16384
oracle  soft  stack   10240
oracle  hard  stack   32768
oracle  soft  memlock 355263678
oracle  hard  memlock 355263678

grid    soft  nofile  1024
grid    hard  nofile  65536
grid    soft  nproc   2047
grid    hard  nproc   16384
grid    soft  stack   10240
grid    hard  stack   32768
grid    soft  memlock 355263678
grid    hard  memlock 355263678

grep MemTotal /proc/meminfo
MemTotal:       16092952 kB

다중 경로 설정 변경 방지

멀티 경로 설정을 변경하려는 경우 multipath.conf를 사용하여 기기의 별칭 이름을 만든다면 path_grouping_policy 속성을 구성하지 마세요. 이러한 변경은 devices 정의 섹션에 설정된 기본 정책을 재정의합니다.

정상 작동 시 multipath -ll 명령어는 다음 예시와 비슷한 상태를 표시합니다. 각 기기에는 준비 상태인 활성 경로 두 개가 포함됩니다.

3600a0980383143524f2b50476d59554e dm-7 NETAPP  ,LUN C-Mode
size=xxxG features='4 queue_if_no_path pg_init_retries 50 retain_attached_hw_handle' hwhandler='1 alua' wp=rw
|-+- policy='service-time 0' prio=50 status=active
| |- 14:0:3:2 sdf                8:80   active ready running
| `- 16:0:5:2 sdv                65:80  active ready running
`-+- policy='service-time 0' prio=10 status=enabled
  |- 14:0:2:2 sdc                8:32   active ready running
  `- 16:0:3:2 sdq                65:0   active ready running

점보 프레임 사용

RAC 환경에서 한 서버에서 다른 서버로 이동할 때 패킷의 단편화를 방지하기 위해 Oracle은 점보 프레임을 사용한 서버 인터페이스 구성을 권장합니다. 점보 프레임의 MTU 크기는 9,000바이트이며 Oracle 데이터베이스 블록 크기 8,192바이트를 지원할 만큼 큽니다.

Oracle RAC용 베어메탈 솔루션 서버에서 점보 프레임을 구성하려면 다음 안내를 따르세요.

베어메탈 솔루션 비공개 네트워크의 설정을 확인하여 점보 프레임이 구성되었는지 확인합니다.

gcloud bms networks describe NETWORK_NAME --project=PROJECT_ID --region=REGION | grep jumboFramesEnabled

샘플 출력:

jumboFramesEnabled: true

네트워크 인터페이스와 mtu 크기를 확인합니다.

ip link show | grep mtu

샘플 결과:

1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1000
2: enp55s0f1: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc mq state DOWN mode DEFAULT group default qlen 1000
3: enp55s0f2: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc mq state DOWN mode DEFAULT group default qlen 1000
4: enp55s0f3: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc mq state DOWN mode DEFAULT group default qlen 1000
5: enp17s0f0: <BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP> mtu 1500 qdisc mq master bond0 state UP mode DEFAULT group default qlen 1000
6: enp17s0f1: <BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP> mtu 1500 qdisc mq master bond1 state UP mode DEFAULT group default qlen 1000
7: enp173s0f0: <BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP> mtu 1500 qdisc mq master bond0 state UP mode DEFAULT group default qlen 1000
8: enp173s0f1: <BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP> mtu 1500 qdisc mq master bond1 state UP mode DEFAULT group default qlen 1000
9: bond1: <BROADCAST,MULTICAST,MASTER,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP mode DEFAULT group default qlen 1000
10: bond1.117@bond1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP mode DEFAULT group default qlen 1000
11: bond0: <BROADCAST,MULTICAST,MASTER,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP mode DEFAULT group default qlen 1000
12: bond0.118@bond0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP mode DEFAULT group default qlen 1000
13: virbr0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state DOWN mode DEFAULT group default qlen 1000
14: virbr0-nic: <BROADCAST,MULTICAST> mtu 1500 qdisc pfifo_fast master virbr0 state DOWN mode DEFAULT group default qlen 1000

루트 수준 권한을 사용하여 점보 프레임을 사용하는 베어메탈 솔루션 환경의 모든 서버에 대한 인터페이스 구성 파일에 MTU=9000을 추가합니다. /etc/sysconfig/network-scripts/ifcfg-interface_name에서 파일을 찾을 수 있습니다.

샘플 출력:

BONDING_OPTS="lacp_rate=1 miimon=100 mode=802.3ad xmit_hash_policy=1"
TYPE=Bond
BONDING_MASTER=yes
PROXY_METHOD=none
BROWSER_ONLY=no
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=no
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=bond1
UUID=0e7da685-64bf-44f3-812f-9846d747a801
DEVICE=bond1
ONBOOT=yes
AUTOCONNECT_SLAVES=yes
MTU=9000

변경사항을 적용하려면 네트워킹 서비스를 다시 시작합니다.
```
service network restart
```

ping 명령어를 실행하여 새 MTU 구성을 테스트합니다.

 ping -c 2 -M do -s 8972 svr001
 PING svr001 (172.16.1.10) 8972(9000) bytes of data.
 8980 bytes from svr001 (172.16.1.10): icmp_seq=1 ttl=64 time=0.153 ms
 8980 bytes from svr001 (172.16.1.10): icmp_seq=2 ttl=64 time=0.151 ms

--- svr001 ping statistics ---
2 packets transmitted, 2 received, 0% packet loss, time 1001ms
rtt min/avg/max/mdev = 0.151/0.152/0.153/0.001 ms

Oracle RMAN 백업 및 지연 시간 영향

Oracle RMAN 백업 프로세스가 RATE 매개변수로 제한되지 않으면 스토리지 처리량 또는 IOPS가 스토리지 볼륨의 성능 한도로 푸시될 수 있습니다. 그러면 스토리지 IO가 제한되어 스토리지 볼륨의 지연 시간이 증가합니다.

Oracle RMAN에서 사용할 수 있는 대역폭 또는 처리량을 제한하려면 RATE 채널 매개변수를 구현하는 것이 좋습니다.

자세한 내용은 Oracle 문서: 23.2.1.4 RATE 채널 매개변수를 참조하세요.

Oracle 자동 스토리지 관리

Google Cloud Customer Care팀과 여러 베어메탈 솔루션 고객이 베어메탈 솔루션 환경에 Oracle 자동 스토리지 관리(ASM)를 추가했습니다. Google은 ASM 디스크 그룹 설치를 성공적으로 수행하는 데 도움이 되는 권장사항 목록을 다음과 같이 모았습니다. Google의 목표는 베어메탈 솔루션 환경에 최상의 스토리지 성능을 달성하도록 돕는 것입니다.

균일한 LUN 크기 사용
2개 이하의 ASM 디스크 그룹 만들기
모든 볼륨의 모든 LUN에서 ASM 디스크 그룹 스트라이핑
동일한 디스크 그룹에서 성능 특성이 동일한 LUN 및 볼륨 사용
여러 RAC 클러스터 간에 스토리지 볼륨 공유 금지
ASM 디스크 그룹을 만들기 전에 필요한 IOPS 및 처리량 용량 알아보기
멀티 경로 구성을 그대로 유지
ASM의 중요 설정 구성
외부 중복화로 ASM 디스크 그룹 만들기
ASM 디스크 생성 후 베어메탈 솔루션 서버 재부팅

균일한 LUN 크기 사용

선택한 LUN 크기는 성장 단위를 나타내야 합니다. ASM은 크기가 동일하고 성능 특성이 유사한 LUN에서 가장 잘 작동합니다. 매우 큰 데이터베이스의 경우 성능을 최적화하기 위해 LUN 크기를 2TB로 설정하는 것이 좋습니다.

2개 이하의 ASM 디스크 그룹 만들기

데이터 파일과 REDO 로그 사본 1개를 단일 DATA 디스크 그룹으로 전송해야 합니다. 선택적으로 두 번째 FRA 디스크 그룹을 만들어 디스크에 백업 및 보관 로그를 저장할 수 있습니다. 복원력이 높은 스토리지에 REDO 로그를 저장하는 경우 두 개의 사본을 보유할 필요가 없습니다.

REDO 로그 쓰기는 지연 시간에 민감합니다. 따라서 FRA 디스크 그룹의 성능 프로필이 DATA 디스크 그룹의 성능 프로필과 일치하는 경우에만 REDO 로그를 다중화하는 것이 좋습니다.

모든 볼륨의 모든 LUN에서 ASM 디스크 그룹 스트라이핑

ASM 디스크 그룹을 만들 때는 모든 볼륨의 모든 LUN에 디스크 그룹을 스트라이핑합니다. LUN이 단일 볼륨에 속하는 경우 디스크 그룹을 만들 때 볼륨의 모든 LUN을 포함해야 합니다. 예를 들어 볼륨에 X개의 LUN이 있으면 디스크 그룹을 만들 때 모든 X개의 LUN을 사용해야 합니다.

볼륨에 QoS 한도가 제공되므로 이 권장사항은 여러 볼륨을 사용하는 경우에도 적용됩니다. 처리량을 늘리기 위해(900Mbps 초과) 여러 볼륨을 사용하는 경우 필요한 성능을 얻기 위해 디스크 그룹을 만들 때 모든 볼륨의 모든 LUN을 포함해야 합니다.

동일한 디스크 그룹에서 성능 특성이 동일한 LUN 및 볼륨 사용

처리량을 높이기 위해 여러 볼륨을 사용하는 경우 ASM 디스크 그룹을 만들 때 동일한 볼륨 크기와 성능 특성을 사용합니다.

성능 특성이 서로 다른 볼륨에서 LUN을 혼합하지 마세요. 동일한 디스크 그룹에 서로 다른 성능 프로필이 있는 LUN과 볼륨을 포함하면 I/O 작업을 수행하는 디스크 성능의 최대치가 낮아지고 지연 시간이 급증할 수 있습니다.

예를 들어 균일하지 않은 볼륨 2개(1X16TiB 및 1X5TiB)로 ASM 디스크 그룹을 만드는 경우 5TB 볼륨의 디스크에서 수행하는 I/O 작업으로 인해 지연 시간이 길어질 수 있습니다. 5TiB 볼륨은 훨씬 낮은 처리량 및 IOPS 최대치를 가지므로 16TiB 볼륨의 제한 수준보다 훨씬 먼저 제한 수준에 도달합니다.

여러 RAC 클러스터 간에 스토리지 볼륨 공유 금지

각 RAC 클러스터에 대해 고유한 스토리지 볼륨을 프로비저닝합니다. 여러 RAC 클러스터 간에 동일한 스토리지 볼륨을 공유하지 마세요. 스토리지 기기에는 볼륨 수준에서 QoS가 적용되므로 이 방식을 통해 사용량이 많은 인접 항목(noisy neighbor)이 IOPS 및 처리량의 단일 풀에 대해 경합할 가능성이 최소화됩니다.

예를 들어 단일 볼륨에 LUN 8개가 있는 경우 하나의 RAC 데이터베이스 클러스터에 일부 LUN을 할당하고 다른 RAC 데이터베이스 클러스터에 나머지 LUN을 할당하면 안 됩니다. 대신 2개의 개별 스토리지 볼륨을 프로비저닝하고 각 볼륨을 볼륨별로 별도의 전용 RAC 클러스터에 할당합니다.

ASM 디스크 그룹을 만들기 전에 필요한 IOPS 및 처리량 용량 알아보기

온프레미스 환경의 최대 성능 수치를 파악합니다. 이 정보를 찾으려면 최대 워크로드 시간 중 AWR 보고서를 생성하여 시스템의 최대 IOPS 및 처리량 값을 기록하세요. Oracle 데이터베이스 평가 도구를 사용하여 최대 성능 수치를 수집할 수도 있습니다.

온프레미스 성능 수치를 손쉽게 활용하면 베어메탈 솔루션 스토리지 성능 표를 확인하여 ASM 디스크 그룹에 할당해야 하는 스토리지 용량을 계산하여 필요한 성능을 달성할 수 있습니다. 향상된 처리량 요구사항이 있는 경우(768Mbps 초과) 여러 볼륨을 만들고 모든 LUN 및 모든 볼륨에 ASM 디스크 그룹을 스트라이핑할 수 있습니다.

멀티 경로 구성을 그대로 유지

/etc/multipath.conf 파일에서 기본 group_pathing_policy를 변경해서는 안 됩니다. 스토리지 경로 실패 시 RAC 노드 제거를 방지하려면 항상 기본값 group_pathing_policy=group_by_prio를 사용해야 합니다.

다중 경로 구성을 그대로 두는 방법에 관한 자세한 내용은 다중 경로 설정 변경 방지를 참고하세요.

ASM의 중요 설정 구성

Linux에서 Oracle Grid Infrastructure 12.1.0.2 이상을 사용하는 경우 ASMFD 또는 UDEV로 ASM을 설정합니다.

이전 버전의 Oracle Grid Infrastructure에는 ASMLib를 사용합니다.

Oracle ASM이 단일 경로 ASM 기기를 먼저 선택하지 않도록 중지하려면 스캔 순서를 다음과 같이 설정합니다.
```
ORACLEASM_SCANORDER="dm"
ORACLEASM_SCANEXCLUDE="sd"
```
베어메탈 솔루션 스토리지 환경에서는 /proc/partitions에서 볼 수 있는 DM 기기가 사용되기 때문에 이 설정이 필요합니다.
ASMLib가 ASM 디스크를 관리하도록 구성되었는지 확인하려면 루트 사용자로 다음 명령어를 실행합니다.
```
/usr/sbin/oracleasm configure | grep SCAN
```
ASMLib를 사용하는 경우 출력이 다음과 같이 표시됩니다.
```
ORACLEASM_SCANBOOT=true
ORACLEASM_SCANORDER="dm"
ORACLEASM_SCANEXCLUDE="sd"
ORACLEASM_SCAN_DIRECTORIES=""
```

외부 중복화로 ASM 디스크 그룹 만들기

베어메탈 솔루션에서 제공하는 스토리지에는 디스크 두 개가 실패하더라도 데이터를 보호하는 RAID 6의 일종인 NETAPP RAID-DP가 사용됩니다. 따라서 ASM에 외부 중복화를 사용하는 것이 좋습니다.

ASM 디스크 생성 후 베어메탈 솔루션 서버 재부팅

ASM 디스크 그룹을 만든 후에는 클러스터의 모든 베어메탈 솔루션 서버를 재부팅하여 재부팅 후 ASM 인스턴스와 디스크 그룹이 모두 온라인 상태가 되는지 확인해야 합니다. 이 사전 단계를 따르면 데이터베이스 클러스터를 ASM 디스크 그룹에 빌드한 후에 발생할 수 있는 문제를 방지할 수 있습니다.

Oracle RAC

이 섹션에서는 베어메탈 솔루션에 Oracle Real Application Clusters(RAC)를 설치할 때의 권장사항을 설명합니다.

Oracle Grid Infrastructure 클러스터 이름 길이

15자(영문 기준) 이하의 클러스터 이름을 사용합니다.

클러스터 이름이 15자(영문 기준)를 초과하면 root.sh 스크립트가 실패합니다.

SSH를 통한 VNC 뷰어 터널링

VNC 뷰어와 같은 임의의 서버는 베어메탈 솔루션 서버의 기본 OS 방화벽에 의해 차단됩니다. 따라서 SSH를 통해 X Window 또는 VNC Viewer를 터널링하세요.

ssh -L 5901:localhost:5901 bms-host
vncviewer localhost:1

루트 파일 시스템을 위한 충분한 공간

루트 파일 시스템(/)에 여유 공간이 충분한지 확인합니다. 베어메탈 솔루션 서버에는 20GB의 루트 파일 시스템이 제공되지만 충분하지 않을 수 있습니다.

베어메탈 솔루션 서버에서 루트 '/' 파일 시스템의 크기를 확인합니다. 기본 크기는 20GB로 충분하지 않을 수 있습니다. 크기가 20GB이면 늘립니다.

Cloud DNS 대신 네임서버 사용

Cloud DNS를 사용하지 않으려면 자체 네임서버를 설치하여 베어메탈 솔루션 서버에서 호스트 IP 주소를 확인합니다. Oracle Grid Infrastructure는 nslookup 명령어를 사용하여 DNS 서버의 이름을 가져옵니다. nslookup 명령어는 /etc/hosts 파일을 사용하지 않습니다.

다음 단계를 따르세요.

dnsmasq를 설치합니다.
```
yum makecache
yum install dnsmasq
```
수정 모드에서 /etc/dnsmasq.conf 파일을 엽니다.
```
vi /etc/dnsmasq.conf
```

/etc/dnsmasq.conf 파일에 다음 라인을 추가합니다.

port=53
domain-needed
bogus-priv

strict-order
expand-hosts
domain=localdomain

address=/.localdomain/127.0.0.1
address=//127.0.0.1

listen-address=127.0.0.1
resolv-file=/etc/dnsmasq-resolv.conf

다음 줄만 포함하도록 /etc/dnsmasq-resolv.conf 파일과 /etc/resolv.conf 파일을 수정합니다.
```
nameserver 127.0.0.1
```

dnsmasq 서비스를 시작합니다.

systemctl restart dnsmasq

systemctl status dnsmasq

두 노드 모두에서 nslookup 명령어를 실행합니다.

nslookup at-2811641-svr001
Server:         127.0.0.1
Address:        127.0.0.1#53

Name:   at-2811641-svr001
Address: 192.168.1.10

nslookup at-2811641-svr002
Server:         127.0.0.1
Address:        127.0.0.1#53

Name:   at-2811641-svr002
Address: 192.168.1.11

NTP 설치

NTP를 설치할 때 모든 RAC 노드가 점프 호스트 또는 내부 NTP 서버의 시간과 동기화되는지 확인합니다. 다음 단계를 따르세요.

NTP 설치
```
yum install ntp
```
ntpd 서비스를 시작합니다.
```
systemctl start ntpd
```
/etc/ntp.conf 파일에서 다음 줄을 추가하여 배스천 호스트(이 경우 10.x.x.x)와 동기화합니다. 내부 NTP 서버를 사용할 수도 있습니다. 이 경우 192.x.x.x는 베어메탈 솔루션 서버입니다.
```
restrict 192.x.x.x mask 255.255.255.0 nomodify notrap
server 10.x.x.x prefer
```
동기화를 시작하려면 동기화 시작을 위해 시간 서버를 업데이트합니다.
```
ntpdate -qu SERVER_NAME
```

한 번에 한 노드에서 루트 스크립트를 실행합니다.

한 번에 한 노드에서 루트 스크립트 root.sh를 실행합니다. 첫 번째 노드에서 실행이 실패하면 다음 노드로 진행하지 마세요.

`Localhost` 해결

베어메탈 솔루션 서버는 Localhost를 /etc/hosts 파일에 추가하지 않으므로 Localhost를 127.0.0.1로 수동으로 해결합니다.

충분한 리소스 한도가 있는지 확인

베어메탈 솔루션 서버에 Oracle RAC를 설치하기 전에 root 사용자 및 oracle 사용자의 리소스 한도가 충분한지 확인합니다.

ulimit 명령어를 사용하여 한도를 확인할 수 있습니다.

`ORACLEASM_SCANORDER` 변수 설정

Oracle ASMLib를 사용하는 경우 Oracle ASM이 단일 경로 ASM 기기를 먼저 선택하지 않도록 막으려면 스캔 순서를 다음과 같이 설정합니다.

ORACLEASM_SCANORDER="dm"
ORACLEASM_SCANEXCLUDE="sd"

베어메탈 솔루션 스토리지 환경에서는 /proc/partitions 파일에서 볼 수 있는 DM 기기가 사용되기 때문에 이 설정이 필요합니다.

_{Oracle은 Oracle 및/또는 그 계열사의 등록 상표입니다.}