Praktik terbaik untuk Oracle pada Solusi Bare Metal

Saat menerapkan database Oracle di Solusi Bare Metal, kami tahu bahwa tujuan Anda adalah menyiapkan lingkungan dengan mudah dan minim masalah. Untuk membantu Anda mencapai sasaran ini, kami telah mengumpulkan masukan dari pelanggan, Solution Architect, dan staf dukungan yang telah menerapkan database Oracle di Solusi Bare Metal. Informasi berikut berisi rekomendasi yang dipelajari dari para pakar tersebut untuk membantu Anda agar berhasil saat membuat lingkungan database Oracle Anda sendiri di Solusi Bare Metal.

Deployment software

Untuk deployment software Oracle yang paling sukses, sebaiknya gunakan Bare Metal Solution Toolkit. Toolkit ini menyediakan beberapa skrip Ansible dan JSON untuk membantu Anda melakukan penginstalan software Oracle di Solusi Bare Metal. Untuk informasi selengkapnya tentang Bare Metal Solution Toolkit dan cara menginstal database Oracle di lingkungan Solusi Bare Metal, lihat panduan pengguna toolkit.

Sistem operasi

Saat menyiapkan sistem operasi di server Solusi Bare Metal, sebaiknya Anda melakukan tindakan berikut.

Memvalidasi server NTP

Semua server Solusi Bare Metal harus disinkronkan dengan sumber waktu. Pilih opsi server NTP, baik fisik maupun virtual, yang paling sesuai dengan kebutuhan Anda.

Jika server Anda menggunakan NTP untuk sinkronisasi waktu, gunakan perintah timedatectl atau ntpstat untuk melihat apakah server disinkronkan dengan sumber waktu. Contoh berikut menunjukkan output dari perintah ini untuk server yang berhasil disinkronkan:

timedatectl show -p NTPSynchronized
NTPSynchronized=yes

synchronised to NTP server (216.239.35.8) at stratum 3
   time correct to within 49 ms
   polling server every 1024 s

Melihat jumlah CPU dan detail memori Oracle VM

Untuk melihat informasi tentang host Oracle VM (OVM), termasuk detail CPU dan memori, gunakan perintah xm info. Contoh:

/usr/sbin/xm info

Untuk informasi selengkapnya, lihat dokumentasi Oracle tentang cara melihat informasi host

Periksa setelan /etc/fstab untuk mengetahui opsi pemasangan yang benar

Untuk mencegah proses booting berhenti berfungsi, selalu konfigurasikan titik pemasangan non-root yang Anda buat (seperti /u01 dan /u02) dengan opsi pemasangan nofail sebagai pengganti setelan default. Dalam kasus yang jarang terjadi, perangkat penyimpanan yang mendasarinya mungkin tidak tersedia saat host dimulai ulang. Menetapkan opsi pemasangan nofail memungkinkan proses booting berlanjut saat server tidak dapat melihat perangkat penyimpanan.

Contoh berikut menunjukkan setelan yang direkomendasikan untuk titik pemasangan /u01 dan /u02 dalam file /etc/fstab:

/dev/mapper/3600a098038314352513f4f765339624c1 /u01 xfs nofail 0 0
/dev/mapper/3600a374927591837194d4j371563816c1 /u02 xfs nofail 0 0

Anda dapat mengubah opsi pemasangan dari defaults menjadi nofail tanpa dampak apa pun pada sistem operasional. Namun, untuk menerapkan setelan baru, Anda perlu memulai ulang server.

Mengonfirmasi setelan batas shell

Toolkit Solusi Bare Metal mengonfigurasi batas shell yang diperlukan untuk mengonfigurasi Oracle RAC. Anda dapat melewati validasi ini jika menggunakan toolkit Solusi Bare Metal dan tidak mengubah batas shell. Batas shell harus ditetapkan untuk semua akun sistem operasi yang memiliki software Oracle, termasuk Grid Infrastructure. Oracle merekomendasikan setelan berikut untuk Linux:

Batas Nilai Soft Nilai Hard
Buka file 1024 65536
Proses pengguna maksimum 16384 16384
Ukuran stack 10240 32768
Memori terkunci maksimum Setidaknya 90% memori Setidaknya 90% memori

Gunakan perintah ulimit untuk memverifikasi batas shell soft dan hard. Misalnya, masukkan perintah ini untuk memverifikasi batas soft shell:

ulimit -S -n -u -s -l

Output berikut menunjukkan setelan batas soft shell yang benar untuk sistem dengan memori 384 GB:

open files                      (-n) 1024
max user processes              (-u) 16384
stack size              (kbytes, -s) 10240
max locked memory       (kbytes, -l) 355263678

Untuk memverifikasi batas hard shell, gunakan perintah berikut:

ulimit -H -n -u -s -l

Output berikut menunjukkan batas hard shell yang benar untuk sistem dengan memori sebesar 384 GB:

open files                      (-n) 65536
max user processes              (-u) 16384
stack size              (kbytes, -s) 32768
max locked memory       (kbytes, -l) 355263678

Jika ada batas shell yang tidak ditetapkan dengan benar, ubah entri dalam file /etc/security/limits.conf, seperti yang ditunjukkan dalam contoh berikut:

oracle  soft  nofile  1024
oracle  hard  nofile  65536
oracle  soft  nproc   2047
oracle  hard  nproc   16384
oracle  soft  stack   10240
oracle  hard  stack   32768
oracle  soft  memlock 355263678
oracle  hard  memlock 355263678

grid    soft  nofile  1024
grid    hard  nofile  65536
grid    soft  nproc   2047
grid    hard  nproc   16384
grid    soft  stack   10240
grid    hard  stack   32768
grid    soft  memlock 355263678
grid    hard  memlock 355263678

grep MemTotal /proc/meminfo
MemTotal:       16092952 kB

Hindari mengubah setelan multi-jalur

Jika Anda memilih untuk mengubah setelan multi-jalur, jangan konfigurasikan atribut path_grouping_policy jika Anda menggunakan multipath.conf untuk membuat nama alias untuk perangkat. Perubahan tersebut akan menggantikan kebijakan default yang ditetapkan di bagian definisi devices.

Dalam operasi normal, perintah multipath -ll akan menampilkan status yang mirip dengan contoh berikut. Setiap perangkat menyertakan dua jalur aktif yang berada dalam status siap.

3600a0980383143524f2b50476d59554e dm-7 NETAPP  ,LUN C-Mode
size=xxxG features='4 queue_if_no_path pg_init_retries 50 retain_attached_hw_handle' hwhandler='1 alua' wp=rw
|-+- policy='service-time 0' prio=50 status=active
| |- 14:0:3:2 sdf                8:80   active ready running
| `- 16:0:5:2 sdv                65:80  active ready running
`-+- policy='service-time 0' prio=10 status=enabled
  |- 14:0:2:2 sdc                8:32   active ready running
  `- 16:0:3:2 sdq                65:0   active ready running

Menggunakan frame jumbo

Untuk mencegah fragmentasi paket saat berpindah dari satu server ke server lain di lingkungan RAC, Oracle merekomendasikan untuk mengonfigurasi antarmuka server dengan jumbo frame. Jumbo frame memiliki ukuran MTU 9.000 byte dan cukup besar untuk mendukung ukuran blok database Oracle sebesar 8.192 byte.

Untuk mengonfigurasi frame jumbo di server Solusi Bare Metal untuk Oracle RAC:

  1. Lihat setelan jaringan pribadi Solusi Bare Metal Anda untuk mengonfirmasi bahwa jumbo frame telah dikonfigurasi:

    gcloud bms networks describe NETWORK_NAME --project=PROJECT_ID --region=REGION | grep jumboFramesEnabled

    Contoh output:

    jumboFramesEnabled: true

  2. Identifikasi antarmuka jaringan dan ukuran mtu-nya:

    ip link show | grep mtu

    Contoh output:

    1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1000
2: enp55s0f1: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc mq state DOWN mode DEFAULT group default qlen 1000
3: enp55s0f2: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc mq state DOWN mode DEFAULT group default qlen 1000
4: enp55s0f3: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc mq state DOWN mode DEFAULT group default qlen 1000
5: enp17s0f0: <BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP> mtu 1500 qdisc mq master bond0 state UP mode DEFAULT group default qlen 1000
6: enp17s0f1: <BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP> mtu 1500 qdisc mq master bond1 state UP mode DEFAULT group default qlen 1000
7: enp173s0f0: <BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP> mtu 1500 qdisc mq master bond0 state UP mode DEFAULT group default qlen 1000
8: enp173s0f1: <BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP> mtu 1500 qdisc mq master bond1 state UP mode DEFAULT group default qlen 1000
9: bond1: <BROADCAST,MULTICAST,MASTER,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP mode DEFAULT group default qlen 1000
10: bond1.117@bond1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP mode DEFAULT group default qlen 1000
11: bond0: <BROADCAST,MULTICAST,MASTER,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP mode DEFAULT group default qlen 1000
12: bond0.118@bond0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP mode DEFAULT group default qlen 1000
13: virbr0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state DOWN mode DEFAULT group default qlen 1000
14: virbr0-nic: <BROADCAST,MULTICAST> mtu 1500 qdisc pfifo_fast master virbr0 state DOWN mode DEFAULT group default qlen 1000

  3. Dengan menggunakan hak istimewa tingkat root, tambahkan MTU=9000 ke file konfigurasi antarmuka untuk semua server di lingkungan Solusi Bare Metal yang menggunakan frame jumbo. Anda dapat menemukan file tersebut di /etc/sysconfig/network-scripts/ifcfg-interface_name.

    Contoh output:

    BONDING_OPTS="lacp_rate=1 miimon=100 mode=802.3ad xmit_hash_policy=1"
TYPE=Bond
BONDING_MASTER=yes
PROXY_METHOD=none
BROWSER_ONLY=no
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=no
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=bond1
UUID=0e7da685-64bf-44f3-812f-9846d747a801
DEVICE=bond1
ONBOOT=yes
AUTOCONNECT_SLAVES=yes
MTU=9000

  4. Mulai ulang layanan jaringan agar perubahan dapat diterapkan:

    service network restart

  5. Berikan perintah ping untuk menguji konfigurasi MTU baru Anda:

     ping -c 2 -M do -s 8972 svr001
 PING svr001 (172.16.1.10) 8972(9000) bytes of data.
 8980 bytes from svr001 (172.16.1.10): icmp_seq=1 ttl=64 time=0.153 ms
 8980 bytes from svr001 (172.16.1.10): icmp_seq=2 ttl=64 time=0.151 ms

--- svr001 ping statistics ---
2 packets transmitted, 2 received, 0% packet loss, time 1001ms
rtt min/avg/max/mdev = 0.151/0.152/0.153/0.001 ms

Pengaruh latensi dan pencadangan Oracle RMAN

Jika proses pencadangan Oracle RMAN tidak dibatasi oleh parameter RATE, proses tersebut dapat mendorong throughput penyimpanan atau IOPS ke batas performa untuk volume penyimpanan. Hal ini menyebabkan IO penyimpanan dibatasi, sehingga meningkatkan latensi pada volume penyimpanan.

Sebaiknya terapkan parameter saluran RATE untuk membatasi jumlah bandwidth atau throughput yang dapat digunakan Oracle RMAN.

Untuk informasi selengkapnya, lihat dokumentasi Oracle: 23.2.1.4 Parameter Saluran RATE

Pengelolaan Penyimpanan Otomatis Oracle

Tim Cloud Customer Care kami dan beberapa pelanggan Solusi Bare Metal telah menambahkan Oracle Automatic Storage Management (ASM) ke lingkungan Solusi Bare Metal mereka. Melalui pengalaman dan kebijaksanaan kolektif mereka, kami telah mengumpulkan daftar praktik terbaik berikut untuk membantu Anda berhasil dalam penginstalan grup disk ASM Anda sendiri. Tujuan kami adalah membantu Anda mencapai performa penyimpanan terbaik untuk lingkungan Solusi Bare Metal Anda.

Menggunakan ukuran LUN yang seragam

Ukuran LUN yang Anda pilih harus mewakili unit pertumbuhan. ASM berfungsi paling baik dengan LUN yang memiliki ukuran yang sama dan karakteristik performa yang serupa. Untuk database yang sangat besar, sebaiknya gunakan ukuran LUN 2 TB untuk mengoptimalkan performa.

Buat tidak lebih dari dua grup disk ASM

Anda harus mengirim file data dan satu salinan log REDO ke satu grup disk DATA. Secara opsional, Anda dapat membuat grup disk FRA kedua untuk menyimpan cadangan di disk dan mengarsipkan log. Saat menyimpan log REDO di penyimpanan yang sangat tangguh, Anda tidak perlu memiliki dua salinan.

Penulisan log REDO sensitif terhadap latensi. Oleh karena itu, hanya pertimbangkan multipleksing log REDO jika profil performa grup disk FRA cocok dengan profil performa grup disk DATA.

Membuat grup disk ASM bergaris di semua LUN di semua volume

Saat membuat grup disk ASM, buat stripe grup disk di semua LUN dari semua volume. Jika LUN Anda termasuk dalam satu volume, Anda harus menyertakan semua LUN dalam volume saat membuat grup disk. Misalnya, jika volume memiliki jumlah LUN X, Anda harus menggunakan semua LUN X saat membuat grup disk.

Panduan ini juga berlaku untuk penggunaan beberapa volume, karena kami memberikan batas QoS pada volume. Jika menggunakan beberapa volume untuk meningkatkan throughput (>900 Mbps), Anda harus menyertakan semua LUN dari setiap volume saat membuat grup disk untuk mencapai performa yang diperlukan.

Menggunakan LUN dan volume dengan karakteristik performa yang sama dalam grup disk yang sama

Jika Anda menggunakan beberapa volume untuk meningkatkan throughput, gunakan karakteristik performa dan ukuran volume yang sama saat membuat grup disk ASM.

Jangan mencampur LUN dari volume yang memiliki karakteristik performa yang berbeda. Jika Anda menyertakan LUN dan volume dengan profil performa yang berbeda dalam grup disk yang sama, disk yang melakukan operasi I/O mungkin memiliki batas performa yang jauh lebih rendah dan dapat menyebabkan lonjakan latensi.

Misalnya, jika Anda membuat grup disk ASM dengan 2 volume yang tidak merata (1 X 16 TiB dan 1 X 5 TiB), operasi I/O yang dilakukan oleh disk dalam volume 5 TB mungkin menyebabkan peningkatan latensi. Volume 5 TiB memiliki throughput dan batas IOPS yang jauh lebih rendah, sehingga akan mencapai tingkat throttling jauh sebelum tingkat throttling untuk volume 16 TiB.

Jangan berbagi volume penyimpanan di beberapa cluster RAC

Untuk setiap cluster RAC, sediakan volume penyimpanan yang unik. Jangan berbagi volume penyimpanan yang sama di beberapa cluster RAC. Karena perangkat penyimpanan menerapkan QoS pada tingkat volume, praktik ini meminimalkan kemungkinan tetangga yang berisik bersaing untuk satu kumpulan IOPS dan throughput.

Misalnya, jika satu volume memiliki 8 LUN, jangan tetapkan beberapa LUN ke satu cluster database RAC dan LUN yang tersisa ke cluster database RAC yang berbeda. Sebagai gantinya, sediakan dua volume penyimpanan terpisah dan tetapkan setiap volume ke cluster RAC khusus yang terpisah per volume.

Mengetahui IOPS dan kapasitas throughput yang diperlukan sebelum membuat grup disk ASM

Perhatikan angka performa puncak untuk lingkungan lokal Anda. Untuk menemukan informasi ini, buat laporan AWR selama jam workload puncak untuk mencatat nilai throughput dan IOPS puncak sistem Anda. Anda juga dapat menggunakan alat Penilaian Database Oracle untuk mengumpulkan angka performa puncak.

Dengan angka performa di tempat Anda, periksa tabel performa penyimpanan Solusi Bare Metal kami untuk menghitung jumlah penyimpanan yang perlu dialokasikan ke grup disk ASM dan mencapai performa yang diperlukan. Jika Anda memiliki persyaratan throughput yang ditingkatkan (>768 Mbps), Anda dapat membuat beberapa volume dan membuat stripe grup disk ASM di semua LUN dan semua volume.

Membiarkan konfigurasi multi-jalur apa adanya

Anda tidak boleh mengubah group_pathing_policy default dalam file /etc/multipath.conf. Anda harus selalu menggunakan nilai default group_pathing_policy=group_by_prio untuk menghindari penghapusan node RAC jika terjadi kegagalan jalur penyimpanan.

Untuk mengetahui detail selengkapnya tentang cara mempertahankan konfigurasi multi-jalur, lihat Menghindari perubahan setelan multi-jalur.

Mengonfigurasi setelan penting untuk ASM

Jika Anda menggunakan Oracle Grid Infrastructure 12.1.0.2 atau yang lebih baru di Linux, siapkan ASM dengan ASMFD atau UDEV.

Untuk Oracle Grid Infrastructure versi sebelumnya, gunakan ASMLib.

  • Untuk menghentikan Oracle ASM agar tidak memilih perangkat ASM jalur tunggal terlebih dahulu, tetapkan urutan pemindaian sebagai berikut:

    ORACLEASM_SCANORDER="dm"
ORACLEASM_SCANEXCLUDE="sd"

    Kami mewajibkan setelan ini karena lingkungan penyimpanan Solusi Bare Metal menggunakan perangkat DM yang dapat Anda lihat di /proc/partitions.

  • Untuk memeriksa apakah ASMLib dikonfigurasi untuk mengelola disk ASM Anda, jalankan perintah berikut sebagai pengguna root:

    /usr/sbin/oracleasm configure | grep SCAN

    Jika Anda menggunakan ASMLib, outputnya akan terlihat seperti berikut:

    ORACLEASM_SCANBOOT=true
ORACLEASM_SCANORDER="dm"
ORACLEASM_SCANEXCLUDE="sd"
ORACLEASM_SCAN_DIRECTORIES=""

Membuat grup disk ASM dengan redundansi eksternal

Penyimpanan yang disediakan oleh Bare Metal Solution menggunakan NETAPP RAID-DP, yang merupakan bentuk RAID 6 yang melindungi data meskipun dua disk gagal. Oleh karena itu, sebaiknya gunakan redundansi eksternal untuk ASM.

Memulai ulang server Solusi Bare Metal setelah pembuatan disk ASM

Setelah membuat grup disk ASM, Anda harus memulai ulang semua server Solusi Bare Metal di cluster untuk memastikan instance ASM dan grup disk aktif setelah dimulai ulang. Ikuti langkah proaktif ini agar Anda dapat menghindari masalah yang mungkin terjadi setelah cluster database dibuat di grup disk ASM.

Oracle RAC

Bagian ini menjelaskan praktik terbaik saat menginstal Cluster Oracle Real Application (RAC) di Solusi Bare Metal.

Panjang nama cluster Oracle Grid Infrastructure

Gunakan nama cluster yang tidak lebih dari 15 karakter.

Nama cluster yang lebih dari 15 karakter akan menyebabkan skrip root.sh gagal.

Tunnel VNC Viewer melalui SSH

Server arbitrer, seperti VNC Viewer, diblokir oleh firewall OS default server Solusi Bare Metal. Oleh karena itu, buat tunnel X Window atau VNC Viewer melalui SSH:

ssh -L 5901:localhost:5901 bms-host
vncviewer localhost:1

Ruang penyimpanan yang cukup untuk sistem file root

Pastikan sistem file root (/) memiliki ruang kosong yang cukup. Server Solusi Bare Metal dilengkapi dengan sistem file root 20 GB yang mungkin tidak memadai.

Di server Solusi Bare Metal, periksa ukuran sistem file root '/'. Ukuran default-nya adalah 20 GB yang mungkin tidak cukup. Jika ukurannya 20 GB, naikkan ukurannya.

Menggunakan server nama sebagai pengganti Cloud DNS

Jika Anda tidak ingin menggunakan Cloud DNS, instal server nama Anda sendiri untuk me-resolve alamat IP host di server Solusi Bare Metal. Oracle Grid Infrastructure menggunakan perintah nslookup untuk mendapatkan nama server DNS. Perintah nslookup tidak menggunakan file /etc/hosts.

Ikuti langkah-langkah berikut:

  1. Instal dnsmasq.

    yum makecache
yum install dnsmasq

  2. Buka file /etc/dnsmasq.conf dalam mode edit.

    vi /etc/dnsmasq.conf

  3. Dalam file /etc/dnsmasq.conf, tambahkan baris berikut:

    port=53
domain-needed
bogus-priv

strict-order
expand-hosts
domain=localdomain

address=/.localdomain/127.0.0.1
address=//127.0.0.1

listen-address=127.0.0.1
resolv-file=/etc/dnsmasq-resolv.conf

  4. Edit file /etc/dnsmasq-resolv.conf dan file /etc/resolv.conf agar hanya berisi baris berikut:

    nameserver 127.0.0.1

  5. Mulai layanan dnsmasq:

    systemctl restart dnsmasq

systemctl status dnsmasq

  6. Di kedua node, jalankan perintah nslookup.

    nslookup at-2811641-svr001
Server:         127.0.0.1
Address:        127.0.0.1#53

Name:   at-2811641-svr001
Address: 192.168.1.10

nslookup at-2811641-svr002
Server:         127.0.0.1
Address:        127.0.0.1#53

Name:   at-2811641-svr002
Address: 192.168.1.11

Menginstal NTP

Saat menginstal NTP, pastikan semua node RAC disinkronkan dengan waktu host jump atau server NTP internal Anda. Ikuti langkah-langkah berikut:

  1. Instal NTP.

    yum install ntp

  2. Mulai layanan ntpd.

    systemctl start ntpd

  3. Dalam file /etc/ntp.conf, tambahkan baris berikut untuk disinkronkan dengan host bastion, yang dalam hal ini adalah 10.x.x.x. Anda juga dapat menggunakan server NTP internal. Dalam hal ini, 192.x.x.x adalah server Solusi Bare Metal Anda.

    restrict 192.x.x.x mask 255.255.255.0 nomodify notrap
server 10.x.x.x prefer

  4. Untuk memulai sinkronisasi, perbarui server waktu untuk memulai sinkronisasi.

    ntpdate -qu SERVER_NAME

Menjalankan skrip root di satu node pada satu waktu

Jalankan skrip root root.sh di satu node pada satu waktu. Jika eksekusi gagal di node pertama, jangan lanjutkan ke node berikutnya.

Menyelesaikan Localhost

Karena server Solusi Bare Metal tidak menambahkan Localhost ke file /etc/hosts, selesaikan Localhost ke 127.0.0.1 secara manual.

Memastikan batas resource yang memadai

Sebelum menginstal Oracle RAC di server Solusi Bare Metal, pastikan batas resource untuk pengguna root dan pengguna oracle memadai.

Anda dapat menggunakan perintah ulimit untuk memeriksa batas.

Tetapkan variabel ORACLEASM_SCANORDER

Jika Anda menggunakan Oracle ASMLib, untuk menghentikan Oracle ASM agar tidak memilih perangkat ASM jalur tunggal terlebih dahulu, tetapkan urutan pemindaian sebagai berikut:

ORACLEASM_SCANORDER="dm"
ORACLEASM_SCANEXCLUDE="sd"

Kami mewajibkan setelan ini karena lingkungan penyimpanan Solusi Bare Metal menggunakan perangkat DM yang dapat Anda lihat dalam file /proc/partitions.

Oracle adalah merek dagang terdaftar dari Oracle dan/atau afiliasinya.