Best practice per l'installazione di RAC su Bare Metal Solution

Questa pagina contiene le best practice da esaminare prima di installare Oracle RAC su Bare Metal Solution.

1. Bug relativo alla lunghezza del nome del cluster Oracle GI 18c.

Oracle GI 18C presenta un bug relativo alla lunghezza del nome del cluster che interessa la soluzione Bare Metal.

Azione consigliata:

Il nome del cluster deve contenere meno di 15 caratteri, altrimenti lo script root.sh non andrà a buon fine nel primo passaggio con l'errore host name is too long. Il nome del cluster predefinito è più lungo di 15 caratteri, quindi devi modificarlo prima di eseguire lo script.

2. SSH

La verifica SSH potrebbe non riuscire a causa di un problema OPEN ssh.

OpenSSH_6.7: ERROR [INS-06003] Failed to setup passwordless SSH connectivity During Grid Infrastructure Install (Doc ID 2111092.1)

Azione consigliata:

Edit the `/etc/ssh/sshd_config` file to contain the following line:

KexAlgorithms [e-mail],ecdh-sha2-nistp256,ecdh-sha2-nistp384,ecdh-sha2-nistp521,diffie-hellman-group-exchange-sha256,diffie-hellman-group14-sha1,diffie-hellman-group-exchange-sha1,diffie-hellman-group1-sha1

Riavvia il servizio sshd per applicare le modifiche.

/etc/init.d/sshd restart

3. Server VNC

I server arbitrari come VNC verranno bloccati dalla configurazione predefinita del firewall del sistema operativo. Esegui invece il tunnel di Xwindows o VNC tramite SSH:

ssh -L 5901:localhost:5901 bms-host
vncviewer localhost:1

4. File system principale

Assicurati che il file system principale / abbia spazio libero sufficiente.

Per consentire all'host di creare il file system principale, devi disporre di almeno 20 GB di spazio disponibile.

5. DNS

Se non utilizzi Cloud DNS, installa il tuo server dei nomi su Bare Metal Solution per risolvere gli indirizzi IP degli host. Oracle Grid Infrastructure utilizza il comando nslookup per ottenere il nome DNS. nslookup non utilizza /etc/hosts.

# install these files:
yum makecache
yum install dnsmasq

## Edit /etc/dnsmasq.conf and add these lines:
port=53
domain-needed
bogus-priv
strict-order
expand-hosts
domain=localdomain
address=/.localdomain/127.0.0.1
address=//127.0.0.1
listen-address=127.0.0.1
resolv-file=/etc/dnsmasq-resolv.conf
# Save the file.

# The files /etc/dnsmasq-resolv.conf and /etc/resolv.conf should contain only
# the following one line. Edit them if this is not the case.
nameserver 127.0.0.1

# Start the dnsmasq service:
systemctl restart dnsmasq
systemctl status dnsmasq

# verify the host names are resolved:
nslookup <host name 1>
Server:         127.0.0.1
Address:        127.0.0.1#53

Name:   <host name 1>
Address: 192.168.1.10

nslookup <host name 2>
Server:         127.0.0.1
Address:        127.0.0.1#53

Name:   <host name 2>
Address: 192.168.1.11

6. Installa NTP.

Installa il Network Time Protocol (NTP) e assicurati che tutti i nodi RAC sincronizzino l'ora con il tuojumpshot o con il tuo server NTP interno.

# install and start the NTP service
yum install ntp
systemctl start ntpd
# Add the following line to the /etc/ntp.conf file. In this case we are syncing
# with our bastion which is 10.x.x.x in this case. This can be your internal NTP
server. 192.x.x.x is your host.

restrict 192.x.x.x mask 255.255.255.0 nomodify notrap
server 10.x.x.x prefer

ntpdate -qu {your host name}

7. root.sh

Quando esegui root.sh, esegui un nodo alla volta.

Nota: SE SI VERIFICA UN ERRORE, NON PROCEDERE AL NODO SUCCESSIVO.

8. Localhost.

Assicurati che localhost risolva in 127.0.0.1. L'host non inserisce localhost nel file /etc/hosts.

9. Ulimit

Assicurati che ulimit per gli utenti root e Oracle abbia limiti sufficienti.

10. La copia dei file SCP richiede molto tempo con l'operazione di ricreazione della chiave.

Ciò è dovuto a un problema di configurazione del daemon SSH di Bare Metal Solution.

Azione consigliata:

# Modify your ssh config on the host server side.
vi /etc/ssh/sshd_config

# Add this line or modify it if you already set.
ClientAliveInterval 420

# Restart SSH
service sshd restart

11. OracleASM

Se utilizzi Oracle ASMLIB, assicurati di impostare la variabile di ambiente ORACLEASM_SCANORDER in modo che il dispositivo ASM con un solo percorso non venga scelto per primo da Oracle Automatic Storage Management.

Azione consigliata: imposta scanorder come indicato di seguito.

ORACLEASM_SCANORDER="multipath sd"

12. CRS root.sh o OCSSD non vanno a buon fine con l'errore No Network HB.

Se utilizzi Oracle Cluster Ready Services (CRS), lo script root.sh può non riuscire se il nodo riesce a eseguire il ping dell'indirizzo IP 169.254.169.254. 169.254.169.254 è un Google Cloud servizio di metadati che registra l'istanza in Google Cloud. Google Cloud Le VM non possono avviarsi se blocchi questo indirizzo IP. Tuttavia, i server RAC Bare Metal Solution riscontreranno problemi di comunicazione con HAIP, in quanto possono interrompere il percorso di comunicazione con HAIP. In questo caso, potrebbe essere necessario bloccare l'indirizzo IP o disattivare HAIP. L'esempio seguente mostra come bloccare l'IP con le istruzioni route. L'istruzione route di Linux non è persistente, quindi devi aggiungerla allo script di rete o rc.

Azione consigliata: esegui questo comando su tutti i nodi prima di eseguire nuovamente root.sh:

/sbin/route add -host 169.254.169.254 reject

# To make a permanent change, add the route statement to rc script.
chmod +x /etc/rc.d/rc.local

# Edit /etc/rc.d/rc.local and add this line:
/sbin/route add -host 169.254.169.254 reject

# Enable rc-local service
systemctl status rc-local.service
systemctl enable rc-local.service
systemctl start rc-local.service

13. Bug del kernel Linux

Il riavvio si blocca quando alla macchina sono collegate molte LUN per Redhat, OVM e SUSIE LINUX.

Azione consigliata: aumenta il valore predefinito dell'intervallo di timeout del watchdog:

# Under /etc/systemd create a folder named: system.conf.d
# In this folder, create a *.conf file, example:
/etc/systemd/system.conf.d/kernel-reboot-workaround.conf

# The file needs to contain the following information:

[Manager]

RuntimeWatchdogSec=5min

ShutdownWatchdogSec=5min

Oppure

utilizza la seguente soluzione alternativa:

# Edit the /etc/default/grub file.

# remove quote from settings, then add the following after this parameter
# GRUB_CMDLINE_LINUX :
acpi_no_watchdog DefaultTimeoutStartSec=900s DefaultTimeoutStopSec=900s

2-3. Rebuild the grub
grub2-mkconfig -o /boot/efi/EFI/redhat/grub.cfg

14. Problema relativo a Max_sector_kb.

L'installazione di Oracle Grid Infrastructure(GI) può non riuscire con l'errore exceed Max_sector_size nei log di installazione di CRS e /var/log/messages.

Azione consigliata:

# Add max_sectors_kb 1024 under the multipath entry for all the devices (WWIDs)
# that need the setting modified (under multipaths). All of them should look 
# similar to the following: multipath
{ wwid xxxxxyyyyyzzzz1111222
alias asm-data1
max_sectors_kb 1024 }

# Delete the map (multipath -f ). This needs to be done for all devices that
# need the setting modified Ex: multipath -f casm-dat001

# Reload the map: multipath -r

# In order to make this setting persistent across reboots, `initramfs` needs to
# be regenerated (the following command will regenerate all kernel versions):

KERNELS=$(rpm -q kernel --qf '%{version}-%{release}.%{arch}\n')
 for kernel_version in $KERNELS
 do
 dracut -v -f -a multipath /boot/initramfs-$kernel_version.img
 done

Nota: abbiamo visto che, tra i valori predefiniti in multipath.conf, user_friendly_names è impostato su yes. Le best practice di NetApp indicano che il valore consigliato per questo parametro è no. Questo perché l'impostazione su yes potrebbe introdurre alcune instabilità. Ti consigliamo di attenerti alle best practice per questo valore.

15. 12C Grid Infrastructure Issue.

L'operazione di Grid Infrastructure 12C potrebbe non riuscire con Rejecting connection from node 2 as MultiNode RAC isn't supported or certified in this configuration.

Causa:

L'IP 169.254.169.254 viene inoltrato al servizio di metadati locale di una VM cloud, facendo sembrare che l'host Bare Metal Solution sia una VM cloud. Questa configurazione consente inoltre la fuga delle chiavi dell'account di servizio privato della VM cloud.

Azione consigliata:

Tieni in considerazione le implicazioni di sicurezza della configurazione NAT e limita il più possibile l'accesso alla rete esterna.

Blocca l'accesso al servizio di metadati sulla VM cloud:

firewall-cmd --direct --add-rule ipv4 filter FORWARD 0 -d 169.254.169.254 -j REJECT --reject-with icmp-host-unreachable
firewall-cmd --permanent --direct --add-rule ipv4 filter FORWARD 0 -d 169.254.169.254 -j REJECT --reject-with icmp-host-unreachable

Blocca l'accesso al servizio di metadati sull'host BMS:

firewall-cmd --direct --add-rule ipv4 filter OUTPUT 0 -d 169.254.169.254 -j REJECT --reject-with icmp-host-unreachable
firewall-cmd --permanent --direct --add-rule ipv4 filter OUTPUT 0 -d 169.254.169.254 -j REJECT --reject-with icmp-host-unreachable