Questa pagina descrive la procedura per configurare la replica del server esterno utilizzando un'importazione personalizzata. Questi passaggi sono l'opzione migliore quando devi replicare da un database esterno di grandi dimensioni.
Devi completare tutti i passaggi descritti in questa pagina. Al termine, puoi amministrare e monitorare la replica allo stesso modo di qualsiasi altra istanza Cloud SQL.
Questo processo è supportato solo per i server esterni configurati per utilizzare la replica basata sull'ID transazione globale (GTID). Prima di poter avviare la replica, devi caricare i dati dal server esterno nella replica Cloud SQL. Se non utilizzi la replica basata su GTID, Cloud SQL non può identificare la posizione esatta del log binario da cui iniziare la replica. Se non puoi utilizzare la replica basata su GITD, devi configurare lo strumento di dump per impostare un blocco globale di sola lettura durante la procedura di dump.
Prima di iniziare
Prima di iniziare, devi configurare il server esterno, creare l'istanza di rappresentazione dell'origine e configurare la replica Cloud SQL.
Aggiorna le autorizzazioni per l'utente di replica
L'utente di replica sul server esterno è configurato per
accettare connessioni da qualsiasi host (%). Devi aggiornare questo account utente
in modo che possa essere utilizzato solo con la replica Cloud SQL.
Apri un terminale sul server del database di origine e inserisci questi comandi:
Client MySQL
UPDATE mysql.user SET Host='NEW_HOST' WHERE Host='OLD_HOST' AND User='USERNAME'; GRANT REPLICATION SLAVE, EXECUTE ON *.* TO 'GCP_USERNAME'@'HOST'; FLUSH PRIVILEGES;
esempio
UPDATE mysql.user
SET Host='192.0.2.0' WHERE Host='%' AND User='replicationUser';
GRANT REPLICATION SLAVE, EXECUTE ON *.*
TO 'gcp_user'@'gmail.com';
FLUSH PRIVILEGES;
| Proprietà | Descrizione |
|---|---|
| NEW_HOST | Specifica l'IP in uscita della replica Cloud SQL. |
| OLD_HOST | Il valore attuale assegnato a Host che vuoi
modificare. |
| USERNAME | L'account utente di replica sul server esterno. |
| GCP_USERNAME | Il nome utente dell'account utente GCP. |
| HOST | Il nome host dell'account utente GCP. |
Configura la replica Cloud SQL come istanza principale
Poiché le istanze di replica Cloud SQL sono di sola lettura, per eseguire un'importazione personalizzata, devi promuovere la replica Cloud SQL a istanza standalone. Una volta completata l'importazione iniziale dei dati, esegui il downgrade dell'istanza a replica.
Esegui un dump e un'importazione personalizzati
In questa sezione ti mostriamo come creare il file di dump e importarlo nella replica Cloud SQL finale utilizzando mydumper o le utilità client mysqldump.
Quando esegui il dump dei dati, potresti dover escludere i database generici MySQL,
inclusi mysql e sys, se esistono nell'istanza di origine. In caso contrario,
l'importazione dei dati non riesce. Consulta la sezione Come escludere (o includere) i database?.
Utilizza mydumper e myloader
Per creare un file di dump e importarlo in Cloud SQL:
Crea un file di dump del database del server esterno utilizzando
mydumper.$ mydumper -u USERNAME -p PASSWORD \ --threads=16 -o ./backup \ -h HOST \ --no-locks \ --regex '^(?!(mysql\.|sys\.))'
Proprietà Descrizione USERNAME Il nome dell'account utente di replica o dell'account utente sul server esterno con autorizzazioni di lettura del database. PASSWORD Password utente di replica. HOST L'indirizzo IPv4 o DNS del server esterno. Importa i dati nell'istanza Cloud SQL utilizzando
myloader.$ myloader -u REPLICA_USERNAME -p REPLICA_PASSWORD \ --threads=16 \ -d ./backup -h HOST -o
Proprietà Descrizione REPLICA_USERNAME L'account utente sull'istanza Cloud SQL. REPLICA_PASSWORD Password utente dell'istanza Cloud SQL. HOST L'IPv4 per l'istanza Cloud SQL. Annota l'ID transazione globale (GTID) o le informazioni del binlog del dump dei dati. Queste informazioni sono necessarie per configurare la replica con le stored procedure.
Per ottenere le informazioni GTID o binlog del dump dei dati, esegui questo comando:
sudo cat ./backup/metadata
Utilizza mysqldump
Crea un dump utilizzando
mysqldump:mysqldumpmysqldump \ --host=EXTERNAL_HOST \ --port=EXTERNAL_PORT \ --user=USERNAME\ --password=PASSWORD \ --databases=DATABASE_LIST \ --hex-blob \ --master-data=EXTERNAL_DATA \ --no-autocommit \ --default-character-set=utf8mb4 \ --single-transaction \ GTID_PURGED \ ADD_DROP_TABLE \ ROUTINES \ COMPRESS \ GZIP
Proprietà Descrizione EXTERNAL_HOST L'indirizzo IPv4 o DNS del server esterno. EXTERNAL_PORT La porta per il server esterno. Se il server esterno è ospitato su Cloud SQL, questo è 3306.USERNAME Il nome dell'account utente di replica o dell'account utente sul server esterno con autorizzazioni di lettura del database. USER_PASSWORD Password utente di replica. DATABASE_LIST Elenco separato da spazi di tutti i database sul server esterno, ad eccezione dei database di sistema ( sys,mysql,performance_schemaeinformation_schema). Utilizza il comandoSHOW DATABASESMySQL per elencare i tuoi database.EXTERNAL_DATA Se il tuo server esterno non supporta GTID e hai l'autorizzazione per accedere al blocco di lettura globale, utilizza --master-data=1. In caso contrario, non utilizzare questa proprietà.GTID_PURGED Se il server esterno supporta GTID, utilizza --set-gtid-purged=on; in caso contrario, non utilizzare questa proprietà.ADD_DROP_TABLE Se vuoi aggiungere una dichiarazione DROP TABLEprima di ogni dichiarazioneCREATE TABLE, includi--add-drop-table.ROUTINES Se vuoi mostrare le routine archiviate, ad esempio procedure e funzioni, nell'output dei database di cui è stato eseguito il dump, includi --routines.COMPRESS Se vuoi comprimere tutte le informazioni inviate tra la replica Cloud SQL e il server esterno, utilizza --compress.GZIP Se vuoi comprimere ulteriormente il file di dump, utilizza | gzip. Se il database contiene dati che non vengono compressi bene, ad esempio dati binari non comprimibili o immagini JPG, non utilizzare questa opzione.esempio
mysqldump \ --host=192.0.2.1 \ --port=3306 \ --user=replicationUser \ --password \ --databases guestbook journal \ --hex-blob \ --master-data=1 \ --no-autocommit \ --default-character-set=utf8mb4 \ --single-transaction \ --compress \ | gzip
Annota l'ID transazione globale (GTID) o le informazioni del binlog del dump dei dati. Queste informazioni sono necessarie per configurare la replica con le stored procedure di Cloud SQL.
Per il GTID, cerca una riga simile alla seguente:
SET @@GLOBAL.GTID_PURGED='32eb1e6a-17b6-11ea-a39e-06d94ac3ec98:1-33496';
Per il binlog, cerca una riga simile alla seguente:
CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin-changelog.033877', MASTER_LOG_POS=360;
Rimuovi le seguenti righe nel file di dump che richiedono privilegi di amministratore. Poiché gli utenti Cloud SQL non dispongono di privilegi di superutente, queste righe causano l'esito negativo dell'importazione.
Per la replica basata su GTID: rimuovi l'istruzione SET GTID_PURGED insieme all'istruzione di impostazione della variabile di sessione nel dump. Ad esempio:
... SET @MYSQLDUMP_TEMP_LOG_BIN = @@SESSION.SQL_LOG_BIN; SET @@SESSION.SQL_LOG_BIN= 0; ... SET @@GLOBAL.GTID_PURGED='32eb1e6a-17b6-11ea-a39e-06d94ac3ec98:1-33496'; ... SET @@SESSION.SQL_LOG_BIN=@MYSQLDUMP_TEMP_LOG_BIN;
Per la replica basata su binlog, rimuovi l'istruzione CHANGE MASTER. Ad esempio:
... CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin-changelog.033877', MASTER_LOG_POS=360; ...
Importa i dati nella replica Cloud SQL utilizzando la CLI
mysql:mysqlmysql -h REPLICA_HOST -u REPLICA_USER \ -p REPLICA_DATABASE_NAME RESULT_FILE
Proprietà Descrizione REPLICA_HOST Host su cui si trova il server MySQL. REPLICA_USER Nome utente MySQL da utilizzare per la connessione al server. REPLICA_DATABASE_NAME Nome del database in cui si trovano i dati. RESULT_FILE Nome del file di dump da importare. esempio
mysql -h 255.255.255.255 -u replica_username -p replica_db < result.sql
Puoi anche importare il file di dump utilizzando un bucket Google Cloud . Consulta Importazione di dati da un file di dump SQL in Cloud SQL.
Esegui il downgrade dell'istanza Cloud SQL
Per declassare l'istanza Cloud SQL a replica Cloud SQL, utilizza il metodo demoteMaster sull'istanza.
Prepara un file JSON di richiesta con il nome dell'istanza di cui vuoi eseguire il downgrade.
JSON di origine
{ "demoteMasterContext": { "masterInstanceName": SOURCE_REPRESENTATION_INSTANCE_NAME, "skipReplicationSetup": true } }
Proprietà Descrizione SOURCE_REPRESENTATION_INSTANCE_NAME Il nome dell'istanza della rappresentazione dell'origine. esempio
{ "demoteMasterContext": { "masterInstanceName": "cloudsql-source-instance", "skipReplicationSetup": true } }
Apri un terminale e usa i seguenti comandi per richiamare
demoteMaster:curl
gcloud auth login ACCESS_TOKEN="$(gcloud auth print-access-token)" curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \ --header 'Content-Type: application/json' \ --data @JSON_PATH \ -X POST \ https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT-ID/instances/INSTANCE-NAME/demoteMaster
Proprietà Descrizione JSON_PATH Il percorso del file JSON.PROJECT_ID L'ID del tuo progetto in Google Cloud. INSTANCE-NAME Il nome dell'istanza da declassare. esempio
gcloud auth login ACCESS_TOKEN="$(gcloud auth print-access-token)" curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \ --header 'Content-Type: application/json' \ --data @./source.json \ -X POST \ https://sqladmin.googleapis.com/sql/v1beta4/projects/MyProject/instances/cloudsql-replica-instance/demoteMaster
Cosa dovresti vedere al termine
Per assicurarti che le istanze siano state configurate correttamente, vai alla pagina Istanze Cloud SQL.
Dovresti visualizzare l'istanza di rappresentazione dell'origine e la replica Cloud SQL. Sono simili a quanto segue:
| ID istanza | Tipo | IP pubblico |
|---|---|---|
| (-) source-representation-instance | Chiave primaria esterna MySQL | 10.68.48.3:3306 |
| replica-instance | Replica di lettura MySQL | 34.66.48.59 |
Avvia la replica sull'istanza Cloud SQL
Questo passaggio utilizza le stored procedure Cloud SQL. Le stored procedure Cloud SQL vengono installate dopo aver chiamato la richiesta demoteMaster. Vengono
rimossi dopo la chiamata al numero promoteReplica. Per saperne di più, consulta
Stored procedure per la gestione della replica.
- Accedi all'istanza di replica. Per ulteriori informazioni, consulta Connessione tramite un client di database da una macchina locale.
Utilizza la stored procedure
mysql.resetMasterper reimpostare le impostazioni di replica.mysql> call mysql.resetMaster();
Configura la replica. Questo passaggio richiede le informazioni GTID o binlog che hai annotato in precedenza.
GTID
- Configura il campo
gtid_purgedcon la stored proceduremysql.skipTransactionWithGtid(GTID_TO_SKIP).
Proprietà Descrizione GTID_TO_SKIP Il valore GTID set da configurare. Ad esempio:
mysql> call mysql.skipTransactionWithGtid('32eb1e6a-17b6-11ea-a39e-06d94ac3ec98:1-33496');
- Esegui la stored procedure
mysql.setupExternalSourceAutoPosition(HOST, PORT, USER_NAME, USER_PASSWORD, MASTER_AUTO_POSITION, USE_SSL, USE_SSL_CLIENT_AUTH).
Proprietà Descrizione HOST Endpoint di origine. PORT Porta di origine. USER_NAME Utente di origine. USER_PASSWORD Password utente di origine. MASTER_AUTO_POSITION Valore del parametro master_auto_position. I valori possibili sono0,1.USE_SSL Se utilizzare la replica basata su SSL. I valori possibili sono true,false. Setrue, devi impostare il campocaCertificatenella richiestaDemoteMaster.USE_SSL_CLIENT_AUTH Se utilizzare l'autenticazione client SSL. I valori possibili sono true,false. Setrue, devi impostare i campiclientKeyeclientCertificatesnella richiestademoteMaster.mysql> call mysql.setupExternalSourceAutoPosition('1.1.1.1', 3306, \ 'USERNAME', 'PASSWORD', \ /* master_auto_position= */ 1,false, false); \
binlog
Esegui la stored procedure
mysql.setupExternalSource(HOST, PORT, USER_NAME, USER_PASSWORD, SOURCE_LOG_NAME, SOURCE_LOG_POS, USE_SSL, USE_SSL_CLIENT_AUTH).Proprietà Descrizione HOST Endpoint di origine. PORT Porta di origine. USER_NAME Utente di origine. USER_PASSWORD Password utente di origine. SOURCE_LOG_NAME Il nome del log binario nell'istanza del database di origine che contiene le informazioni di replica. SOURCE_LOG_POS La posizione nel log binario mysql_binary_log_file_namein cui la replica inizia a leggere le informazioni di replica.USE_SSL Se utilizzare la replica basata su SSL. I valori possibili sono true,false. Setrue, devi impostare il campocaCertificatenella richiestaDemoteMaster.USE_SSL_CLIENT_AUTH Se utilizzare l'autenticazione client SSL. I valori possibili sono true,false. Setrue, devi impostare i campiclientKeyeclientCertificatesnella richiestademoteMaster.mysql> call mysql.setupExternalSource('1.1.1.1', 3306, \ 'user_name', 'password', 'mysql-bin-changelog.033877', 360, \ false, false);
- Configura il campo
Utilizza la stored procedure
mysql.startReplication()per avviare la replica dal database esterno.mysql> call mysql.startReplication();
Verifica lo stato della replica. Assicurati che i campi
Slave_IO_RunningeSlave_SQL_RunningriportinoYES.mysql> show slave status\G
L'output di questo comando è simile al seguente:
*************************** 1. row *************************** Slave_IO_State: Waiting for master to send event Master_Host: 1.1.1.1 Master_User: user_name Master_Port: 3306 Connect_Retry: 60 Master_Log_File: mysql-bin-changelog.000001 Read_Master_Log_Pos: 1 Relay_Log_File: relay-log.000002 Relay_Log_Pos: 1 Relay_Master_Log_File: mysql-bin-changelog.000001 Slave_IO_Running: Yes Slave_SQL_Running: Yes Replicate_Do_DB: Replicate_Ignore_DB: Replicate_Do_Table: Replicate_Ignore_Table: Replicate_Wild_Do_Table: Replicate_Wild_Ignore_Table: mysql.% Last_Errno: 0 Last_Error: Skip_Counter: 0 Exec_Master_Log_Pos: 412 Relay_Log_Space: 752 Until_Condition: None Until_Log_File: Until_Log_Pos: 0 Master_SSL_Allowed: No Master_SSL_CA_File: Master_SSL_CA_Path: Master_SSL_Cert: Master_SSL_Cipher: Master_SSL_Key: Seconds_Behind_Master: 0 Master_SSL_Verify_Server_Cert: No Last_IO_Errno: 0 Last_IO_Error: Last_SQL_Errno: 0 Last_SQL_Error: Replicate_Ignore_Server_Ids: Master_Server_Id: 1509941531 Master_UUID: 1cb2c80e-90f0-11eb-9ea3-02389b1c2e6f Master_Info_File: mysql.slave_master_info SQL_Delay: 0 SQL_Remaining_Delay: NULL Slave_SQL_Running_State: Slave has read all r Master_Retry_Count: 86400 Master_Bind: Last_IO_Error_Timestamp: Last_SQL_Error_Timestamp: Master_SSL_Crl: Master_SSL_Crlpath: Retrieved_Gtid_Set: Executed_Gtid_Set: 478af53c-bd24-11eb-be72-42010a80002a:1-226 Auto_Position: 0 1 row in set (0.00 sec)
Procedi con la replica
Una volta avviata la replica dal server esterno, devi monitorarla e poi completare la migrazione. Per saperne di più, consulta Monitoraggio della replica.
Risoluzione dei problemi
| Problema | Risoluzione dei problemi |
|---|---|
Lost connection to MySQL server during query when dumping table. |
La fonte potrebbe non essere più disponibile o il dump conteneva pacchetti
troppo grandi.
Assicurati che la primaria esterna sia disponibile per la connessione. Puoi anche modificare i valori dei flag net_read_timeout e net_write_timeout nell'istanza di origine per interrompere l'errore. Per ulteriori informazioni sui valori consentiti per questi flag, consulta la pagina Configurare i flag di database. Per scoprire di più sull'utilizzo dei flag |
| La migrazione iniziale dei dati è stata completata, ma non vengono replicati dati. | Una possibile causa principale potrebbe essere che il database di origine ha definito
flag di replica che comportano la mancata replica di alcune o di tutte le modifiche al database.
Assicurati che i flag di replica come Esegui il comando |
| La migrazione iniziale dei dati è stata completata, ma la replica dei dati smette di funzionare dopo un po' di tempo. | Tentativi da effettuare
|
mysqld check failed: data disk is full. |
Il disco dati dell'istanza di replica è pieno.
Aumenta le dimensioni del disco dell'istanza di replica. Puoi aumentare manualmente le dimensioni del disco o attivare l'aumento automatico dello spazio di archiviazione. |
Esaminare i log di replica
Quando verifichi le impostazioni di replica, vengono prodotti i log.
Per visualizzare questi log, procedi nel seguente modo:
Vai al visualizzatore log nella console Google Cloud .
- Seleziona la replica Cloud SQL dal menu a discesa Istanza.
- Seleziona il file di log
replication-setup.log.
Se la replica Cloud SQL non riesce a connettersi al server esterno, verifica quanto segue:
- Qualsiasi firewall sul server esterno è configurato per consentire le connessioni dall'indirizzo IP in uscita della replica Cloud SQL.
- La configurazione SSL/TLS è corretta.
- L'utente di replica, l'host e la password siano corretti.
Passaggi successivi
- Scopri di più sull'aggiornamento di un'istanza.
- Scopri di più sulla gestione delle repliche.
- Scopri di più sul monitoraggio delle istanze.
- Scopri di più sulla promozione della replica Cloud SQL per promuovere la replica a istanza standalone e interrompere la replica dal server esterno.