Replica da un server esterno (v1)

Questa pagina descrive come creare una configurazione che replica i dati da un server di database di origine alle repliche MySQL.

Il server di database di origine può essere qualsiasi server MySQL che soddisfi tutti i requisiti del server, incluse le istanze Cloud SQL. Anche le istanze ospitate da altri fornitori di servizi cloud possono fungere da origine dati, a condizione che soddisfino i requisiti, incluso il supporto di GTID.

Per informazioni più dettagliate su questa configurazione, vedi Informazioni sulla replica da un server esterno.

Prima di iniziare

Prima di configurare la replica da un server esterno, devi completare i seguenti passaggi:

  • Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  • In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  • Make sure that billing is enabled for your Google Cloud project.

  • In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  • Make sure that billing is enabled for your Google Cloud project.

  • Enable the Cloud SQL Admin API.

    Enable the API

  • Installa e autentica la gcloud CLI.
  • Assicurati che il server soddisfi i requisiti per il server di database di origine.
  • Determina il livello di sicurezza che ti serve per le connessioni tra l'istanza primaria e la replica e ottieni i file di certificato richiesti.
  • Decidi quale Google Cloud regione vuoi utilizzare per contenere la replica Cloud SQL.

  • Raccogli le informazioni richieste sul server del database di origine:

    • Indirizzo IPv4 esterno e numero di porta

      Per impostazione predefinita, MySQL utilizza la porta 3306.

    • Account utente e password di replica MySQL
    • Numero di versione di MySQL
    • Posizione di tutte le chiavi e i certificati SSL/TLS richiesti, a seconda del livello di sicurezza che hai selezionato

  • Preparati ad aggiornare il firewall di rete per il server di database di origine in modo che accetti connessioni dalla replica Cloud SQL.

    Questo passaggio deve essere completato entro 30 minuti dalla creazione della replica.

  • Se non sei il proprietario di un progetto, devi disporre del ruolo Storage Admin.

Requisiti per il server del database di origine

Prima di poter eseguire la replica da un server esterno a una replica Cloud SQL, assicurati che il server di database di origine soddisfi questi requisiti di configurazione:

Procedura di configurazione

Per configurare la replica da un server di database esterno, svolgi i seguenti passaggi:

  1. Crea un bucket Cloud Storage per i tuoi dati.
  2. Esporta i dati in Cloud Storage.
  3. Configura la configurazione della replica.

  4. Configura il server di database di origine per accettare connessioni dalla replica.

  5. Limita l'accesso all'utente di replica MySQL.

  6. Finalizza la configurazione della replica.

  7. Conferma lo stato della replica.

  8. Libera spazio di archiviazione.

1. Crea un bucket Cloud Storage per i tuoi dati

Crea un bucket per archiviare temporaneamente i dati durante il processo di esportazione oppure utilizza un bucket esistente.

Per saperne di più sulla creazione di un bucket, consulta Creazione di bucket Storage. Per saperne di più sul ruolo Amministratore spazio di archiviazione, consulta Ruoli IAM di Cloud Storage.

2. Esportare i dati in Cloud Storage

La replica cerca i dati in Cloud Storage, quindi devi inserirvi una copia dei dati del server. Dopo l'esportazione, puoi continuare ad accettare operazioni di scrittura sul server. Dopo che la replica ha terminato l'importazione del file di dump, inizia a elaborare tutte le modifiche apportate dall'esportazione e alla fine si allinea all'istanza principale.

Da una macchina con gcloud CLI installato e connettività di rete al server MySQL, esegui il seguente comando:

mysqldump \
    -h [PRIMARY_INSTANCE_IP] -P [PRIMARY_INSTANCE_PORT] -u [USERNAME] -p \
    --databases [DBS]  \
    --hex-blob  --skip-triggers  --master-data=1  \
    --order-by-primary --no-autocommit \
    --default-character-set=utf8mb4 \
    --single-transaction --set-gtid-purged=on | gzip | \
    gcloud storage cp - gs://[BUCKET]/[PATH_TO_DUMP]

If the source of the migration is a Relational Database Service (RDS) for MySQL,
the master-data flag is not supported and should not be specified.
This command might look like the following example:

mysqldump \
    -h [PRIMARY_INSTANCE_IP] -P [PRIMARY_INSTANCE_PORT] -u [USERNAME] -p \
    --databases [DBS]  \
    --hex-blob  --skip-triggers \
    --order-by-primary --no-autocommit \
    --default-character-set=utf8mb4 \
    --single-transaction --set-gtid-purged=on | gzip | \
    gcloud storage cp - gs://[BUCKET]/[PATH_TO_DUMP]

Additionally, you should configure RDS instances to retain binlogs for a
a longer period of time.
This command might look like the following example:

// Sets the retention period to one day.
call mysql.rds_set_configuration('binlog retention hours', 24);

Sostituisci [PROPERTIES_IN_BRACKETS] con i seguenti valori:

Proprietà Valore
[PRIMARY_INSTANCE_IP] L'indirizzo IPv4 del server di database di origine.
[PRIMARY_INSTANCE_PORT] La porta per il server di database di origine.
[USERNAME] L'account utente di replica MySQL.
[PASSWORD] La password dell'account utente di replica MySQL.
[DBS] Elenco separato da spazi di tutti i database sul server di database di origine, ad eccezione dei database di sistema (sys, mysql, performance_schema e information_schema). Utilizza il comando MySQL SHOW DATABASES per elencare i tuoi database.
[BUCKET] Il nome del bucket che hai creato per contenere il file di esportazione.
[PATH_TO_DUMP] Il percorso del file di esportazione.

Se vedi un avviso relativo a dump parziali e GTID, è normale.

Questo comando potrebbe essere simile al seguente esempio:

mysqldump \
    -h 192.0.2.1 -P 3306 -u replicationUser \
    --databases guestbook  \
    --hex-blob  --skip-triggers  --master-data=1  \
    --order-by-primary --no-autocommit \
    --default-character-set=utf8mb4 \
    --single-transaction --set-gtid-purged=on | gzip | \
    gcloud storage cp - gs://export-bucket/hq-primary1.sql.gz

3. Crea la configurazione della replica

Se la replica utilizza un IP privato, il server di database di origine deve essere configurato per l'accesso dal VPC della replica. La creazione di repliche su VPC privati è supportata solo tramite l'interfaccia a riga di comando gcloud e l'API Cloud SQL Admin.

Console

Questo passaggio crea la replica Cloud SQL e l'istanza di rappresentazione di origine.

  1. Apri l'elenco delle istanze Cloud SQL nella console Google Cloud .

    Apri l'elenco delle istanze

  2. Fai clic su Migra dati nella barra dei pulsanti per aprire Cloud SQL Migration Assistant.

  3. Fai clic su Inizia migrazione.

  4. Nel campo Nome database di origine, fornisci un nome per la configurazione di replica in Cloud SQL.

    Questo nome è un riferimento per la configurazione. Utilizza un nome di istanza Cloud SQL valido.

  5. Inserisci l'indirizzo IP e il numero di porta del server del database di origine.

  6. Fornisci il nome utente e la password dell'utente MySQL che verrà utilizzato per la connessione di replica.

  7. Seleziona la versione di MySQL del server di database di origine.

  8. Se utilizzi SSL/TLS per la connessione tra la replica e il server di database di origine (consigliato), seleziona Abilita sicurezza SSL/TLS e fornisci le informazioni sul certificato SSL/TLS per il server di origine.

    Per ulteriori informazioni sulle opzioni SSL/TLS, vedi Opzioni SSL/TLS.

  9. Fai clic su Avanti e compila i dettagli della replica.

    Per garantire che l'importazione avvenga nel modo più efficiente possibile, configura la replica con spazio di archiviazione sufficiente a contenere il database. Dimensiona i core e la memoria in modo che siano simili a quelli del server di origine.

  10. Fornisci il percorso del file di dump che hai caricato in precedenza su Cloud Storage.

  11. Fai clic su Crea per creare la replica.

  12. Fai clic su Avanti.

gcloud

  1. Crea l'istanza di rappresentazione dell'origine.

    gcloud beta sql instances create [REPLICA_NAME] \
    --region=[REGION] --database-version=[MYSQL_VERSION] \
    --source-ip-address=[SOURCE_IP] --source-port=[SOURCE_PORT]

    Se la replica utilizza un indirizzo IP privato, aggiungi anche: --network=[VPC_NETWORK_NAME]

    Sostituisci [PROPERTIES_IN_BRACKETS] con i seguenti valori:

    Proprietà Valore
    [SOURCE_REPRESENTATION_NAME] Il nome dell'istanza della rappresentazione dell'origine. Utilizza un nome di istanza Cloud SQL valido.
    [REGION] La regione in cui vuoi che si trovino le repliche Cloud SQL.
    [MYSQL_VERSION] La versione di MySQL in esecuzione sul server del database di origine: MYSQL_5_6 o MYSQL_5_7.
    [SOURCE_IP] L'indirizzo IPv4 accessibile esternamente per il server di database di origine.
    [SOURCE_PORT] La porta accessibile esternamente per il server di database di origine.

  2. Crea la replica Cloud SQL:

    gcloud beta sql instances create [REPLICA_NAME] \
    --master-instance-name=[SOURCE_REPRESENTATION_NAME] \
    --master-username=[USERNAME] --prompt-for-master-password \
    --master-dump-file-path=gs://[BUCKET]/[PATH_TO_DUMP] \
    --master-ca-certificate-path=[SOURCE_SERVER_CA_PATH] \
    --client-certificate-path=[CLIENT_CERT_PATH] \
    --client-key-path=[PRIVATE_KEY_PATH] \
    --tier=[MACHINE_TYPE] --storage-size=[DISK_SIZE]

    Se la replica utilizza un indirizzo IP privato, aggiungi anche: --network=[VPC_NETWORK_NAME]

    Sostituisci [PROPERTIES_IN_BRACKETS] con i seguenti valori:

    Proprietà Valore
    [REPLICA_NAME] Il nome della replica di lettura Cloud SQL. Utilizza un nome di istanza Cloud SQL valido.
    [SOURCE_REPRESENTATION_NAME] Il nome dell'istanza di rappresentazione dell'origine che hai creato nel passaggio precedente.
    [USERNAME] L'account utente di replica MySQL sul server di database di origine.
    [BUCKET] Il nome del bucket che hai creato per contenere il file di esportazione.
    [PATH_TO_DUMP] Il percorso del file di esportazione.
    [SOURCE_SERVER_CA_PATH] Il percorso locale in cui è archiviato il certificato CA del server di database di origine. Obbligatorio solo per SSL/TLS.
    [CLIENT_CERT_PATH] Il percorso locale in cui è memorizzato il certificato client. Obbligatorio solo per l'autenticazione server-client.
    [PRIVATE_KEY_PATH] Il percorso locale in cui è archiviato il file della chiave privata per il certificato client. Obbligatorio solo per l'autenticazione server-client.
    [MACHINE_TYPE] La dimensione della replica. In genere, la replica ha circa le stesse dimensioni del server di database di origine. Se non sai quale tipo di macchina utilizzare, inizia con db-custom-2-7680. Se necessario, puoi modificarne le dimensioni in un secondo momento.
    [DISK_SIZE] Dimensioni dello spazio di archiviazione per la replica, in GB. Per ottenere prestazioni ottimali, crea la replica con spazio di archiviazione sufficiente per contenere l'intero file di importazione.
    [VPC_NETWORK_NAME] VPC nel formato: projects/[PROJECT_ID]/global/networks/[NETWORK_NAME]

cURL

1. Crea l'istanza di rappresentazione dell'origine Cloud SQL

gcloud auth login
ACCESS_TOKEN="$(gcloud auth print-access-token)"
curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
     --header 'Content-Type: application/json' \
     --data '{
         "name": "[SOURCE_REPRESENTATION_NAME]",
         "region": "[REGION]",
         "databaseVersion": "[MYSQL_VERSION]",
         "onPremisesConfiguration": {
             "hostPort": "[SOURCE_SERVER_IP]:[SOURCE_SERVER_PORT]"
         }
     }' \
     -X POST \
     https://www.googleapis.com/sql/v1beta4/projects/[PROJECT-ID]/instances

Sostituisci [PROPERTIES_IN_BRACKETS] con i seguenti valori:

Proprietà Valore
[SOURCE_REPRESENTATION_NAME] Il nome dell'istanza della rappresentazione dell'origine. Utilizza un nome di istanza Cloud SQL valido.
[REGION] La regione in cui vuoi che si trovino le repliche Cloud SQL.
[MYSQL_VERSION] La versione di MySQL in esecuzione sul server del database di origine: MYSQL_5_6 o MYSQL_5_7.
[SOURCE_SERVER_IP] L'indirizzo IPv4 accessibile esternamente per il server di database di origine.
[SOURCE_SERVER_PORT] La porta accessibile esternamente per il server di database di origine.
[PROJECT_ID] L'ID progetto per il tuo progetto Google Cloud .

Ad esempio, per creare un'istanza di rappresentazione dell'origine denominata hq-primary1, per un server di database di origine con l'indirizzo IP 192.0.2.0 aperto sulla porta 3306 ed esecuzione di MySQL 5.7, per le repliche Cloud SQL nel progetto MyProject e nella regione us-central1, devi utilizzare i seguenti comandi:

gcloud auth login
ACCESS_TOKEN="$(gcloud auth print-access-token)"
curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
     --header 'Content-Type: application/json' \
     --data '{
         "name": "hq-primary1",
         "region": "us-central1",
         "databaseVersion": "MYSQL_5_7",
         "onPremisesConfiguration": {
             "hostPort": "192.0.2.0:3306"
         }
     }' \
     -X POST \
     https://www.googleapis.com/sql/v1beta4/projects/MyProject/instances

2. Crea la replica Cloud SQL

In questo passaggio, crei una replica di lettura Cloud SQL utilizzando il server di rappresentazione dell'origine per rappresentare il server di database di origine e fornisci alla replica i dati caricati in Cloud Storage nel passaggio precedente.

Poiché questa chiamata API richiede di fornire informazioni sensibili, utilizza un file JSON per fornire i dati a cURL, anziché fornirli dalla riga di comando.

Crea il file di dati:

{
    "replicaConfiguration": {
        "mysqlReplicaConfiguration": {
            "username": "[USERNAME]",
            "password": "[PASSWORD]",
            "dumpFilePath": "gs://[BUCKET]/[PATH_TO_DUMP]",
            "caCertificate": "[SOURCE_SERVER_CA]",
            "clientCertificate": "[CLIENT_CERT]",
            "clientKey": "[PRIVATE_KEY]"
        }
     },
     "settings": {
         "tier": "[MACHINE_TYPE]",
         "dataDiskSizeGb": "[DISK_SIZE]"
     },
     "masterInstanceName": "[SOURCE_REPRESENTATION_NAME]",
     "region": "[REGION]",
     "databaseVersion": "[MYSQL_VERSION]",
     "name": "[REPLICA_NAME]"
}

Se la replica utilizza un indirizzo IP privato, aggiungi anche alle impostazioni: "ipConfiguration.privateNetwork" con il valore nel formato: "projects/[PROJECT_ID]/global/networks/[NETWORK_NAME]"

Sostituisci [PROPERTIES_IN_BRACKETS] con i seguenti valori:

Proprietà Valore
[USERNAME] L'account utente di replica MySQL sul server di database di origine.
[PASSWORD] La password dell'account utente di replica MySQL.
[BUCKET] Il nome del bucket che hai creato per contenere il file di esportazione.
[PATH_TO_DUMP] Il percorso del file di esportazione.
[SOURCE_SERVER_CA] Il certificato CA del server di database di origine. Obbligatorio solo per SSL/TLS. Incolla il certificato nel corpo della richiesta.
[CLIENT_CERT] Il certificato client. Obbligatorio solo per l'autenticazione server-client. Incolla il certificato nel corpo della richiesta.
[PRIVATE_KEY] Il file della chiave privata per il certificato client. Obbligatorio solo per l'autenticazione server-client. Incolla la chiave nel corpo della richiesta.
[MACHINE_TYPE] Le dimensioni della replica. In genere, la replica ha circa le stesse dimensioni del server di database di origine. Se non sai quale tipo di macchina utilizzare, inizia con db-custom-2-7680. Se necessario, puoi modificarne le dimensioni in un secondo momento.
[DISK_SIZE] Dimensioni dello spazio di archiviazione per la replica, in GB. Per ottenere prestazioni ottimali, crea la replica con spazio di archiviazione sufficiente per contenere l'intera importazione.
[SOURCE_REPRESENTATION_NAME] Il nome dell'istanza di rappresentazione dell'origine che hai creato in precedenza.
[REGION] La regione in cui hai creato l'istanza di rappresentazione dell'origine. Le repliche di lettura devono trovarsi nella stessa regione dell'istanza di rappresentazione di origine.
[MYSQL_VERSION] La versione di MySQL in esecuzione sul server del database di origine: MYSQL_5_6 o MYSQL_5_7.
[REPLICA_NAME] Il nome della replica di lettura Cloud SQL. Utilizza un nome di istanza Cloud SQL valido.

Dalla riga di comando, chiama l'API:

gcloud auth login
ACCESS_TOKEN="$(gcloud auth print-access-token)"
curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
     --header 'Content-Type: application/json' \
     --data @[PATH_TO_DATA_FILE] \
     -X POST \
     https://www.googleapis.com/sql/v1beta4/projects/[PROJECT-ID]/instances

Per l'istanza di rappresentazione dell'origine e il bucket creati in precedenza, il file di dati, data.json, potrebbe essere simile all'esempio seguente:

{
    "replicaConfiguration": {
        "mysqlReplicaConfiguration": {
            "username": "replicationUser",
            "password": "486#@%*@",
            "dumpFilePath": "gs://export-bucket/hq-primary1.sql.gz",
            "caCertificate": "[SOURCE_SERVER_CA]",
            "clientCertificate": "[CLIENT_CERT]",
            "clientKey": "[PRIVATE_KEY]"
        }
    },
    "settings": {
        "tier": "db-custom-4-15360",
        "dataDiskSizeGb": "100"
    },
    "masterInstanceName": "hq-primary1",
    "region": "us-central1",
    "databaseVersion": "MYSQL_5_7",
    "name": "hq-primary1-replica1"
}

Il comando cURL sarà simile al seguente:

curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
     --header 'Content-Type: application/json' \
     --data @./data.json
     -X POST \
     https://www.googleapis.com/sql/v1beta4/projects/MyProject/instances

Quando la replica di lettura può accedere al file di dump, inizia la procedura di importazione. La durata del processo di importazione dipende dalle dimensioni del file di dump, dal tipo di macchina di replica e dallo schema del database. Come guida generale per la stima, prevedi che la replica importi circa 25-50 GB all'ora.

La replica rimane nello stato PENDING_CREATE finché il processo di importazione non è completato, dopodiché passa allo stato RUNNABLE.

4. Configura il server del database di origine per accettare connessioni dalla replica

Per la riuscita della replica, la replica deve connettersi al server del database di origine. Se il server di database di origine si trova dietro un firewall o un'altra limitazione di rete, devi attivare l'accesso alla rete per la replica utilizzando l'indirizzo IP OUTGOING della replica. Tieni presente che questo non è l'indirizzo IP visualizzato nell'elenco principale della replica nella console Google Cloud . Puoi recuperare l'indirizzo IP OUTGOING passando il mouse sopra il suggerimento Altre informazioni per l'indirizzo IP o utilizzando il comando gcloud riportato di seguito.

  1. Recupera gli indirizzi IP della replica di lettura:

    gcloud sql instances describe [REPLICA_NAME] --format="default(ipAddresses)"
  2. Se necessario, configura il firewall di rete per il server di database di origine in modo che accetti connessioni dall'indirizzo IP OUTGOING.

  3. Verifica che la replica sia connessa correttamente al server del database di origine.

    1. L'icona della replica nella pagina dell'elenco delle istanze non ruota più ed è verde.

    2. Vai al visualizzatore log nella console Google Cloud .

      Vai al visualizzatore log

    3. Seleziona la replica dal menu a discesa Istanza.

    4. Seleziona il file di log replication-setup.log.

      Se la replica non è in grado di connettersi al server del database di origine, verifica i seguenti elementi:

      • Qualsiasi firewall sul server di database di origine è configurato per consentire le connessioni dall'indirizzo IP OUTGOING della replica.
      • La configurazione SSL/TLS è corretta.
      • L'utente di replica, l'host e la password siano corretti.

5. Limitare l'accesso all'utente di replica MySQL

Questo passaggio è facoltativo, ma consigliato per la sicurezza.

L'utente di replica MySQL sul server del database di origine è configurato per accettare connessioni da qualsiasi host (%). Aggiorna l'account utente in modo che accetti connessioni solo dall'indirizzo IP OUTGOING della replica:

    UPDATE mysql.user SET Host='[OUTGOING_IP]' WHERE Host='%' AND User='[USERNAME]';
    FLUSH PRIVILEGES;

6. Finalizza la configurazione della replica

  1. Configura un account utente sulla replica.

    Puoi farlo utilizzando la console Google Cloud , lo strumento gcloud CLI o l'API Cloud SQL. Tuttavia, non puoi utilizzare il client mysql. Per ulteriori informazioni sugli utenti MySQL, consulta Utenti MySQL.

    Per creare un utente utilizzando la console Google Cloud :

    1. Vai alla pagina Istanze Cloud SQL nella console Google Cloud .
      Vai alla pagina Istanze Cloud SQL
    2. Fai clic sul nome dell'istanza per aprire la pagina Dettagli istanza.
    3. Seleziona la scheda Utenti.
    4. Fai clic su Crea account utente.
    5. Nella finestra di dialogo Crea account utente, specifica i dettagli dell'utente.
    6. Fai clic su Crea.

  2. Autorizza l'accesso alla replica da qualsiasi client che prevedi di utilizzare per connetterti alla replica utilizzando indirizzi IP pubblici.

    Per istruzioni, vedi Aggiungere un indirizzo o un intervallo di indirizzi autorizzato. Per connetterti alla replica, utilizza l'indirizzo IP PRIMARY della replica. Questo indirizzo IP viene visualizzato nella console Google Cloud .

    Altrimenti, puoi utilizzare qualsiasi altro metodo di connessione per connetterti alla replica.

7. Confermare lo stato della replica

Quando la replica termina l'importazione del file di dump, si connette al server on-premise e applica tutti gli aggiornamenti apportati dopo l'esportazione.

È importante controllare lo stato della replica prima di promuovere la replica a un'istanza autonoma. Se il processo di replica non viene completato correttamente, una replica promossa non contiene tutte le modifiche dell'istanza esterna.

8. (Facoltativo) Promuovi la replica a istanza standalone

Dopo aver controllato lo stato della replica, se vuoi sostituire completamente ("migrare") il server di database di origine con Cloud SQL, promuovi la replica in modo che diventi un'istanza principale autonoma. Dopo che la replica diventa l'istanza principale, non è più connessa al server del database di origine originale.

Crea una nuova replica per la nuova istanza principale e riavvia le applicazioni di connessione in modo che puntino alla nuova istanza principale (per le operazioni di scrittura) o alla nuova replica (per le operazioni di lettura).

9. Liberare spazio di archiviazione

  1. Elimina il file di esportazione:

    gcloud storage rm gs://[BUCKET]/[PATH_TO_DUMP]

  2. Se non hai più bisogno del bucket, eliminalo: 

    gcloud storage rm gs://[BUCKET] --recursive

Per ulteriori informazioni, consulta la documentazione di Cloud Storage relativa a Eliminazione di oggetti ed Eliminazione di bucket.

Aggiorna la configurazione

Per aggiornare le impostazioni di configurazione in un secondo momento, puoi modificare l'istanza di rappresentazione dell'origine. Se devi aggiornare le impostazioni di configurazione on-premise, tieni presente che hostPort e type non possono essere aggiornati.

Passaggi successivi