Best practice per l'importazione e l'esportazione dei dati

Questa pagina fornisce best practice per l'importazione e l'esportazione dei dati con Cloud SQL. Per istruzioni passo passo sull'importazione di dati in Cloud SQL, consulta Importazione dei dati.

Per esportare i dati da Cloud SQL per utilizzarli in un'istanza MySQL gestita da te, consulta Esportazione e importazione mediante file di dump SQL o Esporta e importa utilizzando file CSV.

Best practice per l'importazione e l'esportazione

Di seguito sono riportate le best practice da tenere presenti durante l'importazione e per esportare i dati:

Utilizza la stessa modalità SQL per l'importazione e l'esportazione

L'impostazione Modalità SQL influisce sul modo in cui Cloud SQL interpreta le query SQL. Ad esempio: se esporti da un database senza il linguaggio SQL rigoroso abilitato, prova a eseguire l'importazione Cloud SQL (che abilita il livello SQL restrittivo per impostazione predefinita), l'importazione potrebbe non riuscire. La best practice consiste nell'utilizzare la stessa modalità SQL per l'importazione utilizzata per l'esportazione.

Esamina la modalità SQL sul database di origine e di destinazione per verificarne la compatibilità. Presta particolare attenzione ai flag che abilitano la modalità SQL restrittiva. Se il codice SQL rigoroso NON è impostato nel tuo database, ti consigliamo dirimuoverlo in Cloud SQL. Se rimuovi il codice SQL più rigoroso, devi impostare un altro flag.

Per verificare che nell'istanza Cloud SQL sia impostata la modalità desiderata, esegui SELECT @@GLOBAL.sql_mode;.

Non utilizzare i bucket Cloud Storage per i pagamenti a carico del richiedente

Non puoi utilizzare un bucket Cloud Storage con L'opzione Pagamenti a carico del richiedente è stata attivata per importazioni ed esportazioni da Cloud SQL.

Riduci al minimo l'impatto sulle prestazioni delle esportazioni

Per un'esportazione standard da Cloud SQL, l'esportazione viene eseguita mentre il database è online. Quando i dati esportati sono minori, è probabile che l'impatto minimo. Tuttavia, in presenza di database di grandi dimensioni o oggetti di grandi dimensioni, come i BLOB nella esiste la possibilità che l'esportazione riduca il database le prestazioni dei dispositivi. Ciò potrebbe influire sul tempo necessario per eseguire le query sul database e operazioni sul database. Una volta avviata un'esportazione, non è possibile interromperla se il database inizia a rispondere lentamente.

Per evitare risposte lente durante un'esportazione, puoi:

  1. Acquisisci l'esportazione da una replica di lettura. Questa potrebbe essere una buona opzione se effettui spesso esportazioni (quotidianamente o più spesso), ma la quantità di dati esportati è ridotta. Per eseguire un'esportazione da una replica di lettura, utilizza Funzioni di esportazione Google Cloud Console, gcloud o dell'API REST nella replica di lettura in esecuzione in un'istanza Compute Engine. Vedi Crea repliche di lettura per saperne di più su come creare e gestire di repliche di lettura.

  2. Usa l'esportazione serverless. Con l'esportazione serverless, Cloud SQL crea un'istanza temporanea separata per non sovraccaricare l'operazione di esportazione. Trasferimento l'operazione di esportazione consente ai database sull'istanza principale di continuare per eseguire query ed eseguire operazioni con il tasso di prestazioni abituale. Quando L'esportazione dei dati è stata completata, l'istanza temporanea viene eliminata automaticamente. Potrebbe essere una buona opzione se esegui un'esportazione una tantum di un per configurare un database. Utilizza la console Google Cloud, gcloud o le funzioni di esportazione dell'API REST con il flag offload per eseguire un'operazione di esportazione serverless.

    Durante un'operazione di esportazione serverless puoi eseguire altre operazioni, modifica, importazione e failover dell'istanza. Tuttavia, se selezioni delete, l'operazione di esportazione si interrompe poco dopo l'eliminazione dell'istanza e non viene esportato alcun dato.

    Consulta la tabella seguente per scoprire di più sulle operazioni che possono essere bloccate mentre è in esecuzione un'operazione di esportazione serverless:
    Operazione attuale Nuova operazione Bloccato?
    Qualsiasi operazione Esportazione serverless Sì
    Esportazione serverless Qualsiasi operazione tranne l'esportazione serverless No
    Qualsiasi operazione tranne l'esportazione serverless Qualsiasi operazione tranne l'esportazione serverless Sì

    Un'esportazione serverless richiede più tempo rispetto a un'esportazione standard, per creare l'istanza temporanea. La procedura richiede almeno cinque minuti, ma per i database più grandi potrebbe essere più lunga. Considera l'impatto su in termini di tempo, prestazioni e costi prima di determinare quale tipo di esportazione utilizzare.

Utilizza i flag corretti quando crei un file di dump SQL

Se non utilizzi i flag giusti quando esporti i dati in un dump SQL l'importazione potrebbe non riuscire. Per informazioni sulla creazione di un File di dump SQL per l'importazione in Cloud SQL, consulta Creazione di un file di dump SQL.

Comprimi i dati per ridurre i costi

Cloud SQL supporta l'importazione e l'esportazione sia compresse che non compressi. La compressione può far risparmiare molto spazio di archiviazione Cloud Storage e di ridurre i costi di archiviazione, soprattutto e l'esportazione di istanze di grandi dimensioni.

Quando esporti un dump SQL o un file CSV, utilizza un .gz estensione del file per comprimere i dati. Quando importi un file con un oggetto di .gz, viene decompressa automaticamente.

Riduci le procedure di importazione ed esportazione che richiedono molto tempo

Il completamento delle importazioni in Cloud SQL e delle esportazioni da Cloud SQL può richiedere molto tempo, a seconda delle dimensioni dei dati da elaborare. Ciò può avere le seguenti conseguenze:

  • Non puoi arrestare un'operazione di un'istanza Cloud SQL a lunga esecuzione.
  • Puoi eseguire una sola operazione di importazione o esportazione alla volta per ogni istanza e un'operazione L'importazione o l'esportazione blocca altre operazioni, come i backup automatici giornalieri. Le esportazioni serverless ti consentono di eseguire altre operazioni, tra cui la modifica delle istanze, l'importazione, il failover e lo sblocco dei backup automatici giornalieri.

Puoi ridurre il tempo necessario per completare ogni operazione utilizzando il metodo Funzionalità di importazione o esportazione di Cloud SQL con batch di dati più piccoli.

Per le esportazioni, puoi eseguire l'esportazione da una replica di lettura o utilizzare esportazione serverless in minimizzare l'impatto sulle prestazioni del database e consentire l'esecuzione di altre operazioni sull'istanza durante l'esecuzione di un'esportazione.

Per altri suggerimenti, vedi Diagnosi in corso Problemi con le istanze Cloud SQL.

Utilizza InnoDB

InnoDB è l'unico motore di archiviazione supportato per le istanze MySQL.

Puoi convertire le tabelle da MyISAM a InnoDB eseguendo la pipeline dell'output di mysqldump tramite uno script sed come segue:

mysqldump --databases [DATABASE_NAME] \
-h [INSTANCE_IP] -u [USERNAME] -p [PASSWORD] \
--hex-blob --default-character-set=utf8mb4 | sed 's/ENGINE=MyISAM/ENGINE=InnoDB/g' > [DATABASE_FILE].sql

Job di importazione e migrazione MySQL contenenti metadati con clausola DEFINER

Poiché un job di importazione o migrazione MySQL non esegue la migrazione dei dati utente, le origini e i file dump che contengono metadati definiti dagli utenti con la clausola DEFINER non verranno importati o sottoposti a migrazione perché gli utenti non esistono ancora lì.

Per identificare i valori DEFINER presenti nei metadati, usa le seguenti query (o cerca nel file di dump) e controlla se sono presenti voci per root%localhost o utenti che non esistono nell'istanza di destinazione.

SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.EVENTS;
SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.ROUTINES;
SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.TRIGGERS;
SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.VIEWS;

Per eseguire un job di importazione o migrazione da un'origine che include questi metadati, puoi effettuare una delle seguenti operazioni:

  • Prima di iniziare, crea gli utenti sull'istanza Cloud SQL di destinazione del job di importazione o migrazione.
  • Aggiorna la clausola DEFINER a INVOKER sul tuo MySQL di origine o il file di dump prima di avviare il job di importazione o migrazione.

Verifica il database importato

Al termine di un'operazione di importazione, connettiti al database ed esegui i comandi appropriati per assicurarti che i contenuti siano corretti. Per ad esempio connect e per elencare database, tabelle e voci specifiche.

Limitazioni note

Per un elenco delle limitazioni note, consulta Problemi di importazione ed esportazione dei dati.

Automatizzare le operazioni di esportazione

Sebbene Cloud SQL non fornisca un modo integrato per automatizzare i database ed esportare, puoi creare il tuo strumento di automazione utilizzando diverse Google Cloud componenti. Per saperne di più, vedi questo tutorial.

Risoluzione dei problemi

Risolvere i problemi relativi alle operazioni di importazione

Problema Risoluzione dei problemi
HTTP Error 409: Operation failed because another operation was already in progress. Esiste già un'operazione in attesa per l'istanza. Solo un'operazione è consentito alla volta. Prova la richiesta dopo che l'operazione attuale è completato.
L'operazione di importazione sta richiedendo troppo tempo. Troppe connessioni attive possono interferire con le operazioni di importazione.

Chiudi le operazioni inutilizzate. Controlla l'utilizzo di CPU e memoria della tua istanza Cloud SQL per assicurarti che siano disponibili moltissime risorse. Il modo migliore per garantire il massimo delle risorse per l'importazione è riavviare l'istanza prima di iniziare l'operazione.

Un riavvio:

  • Chiude tutte le connessioni.
  • Termina qualsiasi attività che potrebbe consumare risorse.
Un'operazione di importazione può non riuscire quando uno o più utenti a cui viene fatto riferimento nel il file di dump non esiste. Prima di importare un file di dump, tutti gli utenti del database che possiedono gli oggetti a cui sono state concesse le autorizzazioni per gli oggetti nel database di cui è stato eseguito il dump, database di destinazione. In caso contrario, l'operazione di importazione non riesce a ricreare il file oggetti con la proprietà o le autorizzazioni originali.

Crea gli utenti del database prima dell'importazione.
Un'operazione di importazione non riesce e genera un errore che indica che la tabella non esiste. Le tabelle possono avere dipendenze di chiavi esterne su altre tabelle e, a seconda dell'ordine delle operazioni, una o più tabelle potrebbero non esistere ancora durante l'operazione di importazione.

Tentativi da effettuare

Aggiungi la seguente riga all'inizio del file di dump:

SET FOREIGN_KEY_CHECKS=0;

Inoltre, aggiungi questa riga alla fine del file di dump:

SET FOREIGN_KEY_CHECKS=1;

Queste impostazioni disattivano i controlli sull'integrità dei dati durante l'importazione sia in corso, per poi riattivarle dopo aver caricato i dati. Questo non influisce sull'integrità dei dati contenuti nel database, perché questi erano è già stata convalidata durante la creazione del file di dump.

Risoluzione dei problemi relativi alle operazioni di esportazione

Problema Risoluzione dei problemi
HTTP Error 409: Operation failed because another operation was already in progress. Esiste già un'operazione in attesa per l'istanza. Solo un'operazione è consentito alla volta. Prova a eseguire la richiesta al termine dell'operazione in corso.
HTTP Error 403: The service account does not have the required permissions for the bucket. Assicurati che il bucket esista e che l'account di servizio dell'istanza Cloud SQL (che esegue l'esportazione) abbia il ruolo Storage Object Creator (roles/storage.objectCreator) per consentire l'esportazione nel bucket. Consulta Ruoli IAM per Cloud Storage.
L'esportazione in formato CSV è riuscita, ma l'esportazione SQL non è riuscita. I formati CSV e SQL esportano in modo diverso. Il formato SQL esporta l'intero database e probabilmente richiede più tempo. Il formato CSV consente di definire gli elementi del database da includere nell'esportazione.

Utilizzare le esportazioni CSV ed esportare solo ciò che serve.
L'esportazione sta richiedendo troppo tempo. Cloud SQL non supporta le operazioni sincrone simultanee.

Utilizza esportazione offloading. A livello generale, in fase di offloading delle esportazioni, invece che eseguendo un'esportazione sull'istanza di origine, Cloud SQL avvia per eseguire l'esportazione. Lo sgravio dell'esportazione offre diversi vantaggi, tra cui un aumento delle prestazioni dell'istanza di origine e lo sblocco delle operazioni amministrative durante l'esecuzione dell'esportazione. Con dell'esportazione, la latenza totale può aumentare in base alla quantità di tempo richiesta per visualizzare l'istanza di offload. In genere, per esportazioni di dimensioni ragionevoli, la latenza non è significativa. Tuttavia, se l'esportazione è sufficientemente ridotta, potresti notare un aumento della latenza.
Vuoi che le esportazioni siano automatizzate. Cloud SQL non fornisce un modo per automatizzare le esportazioni.

Potresti creare il tuo sistema di esportazione automatizzato utilizzando Google Cloud come Cloud Scheduler, funzioni di Pub/Sub e Cloud Run, simile a questo articolo su l'automazione dei backup.

Passaggi successivi