Questa pagina descrive l'esportazione e l'importazione dei dati nelle istanze Cloud SQL utilizzando i file CSV.
Prima di iniziare
Prima di iniziare un'operazione di esportazione o importazione:
- Assicurati che il database disponga di spazio libero adeguato.
- Verifica che il file CSV contenga i dati previsti e che sia nel formato corretto. I file CSV devono avere una riga per ogni riga di campi di dati.
- Segui le best practice per l'esportazione e l'importazione dei dati.
Le operazioni di esportazione e importazione utilizzano le risorse del database, ma non interferiscono con le normali operazioni di database, a meno che non sia stato eseguito un provisioning insufficiente dell'istanza.
Esporta i dati da Cloud SQL per PostgreSQL
Autorizzazioni e ruoli richiesti per l'esportazione da Cloud SQL per PostgreSQL
Per esportare i dati da Cloud SQL in Cloud Storage, l'utente che avvia l'esportazione deve avere uno dei seguenti ruoli:
- Il ruolo Editor Cloud SQL
- Un ruolo personalizzato,
incluse le seguenti autorizzazioni:
cloudsql.instances.get
cloudsql.instances.export
Inoltre, l'account di servizio per l'istanza Cloud SQL deve avere uno dei seguenti ruoli:
- Il ruolo
storage.objectAdmin
Identity and Access Management (IAM) - Un ruolo personalizzato, incluse le seguenti autorizzazioni:
storage.objects.create
storage.objects.list
(solo per l'esportazione di file in parallelo)storage.objects.delete
(solo per l'esportazione di file in parallelo)
Per assistenza con i ruoli IAM, consulta Identity and Access Management.
Esportare i dati in un file CSV da Cloud SQL per PostgreSQL
Puoi esportare i dati in formato CSV, utilizzabile da altri strumenti e ambienti. Le esportazioni vengono eseguite a livello di database. Durante un'esportazione CSV, puoi specificare gli schemi da esportare. Tutti gli schemi a livello di database sono idonei per l'esportazione.
Per esportare i dati da un database su un'istanza Cloud SQL in un file CSV in un bucket Cloud Storage:
Console
-
Nella console Google Cloud, vai alla pagina Istanze Cloud SQL.
- Per aprire la pagina Panoramica di un'istanza, fai clic sul nome dell'istanza.
- Fai clic su Esporta.
- Seleziona Disattiva esportazione per consentire l'esecuzione di altre operazioni durante l'esportazione.
-
Nella sezione Percorso di esportazione di Cloud Storage aggiungi il nome del bucket, della cartella e del file che vuoi esportare oppure fai clic su Sfoglia per trovare o creare un bucket, una cartella o un file.
Se fai clic su Sfoglia:
- Nella sezione Località, seleziona una cartella o un bucket Cloud Storage per l'esportazione.
Nella casella Nome, aggiungi un nome per il file
CSV
o seleziona un file esistente dall'elenco nella sezione Posizione.Puoi utilizzare un'estensione del file
.gz
(l'estensione completa sarebbe.csv.gz
) per comprimere il file di esportazione.- Fai clic su Seleziona.
- Nella sezione Formato, fai clic su CSV.
- Nella sezione Database per l'esportazione, seleziona il nome del database dal menu a discesa.
-
Per Query SQL, inserisci una query SQL per specificare la tabella da cui esportare i dati.
Ad esempio, per esportare l'intero contenuto della tabella
entries
nel databaseguestbook
, inserisciSELECT * FROM guestbook.entries;
La query deve specificare una tabella nel database specificato. Non puoi esportare un intero database in formato CSV. - Fai clic su Esporta per avviare l'esportazione.
- Viene visualizzata la finestra Esportare il database? con un messaggio che indica che il processo di esportazione può richiedere un'ora o più per i database di grandi dimensioni. Durante l'esportazione, l'unica operazione che puoi eseguire sull'istanza è la visualizzazione delle informazioni. Una volta avviata l'esportazione, puoi annullare l'operazione. Se è il momento giusto per avviare un'esportazione, fai clic su Esporta. In caso contrario, fai clic su Annulla.
gcloud
- Crea un bucket Cloud Storage.
Carica il file nel bucket.
Per assistenza sul caricamento dei file nei bucket, consulta la pagina Caricamento di oggetti.
- Trova l'account di servizio per l'istanza Cloud SQL da cui stai eseguendo l'esportazione. Per farlo, puoi eseguire il comando
gcloud sql instances describe
. Cerca il camposerviceAccountEmailAddress
nell'output.gcloud sql instances describe INSTANCE_NAME
- Utilizza
gsutil iam
per concedere il ruolo IAMstorage.objectAdmin
all'account di servizio dell'istanza Cloud SQL. Per assistenza sull'impostazione delle autorizzazioni IAM, consulta Utilizzo delle autorizzazioni IAM. - Esporta il database:
gcloud sql export csv INSTANCE_NAME gs://BUCKET_NAME/FILE_NAME \ --database=DATABASE_NAME \ --offload \ --query=SELECT_QUERY
Per informazioni sull'utilizzo del comando
export csv
, consulta la pagina di riferimento del comandosql export csv
. - Se non devi mantenere il ruolo IAM che hai impostato in precedenza, revoke ora.
REST v1
- Crea un bucket per l'esportazione:
gsutil mb -p PROJECT_NAME -l LOCATION_NAME gs://BUCKET_NAME
Questo passaggio non è obbligatorio, ma vivamente consigliato, quindi non consentire l'accesso ad altri dati.
- Fornisci all'istanza il ruolo IAM
legacyBucketWriter
per il bucket. Per assistenza sull'impostazione delle autorizzazioni IAM, consulta Utilizzo delle autorizzazioni IAM. -
Esporta il database:
Prima di utilizzare i dati della richiesta, effettua le seguenti sostituzioni:
- project-id: l'ID progetto
- instance-id: l'ID istanza
- bucket_name: nome del bucket Cloud Storage
- path_to_csv_file: il percorso del file CSV
- database_name: il nome di un database all'interno dell'istanza Cloud SQL
- offload: abilita l'esportazione serverless. Imposta su
true
per utilizzare l'esportazione serverless. - select_query: query SQL per l'esportazione (facoltativa)
- escape_character: il carattere che deve precedere un carattere dei dati da cui è necessario eseguire l'escape. Il valore di questo argomento deve essere un carattere nel codice ASCII esadecimale. Ad esempio, "22" rappresenta le virgolette doppie. (facoltativo)
- quote_character:il carattere che racchiude i valori delle colonne che hanno un tipo di dati stringa. Il valore di questo argomento deve essere un carattere nel codice ASCII esadecimale. Ad esempio, "22" rappresenta le virgolette doppie. (facoltativo)
- fields_terminated_by: il carattere che divide i valori delle colonne. Il valore di questo argomento deve essere un carattere nel codice ASCII esadecimale. Ad esempio, "2C" rappresenta una virgola. (facoltativo)
- lines_terminated_by: il carattere che divide la riga. Il valore di questo argomento deve essere un carattere nel codice ASCII esadecimale. Ad esempio, "0A" rappresenta una nuova riga. (facoltativo)
Metodo HTTP e URL:
POST https://sqladmin.googleapis.com/v1/projects/project-id/instances/instance-id/export
Corpo JSON della richiesta:
{ "exportContext": { "fileType": "CSV", "uri": "gs://bucket_name/path_to_csv_file", "databases": ["database_name"], "offload": true | false "csvExportOptions": { "selectQuery":"select_query", "escapeCharacter":"escape_character", "quoteCharacter":"quote_character", "fieldsTerminatedBy":"fields_terminated_by", "linesTerminatedBy":"lines_terminated_by" } } }
Per inviare la richiesta, espandi una di queste opzioni:
Dovresti ricevere una risposta JSON simile alla seguente:
Devi specificare esattamente un database con la proprietà
databases
e, se la query di selezione specifica un database, questo deve essere lo stesso. - Se non hai bisogno di conservare le autorizzazioni IAM impostate in precedenza, rimuovile ora.
REST v1beta4
- Crea un bucket per l'esportazione:
gsutil mb -p PROJECT_NAME -l LOCATION_NAME gs://BUCKET_NAME
Questo passaggio non è obbligatorio, ma vivamente consigliato, quindi non consentire l'accesso ad altri dati.
- Fornisci all'istanza il ruolo IAM
storage.objectAdmin
per il bucket. Per assistenza sull'impostazione delle autorizzazioni IAM, consulta Utilizzo delle autorizzazioni IAM. -
Esporta il database:
Prima di utilizzare i dati della richiesta, effettua le seguenti sostituzioni:
- project-id: l'ID progetto
- instance-id: l'ID istanza
- bucket_name: nome del bucket Cloud Storage
- path_to_csv_file: il percorso del file CSV
- database_name: il nome di un database all'interno dell'istanza Cloud SQL
- offload: abilita l'esportazione serverless. Imposta su
true
per utilizzare l'esportazione serverless. - select_query: query SQL per l'esportazione (facoltativa)
- escape_character: il carattere che deve precedere un carattere dei dati da cui è necessario eseguire l'escape. Il valore di questo argomento deve essere in formato esadecimale ASCII. Ad esempio, "22" rappresenta le virgolette doppie. (facoltativo)
- quote_character: il carattere che racchiude i valori delle colonne che hanno un tipo di dati stringa. Il valore di questo argomento deve essere in formato esadecimale ASCII. Ad esempio, "22" rappresenta le virgolette doppie. (facoltativo)
- fields_terminated_by: il carattere che divide i valori delle colonne. Il valore di questo argomento deve essere in formato esadecimale ASCII. Ad esempio, "2C" rappresenta una virgola. (facoltativo)
- lines_terminated_by: il carattere che divide la riga. Il valore di questo argomento deve essere in formato esadecimale ASCII. Ad esempio, "0A" rappresenta una nuova riga. (facoltativo)
Metodo HTTP e URL:
POST https://sqladmin.googleapis.com/sql/v1beta4/projects/project-id/instances/instance-id/export
Corpo JSON della richiesta:
{ "exportContext": { "fileType": "CSV", "uri": "gs://bucket_name/path_to_csv_file", "databases": ["database_name"], "offload": true | false "csvExportOptions": { "selectQuery": "select_query", "escapeCharacter": "escape_character", "quoteCharacter": "quote_character", "fieldsTerminatedBy": "fields_terminated_by", "linesTerminatedBy": "lines_terminated_by" } } }
Per inviare la richiesta, espandi una di queste opzioni:
Dovresti ricevere una risposta JSON simile alla seguente:
Devi specificare esattamente un database con la proprietà
databases
e, se la query di selezione specifica un database, questo deve essere lo stesso. - Se non devi mantenere il ruolo IAM che hai impostato in precedenza, revoke ora.
Personalizzare il formato di un file di esportazione CSV
Puoi usare gcloud
o l'API REST per personalizzare il formato del file CSV. Quando esegui un'esportazione, puoi specificare le seguenti opzioni di formattazione:
Opzione CSV | Valore predefinito | flag gcloud | Proprietà API REST | Descrizione |
---|---|---|---|---|
Escape |
Codice esadecimale ASCII per il separatore di file. |
--escape |
escapeCharacter |
Carattere che precede un carattere dei dati da cui è necessario eseguire l'escape. Disponibile solo per MySQL e PostgreSQL. |
Preventivo |
Codice esadecimale ASCII per le virgolette doppie. |
--quote |
quoteCharacter |
Carattere che racchiude i valori delle colonne che hanno un tipo di dati stringa. Disponibile solo per MySQL e PostgreSQL. |
Delimitatore di campo |
Codice esadecimale ASCII per la virgola. |
--fields-terminated-by |
fieldsTerminatedBy |
Carattere che divide i valori delle colonne. Disponibile solo per MySQL e PostgreSQL. |
Carattere di nuova riga |
Codice esadecimale ASCII per la nuova riga. |
--lines-terminated-by |
linesTerminatedBy |
Carattere che separa i record di riga. Disponibile solo per MySQL. |
Ad esempio, un comando gcloud
che utilizza tutti questi argomenti potrebbe essere il seguente:
gcloud sql export csv INSTANCE_NAME gs://BUCKET_NAME/FILE_NAME \ --database=DATABASE_NAME \ --offload \ --query=SELECT_QUERY \ --quote="22" \ --escape="5C" \ --fields-terminated-by="2C" \ --lines-terminated-by="0A"
Il corpo della richiesta dell'API REST equivalente sarebbe simile a questo:
{ "exportContext": { "fileType": "CSV", "uri": "gs://bucket_name/path_to_csv_file", "databases": ["DATABASE_NAME"], "offload": true, "csvExportOptions": { "selectQuery": "SELECT_QUERY", "escapeCharacter": "5C", "quoteCharacter": "22", "fieldsTerminatedBy": "2C", "linesTerminatedBy": "0A" } } }
L'esportazione in formato CSV crea un output CSV standard per impostazione predefinita. Se hai bisogno di altre opzioni rispetto a quelle fornite da Cloud SQL, puoi utilizzare la seguente istruzione in un client psql:
\copy [table_name] TO '[csv_file_name].csv' WITH (FORMAT csv, ESCAPE '[escape_character]', QUOTE '[quote_character]', DELIMITER '[delimiter_character]', ENCODING 'UTF8', NULL '[null_marker_string]');
Importa dati in Cloud SQL per PostgreSQL
Autorizzazioni e ruoli obbligatori per l'importazione in Cloud SQL per PostgreSQL
Per importare dati da Cloud Storage in Cloud SQL, l'utente che avvia l'importazione deve avere uno dei seguenti ruoli:
- Il ruolo Editor Cloud SQL
- Un ruolo personalizzato,
incluse le seguenti autorizzazioni:
cloudsql.instances.get
cloudsql.instances.import
Inoltre, l'account di servizio per l'istanza Cloud SQL deve avere uno dei seguenti ruoli:
- Il ruolo IAM
storage.objectAdmin
- Un ruolo personalizzato, incluse le seguenti autorizzazioni:
storage.objects.get
storage.objects.list
(solo per importare file in parallelo)
Per assistenza con i ruoli IAM, consulta Identity and Access Management.
Importa i dati da un file CSV in Cloud SQL per PostgreSQL
- Il database e la tabella in cui stai eseguendo l'importazione devono esistere nell'istanza Cloud SQL. Per assistenza sulla creazione di un database, consulta Creazione di un database.
- Il file CSV deve essere conforme ai requisiti per il formato del file CSV.
Requisiti per i formati dei file CSV
I file CSV devono avere una riga per ogni riga di dati e utilizzare campi separati da virgole.
Per importare dati in un'istanza Cloud SQL utilizzando un file CSV:
Console
-
Nella console Google Cloud, vai alla pagina Istanze Cloud SQL.
- Per aprire la pagina Panoramica di un'istanza, fai clic sul nome dell'istanza.
- Fai clic su Importa.
- Nella sezione Scegli il file da cui importare i dati, inserisci il percorso del bucket e il file CSV da utilizzare per l'importazione. In alternativa, per sfogliare il
file:
- Fai clic su Sfoglia.
- Nella sezione Posizione, fai doppio clic sul nome del bucket nell'elenco.
- Seleziona il file dall'elenco.
- Fai clic su Seleziona.
Puoi importare un file compresso (
.gz
) o non compresso (.csv
). - Nella sezione Formato, seleziona CSV.
- Specifica il Database e la Tabella nell'istanza Cloud SQL in cui vuoi importare il file CSV.
- Facoltativamente, puoi specificare un utente per l'operazione di importazione.
- Fai clic su Importa per avviare l'importazione.
gcloud
- Crea un bucket Cloud Storage.
Carica il file nel bucket.
Per assistenza sul caricamento dei file nei bucket, consulta la pagina Caricamento di oggetti.
- Carica i dati dal file CSV nel bucket.
- Identifica l'account di servizio per l'istanza Cloud SQL da cui stai eseguendo l'esportazione. A questo scopo, puoi eseguire il comando
gcloud sql instances describe
con il nome istanza. Cerca il camposerviceAccountEmailAddress
nell'output.gcloud sql instances describe INSTANCE_NAME
- Copia il campo serviceAccountEmailAddress.
- Utilizza
gsutil iam
per concedere il ruolo IAMstorage.objectAdmin
all'account di servizio dell'istanza Cloud SQL per il bucket. Per assistenza sull'impostazione delle autorizzazioni IAM, consulta Utilizzo delle autorizzazioni IAM. - Importa il file:
gcloud sql import csv INSTANCE_NAME gs://BUCKET_NAME/FILE_NAME \ --database=DATABASE_NAME \ --table=TABLE_NAME
Per informazioni sull'utilizzo del comando
import csv
, consulta la pagina di riferimento del comandosql import csv
. - Se non è necessario conservare le autorizzazioni IAM impostate in precedenza, rimuovile utilizzando
gsutil iam
.
REST v1
- Crea un bucket Cloud Storage.
Carica il file nel bucket.
Per assistenza sul caricamento dei file nei bucket, consulta la pagina Caricamento di oggetti.
- Fornisci all'istanza i ruoli IAM
legacyBucketWriter
eobjectViewer
per il tuo bucket. Per assistenza sull'impostazione delle autorizzazioni IAM, consulta Utilizzo delle autorizzazioni IAM. - Importa il file:
Prima di utilizzare i dati della richiesta, effettua le seguenti sostituzioni:
- project-id: l'ID progetto
- instance-id: l'ID istanza
- bucket_name: nome del bucket Cloud Storage
- path_to_csv_file: il percorso del file CSV
- database_name: il nome di un database all'interno dell'istanza Cloud SQL
- table_name: il nome della tabella di database
- escape_character: il carattere che deve precedere un carattere dei dati da cui è necessario eseguire l'escape. Il valore di questo argomento deve essere un carattere nel codice ASCII esadecimale. Ad esempio, "22" rappresenta le virgolette doppie. (facoltativo)
- quote_character: il carattere che racchiude i valori delle colonne che hanno un tipo di dati stringa. Il valore di questo argomento deve essere un carattere nel codice ASCII esadecimale. Ad esempio, "22" rappresenta le virgolette doppie. (facoltativo)
- fields_terminated_by: il carattere che divide i valori delle colonne. Il valore di questo argomento deve essere un carattere nel codice ASCII esadecimale. Ad esempio, "2C" rappresenta una virgola. (facoltativo)
- lines_terminated_by: il carattere che divide la riga. Il valore di questo argomento deve essere un carattere nel codice ASCII esadecimale. Ad esempio, "0A" rappresenta una nuova riga. (facoltativo)
Metodo HTTP e URL:
POST https://sqladmin.googleapis.com/v1/projects/project-id/instances/instance-id/import
Corpo JSON della richiesta:
{ "importContext": { "fileType": "CSV", "uri": "gs://bucket_name/path_to_csv_file", "database": "database_name", "csvImportOptions": { "table": "table_name", "escapeCharacter": "escape_character", "quoteCharacter": "quote_character", "fieldsTerminatedBy": "fields_terminated_by", "linesTerminatedBy": "lines_terminated_by" } } }
Per inviare la richiesta, espandi una di queste opzioni:
Dovresti ricevere una risposta JSON simile alla seguente:
Per l'elenco completo dei parametri della richiesta, vedi la pagina instances:import. - Se non è necessario conservare le autorizzazioni IAM impostate in precedenza, rimuovile.
REST v1beta4
- Crea un bucket Cloud Storage.
Carica il file nel bucket.
Per assistenza sul caricamento dei file nei bucket, consulta la pagina Caricamento di oggetti.
- Fornisci all'istanza il ruolo IAM
storage.objectAdmin
per il bucket. Per assistenza sull'impostazione delle autorizzazioni IAM, consulta Utilizzo delle autorizzazioni IAM. - Importa il file:
Prima di utilizzare i dati della richiesta, effettua le seguenti sostituzioni:
- project-id: l'ID progetto
- instance-id: l'ID istanza
- bucket_name: nome del bucket Cloud Storage
- path_to_csv_file: il percorso del file CSV
- database_name: il nome di un database all'interno dell'istanza Cloud SQL
- table_name: il nome della tabella di database
- escape_character: il carattere che deve precedere un carattere dei dati da cui è necessario eseguire l'escape. Il valore di questo argomento deve essere in formato esadecimale ASCII. Ad esempio,"22" rappresenta le virgolette doppie. (facoltativo)
- quote_character: il carattere che racchiude i valori delle colonne che hanno un tipo di dati stringa. Il valore di questo argomento deve essere in formato esadecimale ASCII. Ad esempio, "22" rappresenta le virgolette doppie. (facoltativo)
- fields_terminated_by: il carattere che divide i valori delle colonne. Il valore di questo argomento deve essere in formato esadecimale ASCII. Ad esempio, "2C" rappresenta una virgola. (facoltativo)
- lines_terminated_by: il carattere che divide la riga. Il valore di questo argomento deve essere in formato esadecimale ASCII. Ad esempio, "0A" rappresenta una nuova riga. (facoltativo)
Metodo HTTP e URL:
POST https://sqladmin.googleapis.com/sql/v1beta4/projects/project-id/instances/instance-id/import
Corpo JSON della richiesta:
{ "importContext": { "fileType": "CSV", "uri": "gs://bucket_name/path_to_csv_file", "database": "database_name", "csvImportOptions": { "table": "table_name", "escapeCharacter": "escape_character", "quoteCharacter": "quote_character", "fieldsTerminatedBy": "fields_terminated_by", "linesTerminatedBy": "lines_terminated_by" } } }
Per inviare la richiesta, espandi una di queste opzioni:
Dovresti ricevere una risposta JSON simile alla seguente:
Per l'elenco completo dei parametri della richiesta, vedi la pagina instances:import. - Se non è necessario conservare le autorizzazioni IAM impostate in precedenza, rimuovile.
Personalizza il formato di un file CSV per Cloud SQL per PostgreSQL
Puoi usare gcloud
o l'API REST per personalizzare il formato del file CSV.
Di seguito è riportato un comando gcloud
di esempio:
gcloud sql import csv INSTANCE_NAME gs://BUCKET_NAME/FILE_NAME \ --database=DATABASE_NAME \ --table=TABLE_NAME \ --quote="22" \ --escape="5C" \ --fields-terminated-by="2C" \ --lines-terminated-by="0A"
Il corpo della richiesta dell'API REST equivalente sarebbe simile a questo:
{ "importContext": { "fileType": "CSV", "uri": "gs://bucket_name/path_to_csv_file", "database": ["DATABASE_NAME"], "csvImportOptions": { "table": "TABLE_NAME", "escapeCharacter": "5C", "quoteCharacter": "22", "fieldsTerminatedBy": "2C", "linesTerminatedBy": "0A" } } }
Se viene visualizzato un errore come ERROR_RDBMS
, assicurati che la tabella esista. Se la tabella esiste, verifica di disporre delle autorizzazioni corrette per il bucket. Per informazioni sulla configurazione del controllo dell'accesso dell'accesso in Cloud Storage, consulta
Creare e gestire gli elenchi di controllo dell'accesso.
Passaggi successivi
- Scopri come controllare lo stato delle operazioni di importazione ed esportazione.
- Scopri di più sulle best practice per l'importazione e l'esportazione dei dati.
- Problemi noti relativi a importazioni ed esportazioni.