Nesta página, descrevemos como exportar e importar dados para instâncias do Cloud SQL usando arquivos CSV.
Antes de começar
Antes de iniciar uma operação de exportação ou importação:
- Verifique se o banco de dados tem espaço livre adequado.
- Verifique se o arquivo CSV tem os dados esperados e se está no formato correto. Os arquivos CSV precisam ter uma linha para cada linha de campos de dados.
- Siga as práticas recomendadas para exportar e importar dados.
As operações de exportação e importação usam recursos do banco de dados, mas não interferem nas operações normais do banco de dados, a menos que a instância tenha um provisionamento menor do que deveria ser.
Exportar
Papéis e permissões necessários para exportar
Para exportar dados para o Cloud Storage, a conta de serviço ou o usuário da instância do Cloud SQL precisa ter um dos seguintes conjuntos de papéis:
- Os papéis de editor do Cloud SQL e
roles/storage.legacyBucketWriter
. - Um papel personalizado, incluindo as seguintes permissões:
cloudsql.instances.get
cloudsql.instances.export
storage.buckets.create
storage.objects.create
Se a conta de serviço ou usuário também estiver executando operações de importação, talvez seja mais conveniente conceder o papel IAM Storage Object Admin
para ter todas as permissões necessárias para importação e exportação.
Para receber ajuda com os papéis do IAM, consulte Cloud Identity and Access Management para o Cloud Storage.
Exportar dados para um arquivo CSV
É possível exportar os dados no formato CSV, que pode ser usado por outras ferramentas e ambientes. As exportações acontecem no nível do banco de dados. Durante uma exportação de CSV, é possível especificar os esquemas que serão exportados. Todos os esquemas no nível do banco de dados estão qualificados para exportação.
Para exportar dados de um banco de dados em uma instância do Cloud SQL para um arquivo CSV em um bucket do Cloud Storage:
Console
-
No console do Google Cloud, acesse a página Instâncias do Cloud SQL.
- Para abrir a página Visão geral de uma instância, clique no nome da instância.
- Clique em Exportar.
- Selecione Descarregar exportação para permitir que outras operações ocorram enquanto a exportação estiver em andamento.
- Clique em Exibir opções avançadas.
- Na seção Banco de dados, selecione o nome do banco de dados no menu suspenso.
-
Em Consulta SQL, insira uma consulta SQL para especificar a tabela de onde os dados serão exportados.
Por exemplo, para exportar todo o conteúdo da tabela
entries
no banco de dadosguestbook
, insiraSELECT * FROM guestbook.entries;
A consulta precisa especificar uma tabela no banco de dados especificado. Não é possível exportar um banco de dados inteiro no formato CSV. - Clique em Exportar para iniciar a exportação.
- A caixa de diálogo Exportar banco de dados? será aberta com uma mensagem informando que o processo pode levar uma hora ou mais para bancos de dados grandes. Durante a exportação, a única operação que pode ser executada na instância é a visualização de informações. Não será possível interromper a exportação depois que ela for iniciada. Se for um bom momento para iniciar uma exportação, clique em Exportar. Caso contrário, clique em Cancelar.
gcloud
- Criar um bucket do Cloud Storage
Faça upload do arquivo no seu bucket.
Para receber ajuda com o upload de arquivos para buckets, consulte Como fazer upload de objetos.
- Encontre a conta de serviço da instância do Cloud SQL da qual você está
exportando. É possível fazer isso executando o
comando
gcloud sql instances describe
. Procure o camposerviceAccountEmailAddress
na saída.gcloud sql instances describe INSTANCE_NAME
- Use
gsutil iam
para conceder o papel do IAMstorage.objectAdmin
à conta de serviço da instância do Cloud SQL. Para ajuda com a configuração de permissões do IAM, consulte Como usar as permissões do Cloud IAM. - Exporte o banco de dados:
gcloud sql export csv INSTANCE_NAME gs://BUCKET_NAME/FILE_NAME \ --database=DATABASE_NAME \ --offload \ --query=SELECT_QUERY
Para informações sobre como usar o comando
export csv
, consulte a página de referência do comandosql export csv
. - Se você não precisar manter o papel do IAM definido anteriormente, revogue-o agora.
REST v1
- Crie um bucket para a exportação:
gsutil mb -p PROJECT_NAME -l LOCATION_NAME gs://BUCKET_NAME
Essa etapa não é obrigatória, mas altamente recomendada para que você não abra acesso a outros dados.
- Forneça à instância o papel do IAM
legacyBucketWriter
no seu bucket. Para ajuda com a configuração de permissões do IAM, consulte Como usar as permissões do Cloud IAM. -
Exporte o banco de dados:
Antes de usar os dados da solicitação abaixo, faça as substituições a seguir:
- project-id: o ID do projeto
- instance-id: o ID da instância
- bucket_name: o nome do bucket do Cloud Storage
- path_to_csv_file: o caminho para o arquivo CSV
- database_name: o nome de um banco de dados dentro da instância do Cloud SQL
- offload: ativa a exportação sem servidor. Defina como
true
para usar a exportação sem servidor. - select_query: consulta SQL para exportação (opcional)
- escape_character: o caractere que precisa aparecer antes de um caractere de dados que precisa de escape. O valor desse argumento precisa ser um caractere no código ASCII hexadecimal. Por exemplo, "22" representa aspas duplas. (opcional)
- quote_character:o caractere que inclui valores de colunas com um tipo de dados de string. O valor desse argumento precisa ser um caractere no código ASCII hexadecimal. Por exemplo, "22" representa aspas duplas. (opcional)
- fields_terminated_by: o caractere que divide os valores da coluna. O valor desse argumento precisa ser um caractere no código ASCII hexadecimal. Por exemplo, "2C" representa uma vírgula. (opcional)
- lines_terminated_by: o caractere que divide os registros de linha. O valor desse argumento precisa ser um caractere no código ASCII hexadecimal. Por exemplo, "0A" representa uma nova linha. (opcional)
Método HTTP e URL:
POST https://sqladmin.googleapis.com/v1/projects/project-id/instances/instance-id/export
Corpo JSON da solicitação:
{ "exportContext": { "fileType": "CSV", "uri": "gs://bucket_name/path_to_csv_file", "databases": ["database_name"], "offload": true | false "csvExportOptions": { "selectQuery":"select_query", "escapeCharacter":"escape_character", "quoteCharacter":"quote_character", "fieldsTerminatedBy":"fields_terminated_by", "linesTerminatedBy":"lines_terminated_by" } } }
Para enviar a solicitação, expanda uma destas opções:
Você receberá uma resposta JSON semelhante a esta:
Se a consulta selecionada especificar um banco de dados, ela modificará a propriedade
databases
. - Se você não precisar manter as permissões do IAM definidas anteriormente, remova-as agora.
REST v1beta4
- Crie um bucket para a exportação:
gsutil mb -p PROJECT_NAME -l LOCATION_NAME gs://BUCKET_NAME
Essa etapa não é obrigatória, mas altamente recomendada para que você não abra acesso a outros dados.
- Forneça à instância o papel do IAM
storage.objectAdmin
no seu bucket. Para ajuda com a configuração de permissões do IAM, consulte Como usar as permissões do Cloud IAM. -
Exporte o banco de dados:
Antes de usar os dados da solicitação abaixo, faça as substituições a seguir:
- project-id: o ID do projeto
- instance-id: o ID da instância
- bucket_name: o nome do bucket do Cloud Storage
- path_to_csv_file: o caminho para o arquivo CSV
- database_name: o nome de um banco de dados dentro da instância do Cloud SQL
- offload: ativa a exportação sem servidor. Defina como
true
para usar a exportação sem servidor. - select_query: consulta SQL para exportação (opcional)
- escape_character: o caractere que precisa aparecer antes de um caractere de dados que precisa de escape. O valor desse argumento precisa estar no formato ASCII hexadecimal. Por exemplo, "22" representa aspas duplas. (opcional)
- quote_character: o caractere que inclui valores de colunas com um tipo de dados de string. O valor desse argumento precisa estar no formato ASCII hexadecimal. Por exemplo, "22" representa aspas duplas. (opcional)
- fields_terminated_by: o caractere que divide os valores da coluna. O valor desse argumento precisa estar no formato ASCII hexadecimal. Por exemplo, "2C" representa uma vírgula. (opcional)
- lines_terminated_by: o caractere que divide os registros de linha. O valor desse argumento precisa estar no formato ASCII hexadecimal. Por exemplo, "0A" representa uma nova linha. (opcional)
Método HTTP e URL:
POST https://sqladmin.googleapis.com/sql/v1beta4/projects/project-id/instances/instance-id/export
Corpo JSON da solicitação:
{ "exportContext": { "fileType": "CSV", "uri": "gs://bucket_name/path_to_csv_file", "databases": ["database_name"], "offload": true | false "csvExportOptions": { "selectQuery": "select_query", "escapeCharacter": "escape_character", "quoteCharacter": "quote_character", "fieldsTerminatedBy": "fields_terminated_by", "linesTerminatedBy": "lines_terminated_by" } } }
Para enviar a solicitação, expanda uma destas opções:
Você receberá uma resposta JSON semelhante a esta:
Se a consulta selecionada especificar um banco de dados, ela modificará a propriedade
databases
. - Se você não precisar manter o papel do IAM definido anteriormente, revogue-o agora.
Personalizar o formato de um arquivo de exportação CSV
É possível usar gcloud
ou a API REST para personalizar o formato do arquivo CSV. Ao executar uma
exportação, você pode especificar as seguintes opções de formatação:
Opção de CSV | Valor padrão | Sinalização do gcloud | Propriedade da API REST | Descrição |
---|---|---|---|---|
Escape |
Código hexadecimal ASCII para o separador de arquivos. |
--escape |
escapeCharacter |
Caractere que aparece antes de um caractere de dados que precisa ser escapado. Disponível apenas para MySQL e PostgreSQL. |
Cotação |
Código hexadecimal ASCII para aspas duplas. |
--quote |
quoteCharacter |
O caractere que inclui valores de colunas com um tipo de dados de string. Disponível apenas para MySQL e PostgreSQL. |
Delimitador de campo |
Código hexadecimal ASCII para vírgula. |
--fields-terminated-by |
fieldsTerminatedBy |
Caractere que divide os valores da coluna. Disponível apenas para MySQL e PostgreSQL. |
Caractere de nova linha |
Código hexadecimal ASCII para nova linha. |
--lines-terminated-by |
linesTerminatedBy |
Caractere que divide registros de linha. Disponível apenas para MySQL. |
Por exemplo, um comando gcloud
que usa todos esses argumentos poderia
se parecer com:
gcloud sql export csv INSTANCE_NAME gs://BUCKET_NAME/FILE_NAME \ --database=DATABASE_NAME \ --offload \ --query=SELECT_QUERY \ --quote="22" \ --escape="5C" \ --fields-terminated-by="2C" \ --lines-terminated-by="0A"
O corpo da solicitação da API REST equivalente seria assim:
{ "exportContext": { "fileType": "CSV", "uri": "gs://bucket_name/path_to_csv_file", "databases": ["DATABASE_NAME"], "offload": true, "csvExportOptions": { "selectQuery": "SELECT_QUERY", "escapeCharacter": "5C", "quoteCharacter": "22", "fieldsTerminatedBy": "2C", "linesTerminatedBy": "0A" } } }
Os exemplos de gcloud
e API anteriores são equivalentes à execução
da seguinte instrução SQL:
SELECT [QUERY] INTO OUTFILE ... CHARACTER SET 'utf8mb4' FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '\"' ESCAPED BY '\\' LINES TERMINATED BY '\n'
Importar
Papéis e permissões necessários para importação
Para este procedimento, é necessário importar um arquivo do Cloud Storage. Para importar dados do Cloud Storage, a conta de serviço ou o usuário da instância do Cloud SQL precisa ter um dos seguintes conjuntos de papéis:
- Os papéis de Administrador do Cloud SQL e
roles/storage.legacyObjectReader
- Um papel personalizado, incluindo as seguintes permissões:
cloudsql.instances.get
cloudsql.instances.import
storage.buckets.get
storage.objects.get
Se a conta de serviço ou usuário também estiver executando operações de exportação, talvez seja mais conveniente conceder
o papel Storage Object Admin
do IAM para ter todas as permissões necessárias
para importação e exportação. Para receber ajuda com
os papéis do IAM, consulte Cloud Identity and Access Management para o Cloud Storage.
Exportar dados do servidor MySQL local para um arquivo CSV
Para exportar uma tabela MySQL para importação no Cloud SQL, recomendamos que você formate o arquivo usando o seguinte comando:
mysql --host=INSTANCE_IP --user=USER_NAME --password DATABASE \ -e " SELECT * FROM TABLE INTO OUTFILE 'FILE_NAME' CHARACTER SET 'utf8mb4' FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '\"' ESCAPED BY '\"' "
É possível personalizar o formato do arquivo de exportação CSV.
Importar dados de um arquivo CSV
- O banco de dados e a tabela em que você está importando precisam existir em sua instância do Cloud SQL.
Para ajuda sobre a criação de um banco de dados, consulte
Como criar um banco de dados.
Para criar uma tabela, use a instrução SQL
CREATE TABLE
no clientemysql
. - O arquivo CSV precisa estar de acordo com os requisitos
de formato do arquivo CSV.
Se o arquivo não atender a esses requisitos, também será possível usar a instrução
LOAD DATA LOCAL INFILE
no clientemysql
para carregar um arquivo local no banco de dados. Isso requer o uso da opção--local-infile
para o clientemysql
. - Se você estiver importando dados exportados de um servidor MySQL
local:
- Crie um bucket no Cloud Storage.
- Faça o upload do arquivo dump SQL para o bucket do Cloud Storage.
Requisitos de formato do arquivo CSV
Os arquivos CSV precisam ter uma linha para cada linha de dados e usar campos separados por vírgula.
Para importar dados para uma instância do Cloud SQL usando um arquivo CSV:
Console
-
No console do Google Cloud, acesse a página Instâncias do Cloud SQL.
- Para abrir a página Visão geral de uma instância, clique no nome da instância.
- Clique em Importar.
- Na seção Escolha o arquivo do qual você quer importar dados, insira o
caminho para o bucket e o arquivo CSV para a importação. Ou acesse o
arquivo:
- Clique em Browse.
- Na seção Local, clique duas vezes no nome do bucket na lista.
- Selecione o arquivo na lista.
- Clique em Selecionar.
É possível importar um arquivo compactado (
.gz
) ou descompactado (.csv
). - Na seção Formato, selecione CSV.
- Especifique o Banco de dados e a Tabela na instância do Cloud SQL em que você quer importar o arquivo CSV.
- Clique em Importar para iniciar a importação.
gcloud
- Criar um bucket do Cloud Storage
Faça upload do arquivo no seu bucket.
Para receber ajuda com o upload de arquivos para buckets, consulte Como fazer upload de objetos.
- Faça upload dos dados do arquivo CSV para o bucket.
- Identifique a conta de serviço da instância do Cloud SQL da qual você está
exportando. É possível fazer isso executando o comando
gcloud sql instances describe
com o nome da instância. Procure o camposerviceAccountEmailAddress
na saída.gcloud sql instances describe INSTANCE_NAME
- Copie o campo serviceAccountEmailAddress.
- Use
gsutil iam
para conceder o papel do IAMstorage.objectAdmin
à conta de serviço da instância do Cloud SQL do bucket. Para ajuda com a configuração de permissões do IAM, consulte Como usar as permissões do Cloud IAM. - Importe o arquivo:
gcloud sql import csv INSTANCE_NAME gs://BUCKET_NAME/FILE_NAME \ --database=DATABASE_NAME \ --table=TABLE_NAME
Para informações sobre como usar o comando
import csv
, consulte a página de referência do comandosql import csv
. - Se não for necessário manter as permissões do IAM
definidas anteriormente, remova-as usando
gsutil iam
.
REST v1
- Criar um bucket do Cloud Storage
Faça upload do arquivo no seu bucket.
Para receber ajuda com o upload de arquivos para buckets, consulte Como fazer upload de objetos.
- Forneça à instância os papéis do IAM
legacyBucketWriter
eobjectViewer
do seu bucket. Para ajuda com a configuração de permissões do IAM, consulte Como usar as permissões do Cloud IAM. - Importe o arquivo:
Antes de usar os dados da solicitação abaixo, faça as substituições a seguir:
- project-id: o ID do projeto
- instance-id: o ID da instância
- bucket_name: o nome do bucket do Cloud Storage
- path_to_csv_file: o caminho para o arquivo CSV
- database_name: o nome de um banco de dados dentro da instância do Cloud SQL
- table_name: o nome da tabela do banco de dados
- escape_character: o caractere que precisa aparecer antes de um caractere de dados que precisa de escape. O valor desse argumento precisa ser um caractere no código ASCII hexadecimal. Por exemplo, "22" representa aspas duplas. (opcional)
- quote_character: o caractere que inclui valores de colunas com um tipo de dados de string. O valor desse argumento precisa ser um caractere no código ASCII hexadecimal. Por exemplo, "22" representa aspas duplas. (opcional)
- fields_terminated_by: o caractere que divide os valores da coluna. O valor desse argumento precisa ser um caractere no código ASCII hexadecimal. Por exemplo, "2C" representa uma vírgula. (opcional)
- lines_terminated_by: o caractere que divide os registros de linha. O valor desse argumento precisa ser um caractere no código ASCII hexadecimal. Por exemplo, "0A" representa uma nova linha. (opcional)
Método HTTP e URL:
POST https://sqladmin.googleapis.com/v1/projects/project-id/instances/instance-id/import
Corpo JSON da solicitação:
{ "importContext": { "fileType": "CSV", "uri": "gs://bucket_name/path_to_csv_file", "database": "database_name", "csvImportOptions": { "table": "table_name", "escapeCharacter": "escape_character", "quoteCharacter": "quote_character", "fieldsTerminatedBy": "fields_terminated_by", "linesTerminatedBy": "lines_terminated_by" } } }
Para enviar a solicitação, expanda uma destas opções:
Você receberá uma resposta JSON semelhante a esta:
Para ver a lista completa de parâmetros dessa solicitação, consulte a página instances:import. - Se você não precisar manter as permissões do Cloud IAM definidas anteriormente, remova-as.
REST v1beta4
- Criar um bucket do Cloud Storage
Faça upload do arquivo no seu bucket.
Para receber ajuda com o upload de arquivos para buckets, consulte Como fazer upload de objetos.
- Forneça à instância o
papel do IAM
storage.objectAdmin
no seu bucket. Para ajuda com a configuração de permissões do IAM, consulte Como usar as permissões do Cloud IAM. - Importe o arquivo:
Antes de usar os dados da solicitação abaixo, faça as substituições a seguir:
- project-id: o ID do projeto
- instance-id: o ID da instância
- bucket_name: o nome do bucket do Cloud Storage
- path_to_csv_file: o caminho para o arquivo CSV
- database_name: o nome de um banco de dados dentro da instância do Cloud SQL
- table_name: o nome da tabela do banco de dados
- escape_character: o caractere que precisa aparecer antes de um caractere de dados que precisa de escape. O valor desse argumento precisa estar no formato ASCII hexadecimal. Por exemplo, "22" representa aspas duplas. (opcional)
- quote_character: o caractere que inclui valores de colunas com um tipo de dados de string. O valor desse argumento precisa estar no formato ASCII hexadecimal. Por exemplo, "22" representa aspas duplas. (opcional)
- fields_terminated_by: o caractere que divide os valores da coluna. O valor desse argumento precisa estar no formato ASCII hexadecimal. Por exemplo, "2C" representa uma vírgula. (opcional)
- lines_terminated_by: o caractere que divide os registros de linha. O valor desse argumento precisa estar no formato ASCII hexadecimal. Por exemplo, "0A" representa uma nova linha. (opcional)
Método HTTP e URL:
POST https://sqladmin.googleapis.com/sql/v1beta4/projects/project-id/instances/instance-id/import
Corpo JSON da solicitação:
{ "importContext": { "fileType": "CSV", "uri": "gs://bucket_name/path_to_csv_file", "database": "database_name", "csvImportOptions": { "table": "table_name", "escapeCharacter": "escape_character", "quoteCharacter": "quote_character", "fieldsTerminatedBy": "fields_terminated_by", "linesTerminatedBy": "lines_terminated_by" } } }
Para enviar a solicitação, expanda uma destas opções:
Você receberá uma resposta JSON semelhante a esta:
Para ver a lista completa de parâmetros dessa solicitação, consulte a página instances:import. - Se você não precisar manter as permissões do Cloud IAM definidas anteriormente, remova-as.
Personalizar o formato de uma importação de arquivo CSV
É possível usar gcloud
ou a API REST para personalizar o formato do arquivo CSV.
Um comando gcloud
de amostra a seguir:
gcloud sql import csv INSTANCE_NAME gs://BUCKET_NAME/FILE_NAME \ --database=DATABASE_NAME \ --table=TABLE_NAME \ --quote="22" \ --escape="5C" \ --fields-terminated-by="2C" \ --lines-terminated-by="0A"
O corpo da solicitação da API REST equivalente seria assim:
{ "importContext": { "fileType": "CSV", "uri": "gs://bucket_name/path_to_csv_file", "database": ["DATABASE_NAME"], "csvImportOptions": { "table": "TABLE_NAME", "escapeCharacter": "5C", "quoteCharacter": "22", "fieldsTerminatedBy": "2C", "linesTerminatedBy": "0A" } } }
Os exemplos de gcloud
e API anteriores são equivalentes à execução
da seguinte instrução SQL:
LOAD DATA LOCAL INFILE ... CHARACTER SET 'utf8mb4'
FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '\"' ESCAPED BY '\\'.
Se você receber um erro como ERROR_RDBMS
, verifique se a
tabela existe. Se a tabela existir, confirme se você tem as permissões
corretas no bucket. Para receber ajuda para configurar o controle de acesso no
Cloud Storage, consulte
Criar e gerenciar listas de controle de acesso.
Próximas etapas
- Saiba como verificar o status de operações de importação e exportação.
- Saiba mais sobre práticas recomendadas para importar e exportar dados.
- Problemas conhecidos em importações e exportações.