Nesta página, descrevemos como programar as exportações dos dados do Firestore no modo Datastore. Para executar exportações em uma programação, recomendamos o uso de funções do Cloud Run e do Cloud Scheduler. Crie uma Função do Cloud que inicie exportações e use o Cloud Scheduler para executar a função.
Antes de começar
Antes de programar exportações de dados, é preciso concluir as seguintes tarefas:
- Ative o faturamento para o projeto do Google Cloud. Apenas projetos do Google Cloud com faturamento ativado podem usar o recurso de exportação e importação.
- Crie um bucket do Cloud Storage em um local próximo ao local do banco de dados do modo Datastore. As operações de exportação exigem um bucket de destino do Cloud Storage. Não é possível usar um bucket de pagamentos do solicitante para operações de exportação.
Criar um job do Cloud Function e Cloud Scheduler
Siga as etapas abaixo para criar uma Função do Cloud que inicie exportações de dados e um job do Cloud Scheduler para chamar essa função:
Criar uma Função do Cloud datastore_export
-
Acesse a página do Cloud Functions no console do Google Cloud.
- Clique em Criar função.
- Insira um nome de função como
datastoreExport
- Em Gatilho, selecione Cloud Pub/Sub O Cloud Scheduler usa o tópico do Pub/Sub para chamar a função.
- No campo Tópico, selecione Criar um tópico. Digite um nome para
o tópico Pub/Sub, por exemplo,
startDatastoreExport
. Anote o nome do tópico, conforme necessário para criar o job no Cloud Scheduler. - Em Código-fonte, selecione Editor integrado.
- Na lista suspensa Ambiente de execução, selecione Python 3.7.
- Digite o seguinte código para
main.py
: - Em
requirements.txt
, adicione a seguinte dependência: - Em Ponto de entrada, insira
datastore_export
, o nome da função emmain.py
. - Clique em Implantar para implantar a função do Cloud.
Configurar as permissões de acesso
Em seguida, conceda permissão ao Cloud Function para iniciar operações de exportação e gravar no bucket do Cloud Storage.
Esta função do Cloud usa a conta de serviço padrão do projeto para autenticar e autorizar as operações de exportação. Quando um projeto é criado, uma conta de serviço padrão é criada para você com o seguinte nome:
project_id@appspot.gserviceaccount.com
Essa conta de serviço precisa de permissão para iniciar operações de exportação e gravar no bucket do Cloud Storage. Para conceder essas permissões, atribua os seguintes papéis de IAM à conta de serviço padrão:
Cloud Datastore Import Export Admin
- Papel
Storage Object User
no bucket
Use a CLI do Google Cloud para atribuir essas funções. Você pode acessar isso
ferramenta do Cloud Shell no console do Google Cloud:
Iniciar o Cloud Shell
-
Atribua o papel Administrador de exportação e importação do Cloud Datastore. Substitua project_id e execute o seguinte comando:
gcloud projects add-iam-policy-binding project_id \ --member serviceAccount:project_id@appspot.gserviceaccount.com \ --role roles/datastore.importExportAdmin
-
Atribua o papel Usuário do objeto do Storage ao bucket. Substitua bucket_name e project_id e execute o seguinte comando:
gcloud storage buckets add-iam-policy-binding gs://bucket_name \ --member=serviceAccount:project_id@appspot.gserviceaccount.com \ --role=roles/storage.objectUser
Criar um job do Cloud Scheduler
Em seguida, crie um job do Cloud Scheduler que chame a função do
Cloud datastore_export
:
Acesse a página Cloud Scheduler no console do Google Cloud:
Clique em Criar job.
Insira um Nome para o job, como
scheduledDatastoreExport
.Insira uma Frequência no formato unix-cron.
Selecione um Fuso horário.
Em Destino, selecione Pub/Sub. No campo Tópico, insira o nome do tópico Pub/Sub que você definiu com a função do Cloud,
startDatastoreExport
no exemplo acima.No campo Payload, insira um objeto JSON para configurar a operação de exportação. A função do Cloud
datastore_export
requer um valorbucket
. Também é possível incluir valoreskinds
ounamespaceIDs
para definir um filtro de entidade, por exemplo:Exportar todas as entidades
{ "bucket": "gs://bucket_name" }
Exportar com filtro de entidade
Exportar entidades do tipo
User
ouTask
de todos os namespaces:{ "bucket": "gs://bucket_name", "kinds": ["User", "Task"] }
Exportar entidades do tipo
User
ouTask
dos namespaces padrão eTesters
. Use uma string vazia (""
) para especificar o namespace padrão:{ "bucket": "gs://bucket_name", "kinds": ["User", "Task"], "namespaceIds": ["", "Testers"] }
Exportar entidades de qualquer tipo dos namespaces padrão e
Testers
. Use uma string vazia (""
) para especificar o namespace padrão:{ "bucket": "gs://bucket_name", "namespaceIds": ["", "Testers"] }
Sendo
bucket_name
o nome do bucket do Cloud Storage.Clique em Criar.
Testar suas exportações programadas
Para testar o job do Cloud Function e do Cloud Scheduler, execute-o na página Cloud Scheduler do console do Google Cloud. Se for bem-sucedido, isso iniciará uma operação de exportação real.
Vá para a página Cloud Scheduler no Console do Google Cloud.
Acessar o Cloud SchedulerNa linha do novo job do Cloud Scheduler, clique em Executar agora.
Após alguns segundos, clique em Atualizar. O job do Cloud Scheduler deverá atualizar a coluna de resultados para Sucesso e a Última execução para o horário atual.
A página do Cloud Scheduler confirma apenas que o job enviou uma mensagem para o tópico do Pub/Sub. Para ver se a solicitação de exportação foi bem-sucedida, veja os registros da sua Função do Cloud.
Exibir os registros da função do Cloud
Para ver se a função do Cloud iniciou uma operação de exportação, faça o seguinte: consulte a página Análise de registros no console do Google Cloud.
Acessar o Explorador de registros
O registro do Cloud Function relata erros e iniciações de exportação bem-sucedidas.
Ver progresso da exportação
É possível usar o comando gcloud datastore operations list
para ver o
progresso das operações de exportação. Consulte
como listar todas as operações de longa duração.
Após a conclusão de uma operação de exportação, será possível visualizar os arquivos de saída no bucket do Cloud Storage: O serviço de exportação gerenciado usa um carimbo de data/hora para organizar suas operações de exportação: