Usar o bucket de um ambiente personalizado

Cloud Composer 1 | Cloud Composer 2

No Cloud Composer 2, é possível especificar um bucket personalizado do Cloud Storage como o bucket de um ambiente ao criar um ambiente. Seu ambiente usa esse bucket da mesma maneira que o bucket do ambiente padrão, e o bucket do ambiente padrão não é criado.

Com o bucket de um ambiente personalizado, é possível:

  • Use uma configuração de bucket que obedeça aos seus requisitos.
  • Use um bucket contínuo para fins periódicos de desenvolvimento ou teste.
  • Reutilizar um bucket de um ambiente anterior e manter as integrações de CI/CD e dados.
  • Exclua e recrie um ambiente sem a necessidade de transferir dados entre buckets.
  • Preencha previamente o bucket personalizado com os dados necessários, como os arquivos DAG, e crie um ambiente.

Antes de começar

  • Esse recurso é compatível a partir do Cloud Composer versão 2.5.0. As versões anteriores do Cloud Composer 2 não são compatíveis com esse recurso.
  • O bucket personalizado precisa estar localizado na mesma região que o ambiente. Buckets multirregionais e birregionais não são aceitos.
  • O bucket personalizado e o ambiente precisam estar no mesmo projeto.
  • O bucket personalizado precisa ter a classe de armazenamento padrão.

  • O bucket personalizado não pode ter políticas de retenção ou bloqueios de políticas de retenção aplicados a ele.

  • Não é possível usar o mesmo bucket personalizado com vários ambientes ao mesmo tempo. O Cloud Composer gera um erro se o bucket especificado já estiver sendo usado por outro ambiente. É possível excluir um ambiente e usar o mesmo bucket em outro.

Criar um ambiente com um bucket personalizado do Cloud Storage

Console

Para especificar um bucket personalizado do Cloud Storage ao criar um ambiente:

  1. Na página Criar ambiente, na seção Configuração avançada, clique em Mostrar configuração avançada.
  2. Selecione Bucket personalizado.
  3. No campo Nome do bucket, especifique ou selecione um bucket.

gcloud

Quando você cria um ambiente, o argumento --storage-bucket especifica o bucket de um ambiente personalizado.

gcloud composer environments create ENVIRONMENT_NAME \
    --location LOCATION \
    --storage-bucket CUSTOM_STORAGE_BUCKET

Substitua:

  • ENVIRONMENT_NAME: o nome do ambiente;
  • LOCATION: a região em que o ambiente está localizado.
  • CUSTOM_STORAGE_BUCKET: o nome de um bucket do Cloud Storage. Também é possível especificar o URI do bucket com o prefixo gs://.

Exemplo:

gcloud composer environments create example-environment \
    --location us-cental1 \
    --storage-bucket us-central1-example-bucket

API

Ao criar um ambiente, em Ambiente > StorageConfig, especifique um bucket personalizado para o ambiente.

{
  "name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
  "storageConfig": {
    "bucket": "CUSTOM_STORAGE_BUCKET"
  }
}

Substitua:

  • PROJECT_ID: o ID do projeto.
  • LOCATION: a região em que o ambiente está localizado.
  • ENVIRONMENT_NAME: o nome do ambiente;
  • CUSTOM_STORAGE_BUCKET: o nome de um bucket do Cloud Storage (sem o prefixo gs://).

Exemplo:

// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments

{
  "name": "projects/example-project/locations/us-central1/environments/example-environment",
  "storageConfig": {
    "bucket": "us-central1-example-bucket"
  }
}

A seguir