Migrar ambientes legados e programações

O Dataform legado vai ser descontinuado em 26 de fevereiro de 2024. Após essa data, não vai ser possível acessar os projetos legados. Neste documento, descrevemos maneiras de migrar ambientes e programações do Dataform legado para o Dataform no Google Cloud com configurações de lançamento e fluxo de trabalho.

No Dataform legado, você definiu ambientes e programações juntos no arquivo environments.json.

O exemplo de código a seguir mostra as definições dos ambientes production e staging e as programações correspondentes em um arquivo environments.json do Dataform legado:

// example of an environments.json file

{
  "environments": [
    {
      "name": "production",
      "configOverride": {},
      "schedules": [
        {
          "name": "daily",
          "cron": "30 14 * * *",
          "tags": [
            "daily"
          ]
        },
        {
          "name": "hourly",
          "cron": "*/5 * * * *",
          "disabled": false
        }
      ],
      "gitRef": "master"
    },
    {
      "name": "staging",
      "configOverride": {
        "schemaSuffix": "staging"
      },
      "schedules": [
        {
          "name": "daily (all)",
          "cron": "42 16 * * mon,tue,wed,thu,fri,sat,sun"
        }
      ],
      "gitRef": "master"
    }
  ]
}

No Dataform no Google Cloud, a configuração de ambientes e programações é dividida em duas experiências:

Configurações de versão
Semelhante aos ambientes legados do Dataform, usado para definir configurações de compilação para diferentes ambientes, por exemplo, staging e production.

As configurações de versão permitem configurar substituições de compilação e confirmação do Git para personalizar a criação de resultados de compilação (em inglês). O Dataform cria resultados de compilação a partir de configurações de versão de forma independente das programações de configuração do fluxo de trabalho. Isso significa que execuções programadas de resultados de compilação de configurações de lançamento poderão ser executadas mesmo que seu provedor Git remoto esteja indisponível.

Ao criar uma configuração de versão, é possível definir a frequência de criação dos resultados de compilação. Também é possível criar um resultado de compilação a partir de uma configuração de lançamento manualmente ou em um processo de implantação contínua automatizada.

Configurações do fluxo de trabalho
Equivalente das programações do Dataform legado, usado para programar execuções de resultados de compilação de configurações de versão.

Primeiro, você precisa criar uma configuração de versão e definir as configurações de compilação para um ambiente selecionado, por exemplo, staging. Em seguida, crie uma configuração de fluxo de trabalho e defina a programação de execução dos resultados da compilação staging.

Formas de migrar ambientes e programações

É possível migrar programações e ambientes legados para configurações de lançamento e configurações de fluxo de trabalho das seguintes maneiras:

Defina configurações de versão e fluxo de trabalho no Dataform

Recriar ambientes como configurações de lançamento e programações como configurações de fluxo de trabalho dentro do Dataform no Google Cloud.

Acessar a página do Dataform

Definir configurações de versão e fluxo de trabalho com a API Dataform

Use a API Dataform para definir configurações de versão e de fluxo de trabalho.

Também é possível migrar programações e ambientes legados das seguintes maneiras:

Aplicar uma configuração personalizada ao environments.json usando a API Dataform
É possível manter o arquivo environments.json como seu repositório e configurar um processo de implantação contínua com a ferramenta de sua escolha. No processo de implantação contínua, atualize as configurações de versão e de fluxo de trabalho do arquivo environment.json ao mesclar a ramificação padrão.
Ignorar configurações de versão e fluxo de trabalho
É possível ignorar as configurações de versão e fluxo de trabalho e usar a CLI do Dataform de código aberto, a API Dataform ou a API Dataform com o Cloud Composer ou Fluxos de trabalho para compilar seu repositório e executar fluxos de trabalho.

Migrar alertas de fluxo de trabalho

O Dataform fornece o Cloud Logging para invocações de fluxo de trabalho. Esses registros contêm as informações que podem ser úteis para monitorar e depurar seus fluxos de trabalho:

  • receiveTimestamp
  • release_config_id
  • repository_id
  • resource_container
  • workflow_invocation_id
  • workflow_config_id
  • severity: pode ser INFO, WARNING ou ERROR
  • terminalState: pode ser SUCCEEDED, CANCELED ou FAILED
  • timestamp
  • @type

É possível usar o Cloud Logging com o Cloud Monitoring para configurar alertas semelhantes aos alertas legados.

Com o Cloud Monitoring, é possível configurar as seguintes métricas e alertas:

  • Métricas com base em registros, que podem ser usadas da seguinte maneira:
    • Para criar políticas de alertas que avisem você sobre alterações ao longo do tempo.
    • Para criar gráficos que mostrem mudanças ao longo do tempo.
  • Alertas com base em registros, que notificam você sempre que um evento específico aparece em um registro.

Para mais informações, consulte Ver o Cloud Logging para o Dataform.

A seguir