Migrar ambientes legados e programações

O Dataform legado será descontinuado em 26 de fevereiro de 2024. Depois dessa data, não será mais possível acessar projetos legados. Neste documento, descrevemos maneiras de migrar ambientes e programações do Dataform legado para o Dataform no Google Cloud com configurações de versão e fluxo de trabalho.

No Dataform legado, você definiu ambientes e programações juntos no arquivo environments.json.

O exemplo de código a seguir mostra as definições de ambientes production e staging e as programações correspondentes em um arquivo environments.json do Dataform legado:

// example of an environments.json file

{
  "environments": [
    {
      "name": "production",
      "configOverride": {},
      "schedules": [
        {
          "name": "daily",
          "cron": "30 14 * * *",
          "tags": [
            "daily"
          ]
        },
        {
          "name": "hourly",
          "cron": "*/5 * * * *",
          "disabled": false
        }
      ],
      "gitRef": "master"
    },
    {
      "name": "staging",
      "configOverride": {
        "schemaSuffix": "staging"
      },
      "schedules": [
        {
          "name": "daily (all)",
          "cron": "42 16 * * mon,tue,wed,thu,fri,sat,sun"
        }
      ],
      "gitRef": "master"
    }
  ]
}

No Dataform no Google Cloud, a configuração de ambientes e programações é dividida em duas experiências:

Configurações da versão
Semelhante aos ambientes legados do Dataform, usados para definir configurações de compilação para ambientes diferentes, por exemplo, staging e production.

Com as configurações de versão, é possível configurar a confirmação e as substituições de compilação do Git para personalizar a criação de resultados de compilação. O Dataform cria resultados de compilação a partir de configurações de lançamento de maneira independente das programações de configuração do fluxo de trabalho. Isso significa que execuções programadas de resultados de compilação de configurações de lançamento podem ser executadas mesmo que o provedor Git remoto esteja indisponível.

Ao criar uma configuração de versão, é possível definir a frequência de criação dos resultados de compilação. Também é possível criar um resultado de compilação com base em uma configuração de lançamento manualmente ou em um processo de implantação contínua automatizado.

Configurações do fluxo de trabalho
Equivalente das programações legadas do Dataform, usado para programar execuções de resultados de compilação das configurações de lançamento.

Primeiro, é necessário criar uma configuração de versão e definir as configurações de compilação para um ambiente selecionado, por exemplo, staging. Em seguida, crie uma configuração de fluxo de trabalho e defina a programação de execução dos resultados da compilação staging.

Formas de migrar ambientes e programações

É possível migrar programações e ambientes legados para configurações de lançamento e configurações de fluxo de trabalho das seguintes maneiras:

Defina configurações de versão e fluxo de trabalho no Dataform

Recrie ambientes como configurações de versão e programa como configurações de fluxo de trabalho no Dataform no Google Cloud.

Acessar a página do Dataform

Definir configurações de versão e fluxo de trabalho com a API Dataform

Use a API Dataform para definir configurações de versão e de fluxo de trabalho.

Como alternativa, é possível migrar programações e ambientes legados das seguintes maneiras:

Aplicar a configuração personalizada ao environments.json usando a API Dataform
É possível manter o arquivo environments.json como seu repositório e configurar um processo de implantação contínua com a ferramenta que preferir. No processo de implantação contínua, atualize as configurações de versão e de fluxo de trabalho do arquivo environment.json ao mesclar para a ramificação padrão.
Ignorar configurações de versão e fluxo de trabalho
É possível ignorar as configurações de versão e fluxo de trabalho e usar a CLI do Dataform de código aberto, a API Dataform ou a API Dataform com o Cloud Composer ou Workflows para compilar seu repositório e executar fluxos de trabalho.

Migrar alertas de fluxo de trabalho

O Dataform oferece o Cloud Logging para invocações de fluxo de trabalho. Esses registros contêm as informações que podem ser úteis para monitorar e depurar os fluxos de trabalho:

  • receiveTimestamp
  • release_config_id
  • repository_id
  • resource_container
  • workflow_invocation_id
  • workflow_config_id
  • severity: pode ser INFO, WARNING ou ERROR
  • terminalState: pode ser SUCCEEDED, CANCELED ou FAILED
  • timestamp
  • @type

É possível usar o Cloud Logging com o Cloud Monitoring para configurar alertas semelhantes aos legados.

Com o Cloud Monitoring, é possível configurar as seguintes métricas e alertas:

  • Métricas com base em registros, que podem ser usadas da seguinte maneira:
    • Para criar políticas de alertas que avisem você sobre alterações ao longo do tempo.
    • Para criar gráficos que mostrem mudanças ao longo do tempo.
  • Alertas com base em registros, que notificam você sempre que um evento específico aparece em um registro.

Para mais informações, consulte Visualizar o Cloud Logging para o Dataform

A seguir