Gerenciar o pacote principal do Dataform

Este documento mostra como gerenciar o pacote de dependências do framework principal do Dataform e atualizá-lo para a versão mais recente.

O núcleo do Dataform é a estrutura de código aberto do Dataform para desenvolvimento de fluxos de trabalho SQL com SQL, SQLX e JavaScript. Como prática recomendada, sempre use a versão mais recente disponível do framework principal do Dataform. Para informações sobre as versões do framework principal do Dataform, consulte Versões do Dataform no GitHub.

Antes de começar

  1. Crie um repositório.
  2. Crie e inicialize um espaço de trabalho de desenvolvimento.

Funções exigidas

Para receber as permissões necessárias para gerenciar e atualizar o núcleo do Dataform, peça ao administrador para conceder a você os seguintes papéis do IAM:

  • Gerenciar o local do pacote principal do Dataform: Administrador do Dataform (roles/dataform.admin) nos repositórios
  • Atualize o pacote principal do Dataform: Editor do Dataform (roles/dataform.editor) nos espaços de trabalho

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias por meio de papéis personalizados ou de outros papéis predefinidos.

Gerenciar a localização do pacote principal do Dataform

Quando você inicializa o primeiro espaço de trabalho em um repositório, o Dataform define automaticamente o núcleo do Dataform como um pacote de dependência. A partir do núcleo do Dataform 3.0.0, o Dataform instala o pacote principal do Dataform no arquivo workflow_settings.yaml por padrão. Nas versões anteriores do núcleo do Dataform, ele era definido no arquivo package.json.

No Dataform core 3.0.0 e versões mais recentes, se o Dataform core for o único pacote no repositório, defina-o no arquivo workflow_settings.yaml. Para repositórios criados com versões anteriores do núcleo do Dataform, mova o pacote do núcleo do Dataform para workflow_settings.yaml.

O arquivo package.json é necessário para instalar outros pacotes no Dataform. Se o repositório usar outros pacotes, defina o pacote principal do Dataform em package.json para que todos os pacotes sejam definidos em um só lugar. Se o repositório não tiver package.json, crie package.json e mova o pacote principal do Dataform para instalar outros pacotes.

Mover o núcleo do Dataform para workflow_settings.yaml

Para repositórios criados com versões do núcleo do Dataform anteriores a 3.0.0, se você não tiver pacotes de dependência diferentes do núcleo do Dataform, mova o pacote do núcleo do Dataform de package.json para workflow_settings.yaml e exclua o arquivo package.json redundante.

Para migrar o pacote principal do Dataform de package.json para workflow_settings.yaml, faça o seguinte:

  1. No Console do Google Cloud, acesse a página Dataform.

    Acesse a página do Dataform

  2. Selecione um repositório e um espaço de trabalho.

  3. No painel Files, selecione o arquivo workflow_settings.yaml.

  4. No arquivo workflow_settings.yaml, adicione o pacote principal do Dataform no seguinte formato:

    dataformCoreVersion: "VERSION"

    Substitua VERSION pela versão mais recente do Dataform, por exemplo, 3.0.0.

  5. No painel Files, clique no menu More ao lado de package.json e, em seguida, em Delete.

  6. Para confirmar a exclusão de dataform.json, clique em Excluir.

  7. Clique em Instalar pacotes.

Mover o núcleo do Dataform para package.json

O arquivo package.json é necessário para instalar pacotes adicionais em um repositório. Se o repositório usar pacotes adicionais, armazene todos eles, incluindo o pacote principal do Dataform, em package.json.

Se o repositório não tiver o arquivo package.json porque o pacote principal do Dataform estiver definido no arquivo workflow_settings.yaml, crie o arquivo package.json para instalar outros pacotes e mova o pacote principal do Dataform de workflow_settings.yaml para o package.json recém-criado.

Para criar o arquivo package.json e mover o pacote principal do Dataform, siga estas etapas:

  1. No Console do Google Cloud, acesse a página Dataform.

    Acesse a página do Dataform

  2. Selecione um repositório e um espaço de trabalho.

  3. No painel Files, clique em addAdd e, em seguida, em Create file.

  4. No campo Adicionar um caminho de arquivo, insira package.json.

  5. Selecione Criar arquivo.

  6. No arquivo package.json, adicione o pacote principal do Dataform no seguinte formato:

    {
    "dependencies": {
        "@dataform/core": "VERSION"
    }
}

    Substitua VERSION pela versão mais recente do Dataform, por exemplo, 3.0.0.

  7. Clique em Instalar pacotes.

  8. No painel Files, selecione workflow_settings.yaml.

  9. No arquivo workflow_settings.yaml, exclua a propriedade dataformCoreVersion.

Atualizar o núcleo do Dataform

Sempre teste novas versões de pacotes em um ambiente que não seja de produção antes de implantar no ambiente de produção.

Para atualizar o pacote de dependências do núcleo do Dataform, siga estas etapas:

  1. Consulte a versão mais recente de @dataform/core na página de versões do Dataform no GitHub.

  2. No Console do Google Cloud, acesse a página Dataform.

    Acesse a página do Dataform

  3. Selecione um repositório e um espaço de trabalho.

  4. No painel Files, selecione o arquivo package.json ou o workflow_settings.yaml.

    O local em que o pacote de dependência do núcleo do Dataform é definido depende da sua versão do núcleo do Dataform e do uso de pacotes. Para mais informações, consulte Gerenciar o local do pacote principal do Dataform.

  5. Atualize o pacote de dependência principal do Dataform com a versão mais recente:

    package.json

    {
    "dependencies": {
        "@dataform/core": "VERSION"
    }
}

    Substitua VERSION pela versão mais recente do Dataform, por exemplo, 3.0.0. Para evitar problemas com a instalação de pacotes, especifique explicitamente a versão do pacote principal do Dataform. Não use outras opções dependencies de package.json, por exemplo, >version.

    1. Clique em Instalar pacotes.

    workflow_settings.yaml

    dataformCoreVersion: "VERSION"

    Substitua VERSION pela versão mais recente do Dataform, por exemplo, 3.0.0.

    1. Clique em Instalar pacotes.

  6. Confirmar as mudanças.

  7. Enviar as alterações para o repositório.

O exemplo de código a seguir mostra a dependência @dataform/core atualizada para a versão 3.0.0 no arquivo package.json:

{
    "dependencies": {
        "@dataform/core": "3.0.0"
    }
}

A seguir