Gerenciar o pacote principal do Dataform

Neste documento, mostramos como gerenciar o framework principal do Dataform e o atualize para a versão mais recente.

O Dataform Core é o framework de código aberto do Dataform para desenvolver fluxos de trabalho SQL com SQL, SQLX e JavaScript. Como prática recomendada, use sempre a versão mais recente disponível do framework principal do Dataform. Para informações sobre os lançamentos do framework principal do Dataform, consulte Versões do Dataform no GitHub.

Antes de começar

  1. Crie um repositório.
  2. Crie e inicialize um espaço de trabalho de desenvolvimento.

Funções exigidas

Para ter as permissões necessárias para gerenciar e atualizar o Dataform Core, peça ao administrador para conceder a você os seguintes papéis do IAM:

  • Gerencie o local do pacote principal do Dataform: Administrador do Dataform (roles/dataform.admin) nos repositórios
  • Atualize o pacote principal do Dataform: Editor do Dataform (roles/dataform.editor) nos espaços de trabalho

Para mais informações sobre como conceder papéis, consulte Gerenciar acesso.

Também é possível conseguir as permissões necessárias com papéis personalizados ou outros papéis predefinidos.

Gerenciar o local do pacote principal do Dataform

Quando você inicializa o primeiro espaço de trabalho em um repositório, o Dataform define automaticamente o Dataform Core como um pacote de dependências. A partir do Dataform core 3.0.0, O Dataform instala o pacote principal do Dataform na workflow_settings.yaml por padrão. Em versões anteriores do O Dataform Core foi definido em o arquivo package.json.

No Dataform Core 3.0.0 e posteriores, se o Dataform núcleo for o apenas um pacote no seu repositório, então você deve defini-lo em no arquivo workflow_settings.yaml. Para repositórios criados com do Dataform Core, Mova o pacote principal do Dataform para workflow_settings.yaml.

O arquivo package.json é necessária para instalar pacotes adicionais no Dataform. Se o repositório usar outros pacotes, defina o Pacote principal do Dataform em package.json para que todos os pacotes estão definidos em um só lugar. Se o repositório não tiver package.json, Crie package.json e mova o pacote principal do Dataform para instalar pacotes adicionais.

Mover o núcleo do Dataform para workflow_settings.yaml

Para repositórios criados com versões do Dataform Core anteriores a 3.0.0, se você não tiver pacotes de dependência diferentes do Dataform Core, migre o pacote principal do Dataform de package.json para workflow_settings.yaml e excluir a arquivo package.json.

Para migrar o pacote principal do Dataform de package.json para workflow_settings.yaml, faça o seguinte:

  1. No Console do Google Cloud, acesse a página Dataform.

    Acessar a página do Dataform

  2. Selecione um repositório e depois um espaço de trabalho.

  3. No painel Files, selecione o arquivo workflow_settings.yaml.

  4. No arquivo workflow_settings.yaml, adicione o núcleo do Dataform no seguinte formato:

    dataformCoreVersion: "VERSION"

    Substitua VERSION pela versão mais recente do Dataform. por exemplo, 3.0.0.

  5. No painel Arquivos, clique no menu Mais ao lado de package.json. e clique em Excluir.

  6. Para confirmar a exclusão de dataform.json, clique em Excluir.

  7. Clique em Install packages.

Mover o núcleo do Dataform para package.json

O arquivo package.json é necessário para instalar outros pacotes em um repositório. Se o repositório usar outros pacotes, armazene todos os pacotes, incluindo o pacote principal do Dataform, em package.json.

Se o repositório não contiver o arquivo package.json porque o O pacote principal do Dataform é definido no workflow_settings.yaml, crie o arquivo package.json para instalar pacotes adicionais e, em seguida, mover o núcleo do Dataform de workflow_settings.yaml para o package.json recém-criado.

Para criar o arquivo package.json e mover o do pacote principal do Dataform, siga estas etapas:

  1. No Console do Google Cloud, acesse a página Dataform.

    Acessar a página do Dataform

  2. Selecione um repositório e depois um espaço de trabalho.

  3. No painel Arquivos, clique em addAdd, e clique em Criar arquivo.

  4. No campo Adicionar um caminho de arquivo, insira package.json.

  5. Clique em Criar arquivo.

  6. No arquivo package.json, adicione o núcleo do Dataform no seguinte formato:

    {
    "dependencies": {
        "@dataform/core": "VERSION"
    }
}

    Substitua VERSION pela versão mais recente do Dataform. por exemplo, 3.0.0.

  7. Clique em Install packages.

  8. No painel Arquivos, selecione workflow_settings.yaml.

  9. No arquivo workflow_settings.yaml, exclua a propriedade dataformCoreVersion.

Atualizar o Dataform Core

Sempre teste novas versões de pacote em um ambiente que não seja de produção antes para implantar no ambiente de produção.

Para atualizar o pacote de dependências principal do Dataform, siga estas etapas:

  1. Procure a versão mais recente do @dataform/core no Página de versões do Dataform no GitHub (link em inglês).

  2. No Console do Google Cloud, acesse a página Dataform.

    Acessar a página do Dataform

  3. Selecione um repositório e depois um espaço de trabalho.

  4. No painel Arquivos, selecione o arquivo package.json ou o workflow_settings.yaml.

    O local em que o pacote de dependências principal do Dataform está definido depende da versão do Dataform Core e do uso dos pacotes. Para mais informações, consulte Gerenciar o local do pacote principal do Dataform

  5. Atualizar o pacote de dependências principal do Dataform com a versão mais recente versão:

    package.json

    {
    "dependencies": {
        "@dataform/core": "VERSION"
    }
}

    Substitua VERSION pela versão mais recente do Dataform. por exemplo, 3.0.0. Para evitar problemas com a instalação do pacote, especificar explicitamente a versão do pacote principal do Dataform. Não use outros Opções do dependencies de package.json, por exemplo, >version.

    1. Clique em Install packages.

    workflow_settings.yaml

    dataformCoreVersion: "VERSION"

    Substitua VERSION pela versão mais recente do Dataform. por exemplo, 3.0.0.

    1. Clique em Install packages.

  6. Confirmar alterações.

  7. Envie as alterações para seu repositório.

O exemplo de código a seguir mostra a dependência @dataform/core atualizada para a versão 3.0.0 no arquivo package.json:

{
    "dependencies": {
        "@dataform/core": "3.0.0"
    }
}

A seguir