O Dataform Core é o framework de código aberto do Dataform para desenvolver fluxos de trabalho SQL com SQL, SQLX e JavaScript. Como prática recomendada, use sempre a versão mais recente disponível do framework principal do Dataform. Para informações sobre os lançamentos do framework principal do Dataform, consulte Versões do Dataform no GitHub.
Antes de começar
Funções exigidas
Para ter as permissões necessárias para gerenciar e atualizar o Dataform Core, peça ao administrador para conceder a você os seguintes papéis do IAM:
-
Gerencie o local do pacote principal do Dataform:
Administrador do Dataform (
roles/dataform.admin
) nos repositórios -
Atualize o pacote principal do Dataform:
Editor do Dataform (
roles/dataform.editor
) nos espaços de trabalho
Para mais informações sobre como conceder papéis, consulte Gerenciar acesso.
Também é possível conseguir as permissões necessárias com papéis personalizados ou outros papéis predefinidos.
Gerenciar o local do pacote principal do Dataform
Quando você inicializa o primeiro espaço de trabalho em um repositório, o Dataform
define automaticamente o Dataform Core como um pacote de dependências.
A partir do Dataform core 3.0.0
,
O Dataform instala o pacote principal do Dataform na
workflow_settings.yaml
por padrão. Em versões anteriores do
O Dataform Core foi definido em
o arquivo package.json
.
No Dataform Core 3.0.0
e posteriores, se o Dataform núcleo for o
apenas um pacote no seu repositório, então você deve defini-lo em
no arquivo workflow_settings.yaml
. Para repositórios criados com
do Dataform Core,
Mova o pacote principal do Dataform para workflow_settings.yaml
.
O arquivo package.json
é
necessária para instalar pacotes adicionais no Dataform.
Se o repositório usar outros pacotes, defina o
Pacote principal do Dataform em package.json
para que todos os pacotes
estão definidos em um só lugar. Se o repositório não tiver package.json
,
Crie package.json
e mova o pacote principal do Dataform
para instalar pacotes adicionais.
Mover o núcleo do Dataform para workflow_settings.yaml
Para repositórios criados com versões do Dataform Core anteriores a
3.0.0
, se você não tiver pacotes de dependência diferentes do Dataform Core,
migre o pacote principal do Dataform
de package.json
para workflow_settings.yaml
e excluir a
arquivo package.json
.
Para migrar o pacote principal do Dataform de package.json
para
workflow_settings.yaml
, faça o seguinte:
No Console do Google Cloud, acesse a página Dataform.
Selecione um repositório e depois um espaço de trabalho.
No painel Files, selecione o arquivo
workflow_settings.yaml
.No arquivo
workflow_settings.yaml
, adicione o núcleo do Dataform no seguinte formato:dataformCoreVersion: "VERSION"
Substitua VERSION pela versão mais recente do Dataform. por exemplo,
3.0.0
.No painel Arquivos, clique no menu Mais ao lado de
package.json
. e clique em Excluir.Para confirmar a exclusão de
dataform.json
, clique em Excluir.Clique em Install packages.
Mover o núcleo do Dataform para package.json
O arquivo package.json
é necessário para
instalar outros pacotes em um repositório.
Se o repositório usar outros pacotes, armazene todos os pacotes,
incluindo o pacote principal do Dataform, em package.json
.
Se o repositório não contiver o arquivo package.json
porque o
O pacote principal do Dataform é definido no
workflow_settings.yaml
, crie o arquivo package.json
para instalar pacotes adicionais e, em seguida, mover o núcleo do Dataform
de workflow_settings.yaml
para o package.json
recém-criado.
Para criar o arquivo package.json
e mover o
do pacote principal do Dataform, siga estas etapas:
No Console do Google Cloud, acesse a página Dataform.
Selecione um repositório e depois um espaço de trabalho.
No painel Arquivos, clique em addAdd, e clique em Criar arquivo.
No campo Adicionar um caminho de arquivo, insira
package.json
.Clique em Criar arquivo.
No arquivo
package.json
, adicione o núcleo do Dataform no seguinte formato:{ "dependencies": { "@dataform/core": "VERSION" } }
Substitua VERSION pela versão mais recente do Dataform. por exemplo,
3.0.0
.Clique em Install packages.
No painel Arquivos, selecione
workflow_settings.yaml
.No arquivo
workflow_settings.yaml
, exclua a propriedadedataformCoreVersion
.
Atualizar o Dataform Core
Sempre teste novas versões de pacote em um ambiente que não seja de produção antes para implantar no ambiente de produção.
Para atualizar o pacote de dependências principal do Dataform, siga estas etapas:
Procure a versão mais recente do
@dataform/core
no Página de versões do Dataform no GitHub (link em inglês).No Console do Google Cloud, acesse a página Dataform.
Selecione um repositório e depois um espaço de trabalho.
No painel Arquivos, selecione o arquivo
package.json
ou oworkflow_settings.yaml
.O local em que o pacote de dependências principal do Dataform está definido depende da versão do Dataform Core e do uso dos pacotes. Para mais informações, consulte Gerenciar o local do pacote principal do Dataform
Atualizar o pacote de dependências principal do Dataform com a versão mais recente versão:
package.json
{ "dependencies": { "@dataform/core": "VERSION" } }
Substitua VERSION pela versão mais recente do Dataform. por exemplo,
3.0.0
. Para evitar problemas com a instalação do pacote, especificar explicitamente a versão do pacote principal do Dataform. Não use outros Opções dodependencies
depackage.json
, por exemplo,>version
.- Clique em Install packages.
workflow_settings.yaml
dataformCoreVersion: "VERSION"
Substitua VERSION pela versão mais recente do Dataform. por exemplo,
3.0.0
.- Clique em Install packages.
O exemplo de código a seguir mostra a dependência @dataform/core
atualizada para
a versão 3.0.0
no arquivo package.json
:
{
"dependencies": {
"@dataform/core": "3.0.0"
}
}
A seguir
- Para saber mais sobre o arquivo
workflow_settings.yaml
, consulte Defina as configurações do Dataform. - Para saber como instalar pacotes adicionais, consulte Instalar um pacote no Dataform