Esta página explica como definir preferências, macros e argumentos de tempo de execução em pipelines do Cloud Data Fusion.
Palavras-chave
- Macros
- As macros são marcadores de posição nas configurações do plug-in do Cloud Data Fusion. São representados por variáveis incluídas em
${ }, como${input_file_path}. As macros introduzem flexibilidade nos seus pipelines, permitindo-lhe usar valores de marcadores de posição, que são substituídos por valores reais no tempo de execução. Isto permite a configuração dinâmica de parâmetros, como caminhos de ficheiros e nomes de tabelas. - Preferências
- As preferências são configurações predefinidas que se aplicam a vários níveis no Cloud Data Fusion, incluindo o próprio sistema, os espaços de nomes, as aplicações (que contêm pipelines) e os programas individuais nos pipelines. As preferências permitem-lhe definir valores predefinidos para configurações usadas com frequência. As predefinições podem ser herdadas por pipelines e programas em níveis inferiores, o que reduz as tarefas de configuração repetitivas.
- Argumentos de tempo de execução
- Os argumentos de tempo de execução são pares de chave-valor que fornecem valores para macros e, potencialmente, substituem as preferências quando implementa ou executa um pipeline. São altamente personalizáveis, o que lhe permite ajustar as configurações com base em cada execução do pipeline, sem modificar o pipeline subjacente nem as preferências.
Configure macros
Para usar uma macro para um valor de propriedade de um plug-in, siga estes passos:
- No Cloud Data Fusion Studio, aceda ao nó do plug-in e clique em Properties.
- Aceda ao campo onde quer usar uma macro e clique em M junto ao campo.
- Introduza uma chave para a macro. Por exemplo, nas propriedades do plug-in da origem do ficheiro, introduza a seguinte chave no campo Formato:
${format.type}.
Defina valores de macros
Defina valores para macros antes de pré-visualizar dados de um pipeline e antes de executar um pipeline. Pode definir valores de macros nos seguintes locais:
- Plug-ins de definição de argumentos
- Argumentos de tempo de execução
- Preferências da aplicação
- Preferências de espaço de nomes
- Preferências do sistema
A execução de um pipeline com macros faz o seguinte:
- O Cloud Data Fusion verifica primeiro se o pipeline inclui um plug-in de definição de argumentos:
- Se tiver um definidor de argumentos, o Cloud Data Fusion usa os valores das macros a partir dele.
- Se não existir um definidor de argumentos ou se existirem macros que não estejam atribuídas no definidor de argumentos, o Cloud Data Fusion usa os valores nos argumentos de tempo de execução do pipeline.
- Os argumentos de tempo de execução herdam macros das preferências da aplicação.
- As preferências da aplicação herdam macros das preferências do espaço de nomes
- As preferências do espaço de nomes herdam macros das preferências do sistema.
Exemplos
Uma utilização comum das macros é nos campos de caminho. Em vez de usar caminhos codificados,
pode usar caminhos dinâmicos. Por exemplo, num plug-in de origem do Cloud Storage, pode substituir o valor do caminho por várias macros. O seguinte valor divide os elementos de contentor, pasta e ficheiro: gs://${bucket.name}/${folder}/${file.name}.
O exemplo seguinte carrega dados de um contentor estático e de um ficheiro com um nome que não é estático. Introduza o nome do contentor e use uma macro para o nome do ficheiro: gs://<BUCKET_NAME>/${folder}/${file.name}.
Para mais informações, consulte o artigo Macros e funções de macro.
Configure as preferências
A secção seguinte descreve a hierarquia de preferências, onde as preferências são definidas, herdadas ou substituídas.
Defina as preferências do sistema
Pode definir preferências para o sistema. Uma vez que os nomes das macros têm de ser exclusivos, cada preferência aplica-se a todos os pipelines que usam essa macro.
Por exemplo, tem um pipeline com uma origem de base de dados e usa macros para o nome da base de dados e o nome de utilizador. Pode definir as preferências da base de dados e do nome de utilizador nas preferências do sistema. Todos os namespaces e todos os pipelines nessa instância herdam essas preferências.
Para definir as preferências do sistema, siga estes passos:
- No Cloud Data Fusion Studio, clique em Administrador do sistema > Configuração.
- Clique em Preferências do sistema > Editar preferências do sistema.
- Na caixa de diálogo Preferências, introduza novas preferências ou edite as existentes.
- Clique em Guardar e fechar. Estas preferências estão disponíveis em todos os espaços de nomes, aplicações e pipelines.
Defina as preferências do espaço de nomes
Pode definir preferências para espaços de nomes individuais.
Quando define preferências de espaço de nomes, são apresentadas todas as preferências do sistema herdadas. Quando define preferências para um espaço de nomes, pode substituir as preferências herdadas definindo valores diferentes. Também pode adicionar novas preferências de espaço de nomes.
Para definir as preferências de espaço de nomes, siga estes passos:
- No Cloud Data Fusion Studio, clique em Administrador do sistema > Configuração.
- Clique em Namespaces e selecione um espaço de nomes para abrir a respetiva página de configurações.
- Para editar as preferências herdadas ou adicionar novas preferências, aceda ao separador Preferências e clique em Editar. É aberta uma caixa de diálogo Preferências, onde pode introduzir uma nova preferência ou substituir as preferências do sistema herdadas. Clique em Adicionar e introduza a chave e o novo valor para a macro.
- Clique em Guardar e fechar. A preferência de espaço de nomes é criada com o novo valor, que tem precedência sobre a preferência do sistema.
Defina as preferências da aplicação
Pode definir preferências para cada pipeline implementado num espaço de nomes. Quando define as preferências da aplicação, são apresentadas todas as preferências de sistema e espaço de nomes herdadas. Quando define preferências para uma aplicação, pode substituir as preferências herdadas definindo valores diferentes ou adicionar novas preferências para a aplicação:
- No Cloud Data Fusion Studio, clique em e, de seguida, no menu Namespace para selecionar o espaço de nomes onde quer adicionar preferências da aplicação.
- Clique em Centro de controlo.
- Clique no ícone de chave inglesa Definir preferências. É apresentada uma lista de todas as preferências herdadas.
- Para editar as preferências herdadas ou adicionar novas preferências, aceda ao separador Preferências e clique em Editar. É aberta uma caixa de diálogo Preferências, onde pode introduzir uma nova preferência ou substituir as preferências do sistema herdadas. Clique em Adicionar e introduza a chave e o novo valor para a macro.
- Clique em Guardar e fechar. A preferência da aplicação é criada com o novo valor, que substitui as preferências do sistema ou do espaço de nomes. Quando executa o pipeline implementado, as preferências da aplicação aparecem como argumentos de tempo de execução, que pode editar opcionalmente.
Configure argumentos de tempo de execução
Configure argumentos de tempo de execução para fornecer valores para macros e, potencialmente, substituir preferências quando implementar ou executar um pipeline.
Argumentos de tempo de execução para pré-visualizar dados
Para definir os valores de cada macro no pipeline quando pré-visualiza os dados no Cloud Data Fusion Studio, clique em Lista > Configurar.
Argumentos de tempo de execução para executar pipelines implementados
Se um pipeline incluir macros, depois de implementar um pipeline, adiciona argumentos de tempo de execução, que definem os valores das macros.
Quando implementa um pipeline com macros, clique no menu pendente junto a Executar para abrir a caixa de diálogo Argumentos de tempo de execução e defina os valores para cada macro.
Defina as preferências de tubagens
Para definir preferências para um pipeline, siga estes passos:
- No Cloud Data Fusion Studio, clique em Lista > Implementado e selecione um pipeline implementado para o ver.
- Na tela de pipeline, clique no menu pendente junto a Executar. É apresentada a caixa de diálogo Argumentos de tempo de execução.
- Na caixa de diálogo Argumentos de tempo de execução apresentada, especifique o valor de cada macro no pipeline.
Vista geral das preferências, macros e argumentos de tempo de execução
Pode configurar preferências nos seguintes níveis:
- Preferências do sistema: o nível mais elevado onde define preferências, como predefinições, para toda a instância.
- Preferências do espaço de nomes: herda as preferências das Preferências do sistema. Pode definir preferências para um espaço de nomes específico.
- Preferências da aplicação: herda as preferências do Namespace preferences. Podem ser exclusivos de aplicações individuais (contendo pipelines).
- Argumentos de tempo de execução: pares de chave-valor que substituem as preferências em níveis superiores.
Se definir uma preferência ao nível das preferências do sistema, os valores das macros são preenchidos automaticamente nas preferências do espaço de nomes, nas preferências da aplicação e nos argumentos de tempo de execução.
Se definir preferências ao nível do espaço de nomes, estas aparecem na lista de preferências herdadas nas preferências da aplicação. Se um pipeline usar uma macro definida numa preferência, os argumentos de tempo de execução usam o par de chave-valor definido na preferência. Pode substituir os valores das preferências em cada nível de preferência e nos argumentos de tempo de execução.
Use preferências, macros e argumentos de tempo de execução para os seguintes exemplos de utilização:
- Desenvolver um pipeline. Incorpore macros onde precisa de valores dinâmicos para as propriedades do plug-in.
- Opcional: definir preferências. Definir valores predefinidos para as macros nas preferências em vários níveis.
- Implementar e executar um pipeline. Quando executa um pipeline, acontece o seguinte:
- São aplicadas as preferências do nível relevante, como as preferências do sistema ou as preferências do espaço de nomes.
- Todos os argumentos de tempo de execução que fornecer substituem os valores atribuídos às macros nas preferências.
- O Cloud Data Fusion resolve as macros substituindo os respetivos valores pelos argumentos de tempo de execução (ou preferências, se não for fornecido um argumento de tempo de execução).
Exemplo
Um pipeline tem um destino do BigQuery com um valor de nome da tabela que tem de mudar dinamicamente. Para configurar esta opção, faça o seguinte:
- Defina a macro. Nas propriedades do destino, use a seguinte macro no campo Nome da tabela:
${output_table}. - Defina a preferência. Nas preferências da aplicação, defina uma preferência
para
${output_table}com o seguinte valor predefinido:data_staging. - Defina o argumento de tempo de execução. Quando executar o pipeline, forneça um argumento de tempo de execução, por exemplo,
output_table=final_analytics_data.
Durante a execução do pipeline, a macro ${output_table}, é substituída por final_analytics_data.