Esta página explica como definir preferências, macros e argumentos de execução em pipelines do Cloud Data Fusion.
Termos-chave
- Macros
- Macros são marcadores de posição nas configurações do plug-in do Cloud Data Fusion. Elas são representadas por variáveis dentro de
${ }, como:${input_file_path}. As macros introduzem flexibilidade nos pipelines, permitindo o uso de valores de marcador de posição, que são substituídos por valores reais no momento da execução. Isso permite a configuração dinâmica de parâmetros, como caminhos de arquivo e nomes de tabela. - Preferências
- Preferências são configurações predefinidas que se aplicam a vários no Cloud Data Fusion, incluindo o próprio sistema, namespaces, aplicativos (que contêm pipelines) e programas individuais dentro pipelines de dados. As preferências permitem definir valores padrão para configurações usadas com frequência. Os padrões podem ser herdados por pipelines e programas com níveis mais baixos de configuração, reduzindo tarefas repetitivas de configuração.
- Argumentos de ambiente de execução
- Os argumentos de execução são pares de chave-valor que fornecem valores para macros e podem substituir preferências quando você implanta ou executa um pipeline. Eles são altamente personalizáveis, permitindo ajustar as configurações em um por execução de pipeline, sem modificar o pipeline subjacente ou preferências.
Configurar macros
Para usar uma macro para um valor de propriedade do plug-in, siga estas etapas:
- No Cloud Data Fusion Studio, acesse o nó do plug-in e clique em Propriedades.
- Vá para o campo onde deseja usar uma macro e clique no** M** ao lado para o campo.
- Insira uma chave para a macro. Por exemplo, nas propriedades do plug-in da origem do arquivo,
insira a seguinte chave no campo "Formato":
${format.type}.
Definir valores de macros
Defina valores para macros antes de visualizar os dados de um pipeline e antes de executá-lo. É possível definir valores de macro nos seguintes locais:
- Plug-ins de definição de argumentos
- Argumentos de ambiente de execução
- Preferências do aplicativo
- Preferências de namespace
- Preferências do sistema
A execução de um pipeline com macros faz o seguinte:
- O Cloud Data Fusion primeiro verifica se o pipeline inclui um
plug-in de definição de argumento:
- Se tiver um definidor de argumentos, o Cloud Data Fusion vai usar os valores das macros dele.
- Se não houver um setter de argumentos ou se houver macros que não são atribuídos no set de argumentos, o Cloud Data Fusion usa os valores dos argumentos do ambiente de execução do pipeline.
- Os argumentos de ambiente de execução herdam macros das preferências do aplicativo.
- As preferências do aplicativo herdam macros das preferências do namespace
- As preferências do namespace herdam macros das preferências do sistema.
Exemplos
Um uso comum de macros é em campos de caminho. Em vez de usar caminhos codificados,
você pode usar caminhos dinâmicos. Por exemplo, em um plug-in de origem do Cloud Storage, é possível
substituir o valor do caminho por várias macros. O valor a seguir divide o
bucket, pasta e elemento de arquivo: gs://${bucket.name}/${folder}/${file.name}.
O exemplo a seguir carrega dados de um bucket estático e um arquivo com uma
que não seja estático, insira o nome do bucket e use uma macro para a
nome do arquivo: gs://<BUCKET_NAME>/${folder}/${file.name}.
Configurar preferências
A seção a seguir descreve a hierarquia de preferências, na qual as preferências são definido, herdado ou substituído.
Definir preferências do sistema
É possível definir preferências para o sistema. Como os nomes de macros precisam ser exclusivos, cada preferência se aplica a todos os pipelines que usam essa macro.
Por exemplo, você tem um pipeline com uma origem de banco de dados e usa macros para o nome e o nome de usuário do banco de dados. É possível definir as preferências de banco de dados e de nome de usuário nas preferências do sistema. Cada namespace e pipeline na instância herda essas preferências.
Para definir as preferências do sistema, siga estas etapas:
- No Studio do Cloud Data Fusion, clique em Administrador do sistema > Configuração.
- Clique em Sistema. preferências > Editar preferências do sistema.
- Na caixa de diálogo Preferences, insira novas preferências ou edite as existentes.
- Clique em Salvar e fechar. Essas preferências estão disponíveis namespaces, aplicativos e pipelines.
Definir preferências de namespace
É possível definir preferências para namespaces individuais.
Quando você define preferências de namespace, todas as preferências de sistema herdadas são mostradas. Ao definir preferências para um namespace, é possível substituir as preferências herdadas definindo valores diferentes. Também é possível adicionar novas preferências de namespace.
Para definir as preferências de namespace, siga estas etapas:
- No Studio do Cloud Data Fusion, clique em Administrador do sistema >. Configuração.
- Clique em Namespaces. e selecione um namespace para abrir a página de configurações correspondente.
- Para editar as preferências herdadas ou adicionar novas, acesse a
guia "Preferências" e clique em Editar. Uma caixa de diálogo Preferências será aberta.
em que é possível inserir uma nova preferência ou substituir o sistema herdado
preferências. Clique em
<span class="material-icons">add</span>Adicionar e digite a chave e o novo valor da macro. - Clique em Salvar e fechar. A preferência de namespace é criada com o novo valor, que tem precedência sobre a preferência do sistema.
Definir preferências do aplicativo
É possível definir preferências para cada pipeline implantado em um namespace. Quando você define as preferências do aplicativo, todas as preferências herdadas do sistema e do namespace serão exibidas. Ao definir preferências para um aplicativo, é possível substituir as preferências herdadas definindo valores diferentes ou adicionar novas preferências ao aplicativo:
- No Studio do Cloud Data Fusion, clique em e, depois, no menu Namespace para selecione o namespace em que você quer adicionar as preferências do aplicativo.
- Clique em Central de controle.
- Clique no ícone de chave inglesa Definir preferências. A página "Preferências" aparece e lista todas as preferências herdadas.
- Para editar as preferências herdadas ou adicionar novas, acesse
Preferências e clique em Editar. Uma caixa de diálogo Preferences será aberta
para que você possa inserir uma nova preferência ou substituir as preferências
herdadas do sistema. Clique em
<span class="material-icons">add</span>Adicionar e digite a chave e o novo valor da macro. - Clique em Salvar e fechar. A preferência do aplicativo é criada com o novo valor, que substitui as preferências do sistema ou do namespace. Quando você executa o pipeline implantado, as preferências do aplicativo aparecem como argumentos de tempo de execução, que podem ser editados.
Configurar argumentos do ambiente de execução
Configurar argumentos de ambiente de execução para fornecer valores a macros e possivelmente substituir preferências ao implantar ou executar um pipeline.
Argumentos de ambiente de execução para visualização de dados
Para definir os valores de cada macro no pipeline ao visualizar dados na No Cloud Data Fusion Studio, clique em Lista > Configurar.
Argumentos do ambiente de execução para executar pipelines implantados
Se um pipeline incluir macros, depois de implantá-lo, adicione o ambiente de execução , que definem os valores das macros.
Ao implantar um pipeline com macros, clique em Menu suspenso ao lado de Executar para abrir a caixa de diálogo Argumentos do ambiente de execução e definir os valores de cada .
Definir preferências de pipeline
Para definir as preferências de um pipeline, siga estas etapas:
- No Cloud Data Fusion Studio, clique em List > Deployed e selecione um pipeline implantado para visualizá-lo.
- Na tela do pipeline, clique no menu suspenso ao lado de Run. A caixa de diálogo Argumentos de execução será aberta.
- Na caixa de diálogo Argumentos de execução que é aberta, especifique o valor de cada macro no pipeline.
Visão geral de preferências, macros e argumentos de execução
É possível configurar as preferências nos seguintes níveis:
- Preferências do sistema: o nível mais alto em que você define as preferências. como padrões para toda a instância.
- Preferências de namespace: herda preferências de Preferências do sistema preferências. É possível definir preferências para um namespace específico.
- Preferências do aplicativo: herda as preferências do Namespace preferências. Eles podem ser exclusivos para aplicativos individuais (que contêm pipelines).
- Argumentos do ambiente de execução: pares de chave-valor que substituem as preferências em mais altos.
Se você definir uma preferência no nível das preferências do sistema, os valores da macro vão ser preenchidos automaticamente nas preferências de namespace, de aplicativo e nos argumentos de execução.
Se você definir preferências no nível do namespace, elas vão aparecer na lista de preferências herdadas nas preferências do aplicativo. Se um pipeline usa uma macro definida em uma preferência, os argumentos de execução usam o par de chave-valor definido na preferência. Você pode substituir os valores das preferências em cada nível de preferência e em argumentos de ambiente de execução.
Use preferências, macros e argumentos de ambiente de execução para os seguintes casos de uso:
- Como desenvolver um pipeline. Incorpore macros onde você precisa de valores dinâmicos para propriedades do plug-in.
- Opcional: como configurar preferências. Defina valores padrão para as macros em preferências em vários níveis.
- Implantar e executar um pipeline. Quando você executa um pipeline,
o seguinte acontece:
- Preferências do nível relevante, como as preferências do sistema ou preferências de namespace serão aplicadas.
- Quaisquer argumentos de ambiente de execução que você fornecer substituem os valores que são atribuídas às macros nas preferências.
- O Cloud Data Fusion resolve as macros substituindo valores dos argumentos do ambiente de execução (ou preferências, se um argumento de ambiente de execução não é fornecido).
Exemplo
Um pipeline tem um coletor do BigQuery que tem um valor de nome de tabela que precisa mudar dinamicamente. Para fazer essa configuração, faça o seguinte:
- Defina a macro. Nas propriedades do sink, use a seguinte macro no campo Nome da tabela:
${output_table}. - **Defina a preferência. **Nas preferências do aplicativo, defina uma preferência
para
${output_table}com o seguinte valor padrão:data_staging. - Defina o argumento de execução. Ao executar o pipeline, forneça um
argumento de execução, por exemplo,
output_table=final_analytics_data.
Durante a execução do pipeline, a macro ${output_table}, é substituída por
final_analytics_data.