Gerenciar macros, preferências e argumentos do ambiente de execução

Esta página explica como configurar preferências, macros e argumentos de ambiente de execução em pipelines do Cloud Data Fusion.

Termos-chave

Macros

As macros são marcadores de posição no plug-in do Cloud Data Fusion personalizadas. Elas são representadas por variáveis dentro de ${ }, como ${input_file_path}. As macros introduzem flexibilidade nos pipelines permitindo que você use valores de espaço reservado, que são substituídos por valores reais em no ambiente de execução. Isso ativa a configuração dinâmica de parâmetros, como caminhos de arquivo e nomes de tabelas.

Preferências

Preferências são configurações predefinidas que se aplicam a vários no Cloud Data Fusion, incluindo o próprio sistema, namespaces, aplicativos (que contêm pipelines) e programas individuais dentro pipelines de dados. As preferências permitem definir valores padrão para os dados mais usados personalizadas. Os padrões podem ser herdados por pipelines e programas com níveis mais baixos de configuração, reduzindo tarefas repetitivas de configuração.

Argumentos de ambiente de execução

Os argumentos do ambiente de execução são pares de chave-valor que fornecem valores para e possivelmente modificar preferências, ao implantar ou executar um pipeline. Eles são altamente personalizáveis, permitindo ajustar as configurações em um por execução de pipeline, sem modificar o pipeline subjacente ou preferências.

Configurar macros

Para usar uma macro no valor de uma propriedade do plug-in, siga estas etapas:

1. No Cloud Data Fusion Studio, acesse o nó do plug-in e clique em Propriedades.
2. Vá para o campo onde deseja usar uma macro e clique no** M** ao lado para o campo.
3. Insira uma chave para a macro. Por exemplo, no plug-in File source propriedades, insira a seguinte chave no campo Format: ${format.type}.

.

Observação :o M que aparece ao lado de um campo de propriedade do plug-in é um botão de alternância que ativa macros. Clique novamente para redefinir o valor padrão do plug-in propriedade.

Definir valores macro

Defina valores para as macros antes de visualizar os dados de um pipeline e de executá-los um pipeline. É possível definir valores de macro nos seguintes locais:

• Plug-ins do setter de argumentos
• Argumentos de ambiente de execução
• Preferências do aplicativo
• Preferências de namespace
• Preferências do sistema

A execução de um pipeline com macros:

• O Cloud Data Fusion primeiro verifica se o pipeline inclui plug-in setter de argumentos:
  • Se tiver um setter de argumentos, o Cloud Data Fusion usará o para macros a partir dele.
  • Se não houver um setter de argumentos ou se houver macros que não são atribuídos no set de argumentos, o Cloud Data Fusion usa os valores dos argumentos do ambiente de execução do pipeline.
• Os argumentos do ambiente de execução herdam as macros das preferências do aplicativo.
• As preferências do aplicativo herdam macros das preferências do namespace
• As preferências de namespace herdam as macros das preferências do sistema.

Exemplos

Um uso comum de macros é em campos de caminho. Em vez de usar caminhos codificados, você pode usar caminhos dinâmicos. Por exemplo, em um plug-in de origem do Cloud Storage, pode substituir o valor do caminho por várias macros. O valor a seguir divide o bucket, pasta e elementos de arquivo: gs://${bucket.name}/${folder}/${file.name}.

O exemplo a seguir carrega dados de um bucket estático e um arquivo com uma que não seja estático, insira o nome do bucket e use uma macro para a nome do arquivo: gs://<BUCKET_NAME>/${folder}/${file.name}.

Configurar preferências

A seção a seguir descreve a hierarquia de preferências, na qual as preferências são definido, herdado ou substituído.

Definir preferências do sistema

Você pode definir preferências para o sistema. Como os nomes das macros devem ser únicos, cada preferência se aplica a todos os pipelines que usam essa macro.

Por exemplo, você tem um pipeline com uma origem de banco de dados e usa macros para a nome do banco de dados e nome de usuário. É possível definir preferências de banco de dados e nome de usuário no preferências do sistema. Cada namespace e pipeline na instância herda essas preferências.

Para definir as preferências do sistema, siga estas etapas:

1. No Studio do Cloud Data Fusion, clique em Administrador do sistema > Configuração.
2. Clique em Sistema. preferências > Editar preferências do sistema.
3. Na caixa de diálogo Preferências, insira novas preferências ou edite as existentes. preferências.
4. Clique em Salvar e fechar. Essas preferências estão disponíveis namespaces, aplicativos e pipelines.

Definir preferências de namespace

É possível definir preferências para namespaces individuais.

Quando você define preferências de namespace, todas as preferências herdadas do sistema são exibidas. Ao definir preferências para um namespace, é possível substituir as preferências herdadas definindo valores diferentes. Também é possível adicionar novas preferências de namespace.

Para definir as preferências de namespace, siga estas etapas:

1. No Studio do Cloud Data Fusion, clique em Administrador do sistema >. Configuração.
2. Clique em Namespaces. e selecione um namespace para abrir a página de configurações correspondente.
3. Para editar as preferências herdadas ou adicionar novas, acesse Preferências e clique em Editar. Uma caixa de diálogo Preferências será aberta. em que é possível inserir uma nova preferência ou substituir o sistema herdado preferências. Clique em <span class="material-icons">add</span> Adicionar e insira a chave e o novo valor da macro.
4. Clique em Salvar e fechar. A preferência de namespace é criada com o novo , que tem precedência sobre a preferência do sistema.

Definir preferências do aplicativo

É possível definir preferências para cada pipeline implantado em um namespace. Quando você define as preferências do aplicativo, todas as preferências herdadas do sistema e do namespace serão exibidas. Ao definir preferências para um aplicativo, é possível modificar preferências definindo valores diferentes ou adicione novas preferências para o aplicativo:

1. No Studio do Cloud Data Fusion, clique em e, depois, no menu Namespace para selecione o namespace em que você quer adicionar as preferências do aplicativo.
2. Clique em Central de controle.
3. Clique no ícone de chave inglesa Definir preferências. A página "Preferências" é exibida lista todas as preferências herdadas.
4. Para editar as preferências herdadas ou adicionar novas, acesse Preferências e clique em Editar. Uma caixa de diálogo Preferências será aberta. em que é possível inserir uma nova preferência ou substituir o sistema herdado preferências. Clique em <span class="material-icons">add</span> Adicionar e insira a chave e o novo valor da macro.
5. Clique em Salvar e fechar. A preferência do aplicativo é criada com o novo valor, que substitui as preferências do sistema ou de namespace. Quando você executar o pipeline implantado, as preferências do aplicativo aparecem como ambiente de execução , que podem ser editados.

Configurar argumentos do ambiente de execução

Configurar argumentos de ambiente de execução para fornecer valores a macros e possivelmente modificar preferências ao implantar ou executar um pipeline.

Argumentos de ambiente de execução para visualização de dados

Para definir os valores de cada macro no pipeline ao visualizar dados na No Cloud Data Fusion Studio, clique em Lista > Configurar.

Argumentos do ambiente de execução para executar pipelines implantados

Se um pipeline incluir macros, depois de implantá-lo, adicione o ambiente de execução , que definem os valores das macros.

Ao implantar um pipeline com macros, clique em Menu suspenso ao lado de Executar para abrir a caixa de diálogo Argumentos do ambiente de execução e definir os valores de cada .

Definir preferências de pipeline

Para definir as preferências de um pipeline, siga estas etapas:

1. No Studio do Cloud Data Fusion, clique em Lista > Implantado e selecione um pipeline implantado para visualizá-lo.
2. Na tela do pipeline, clique em Menu suspenso ao lado de Executar. A caixa de diálogo Argumentos do ambiente de execução é aberta.
3. Na caixa de diálogo Argumentos do ambiente de execução, especifique o valor de cada macro no pipeline.

Visão geral de preferências, macros e argumentos de ambiente de execução

É possível configurar as preferências nos seguintes níveis:

• Preferências do sistema: o nível mais alto em que você define as preferências. como padrões para toda a instância.
• Preferências de namespace: herda preferências de Preferências do sistema preferências. É possível definir preferências para um namespace específico.
• Preferências do aplicativo: herda as preferências do Namespace preferências. Eles podem ser exclusivos para aplicativos individuais (contendo pipelines).
• Argumentos do ambiente de execução: pares de chave-valor que substituem as preferências em mais altos.

Se você definir uma preferência no nível de preferências do sistema, os valores da macro as preferências de namespace e de aplicativo, e argumentos de execução.

Se você definir as preferências no nível do namespace, elas aparecerão na lista de as preferências herdadas das preferências do aplicativo. Se um pipeline usar definida em uma preferência, os argumentos do ambiente de execução usam o valor-chave definido na preferência. Você pode substituir os valores das preferências em cada nível de preferência e em argumentos de ambiente de execução.

Use preferências, macros e argumentos de ambiente de execução para os seguintes casos de uso:

• Como desenvolver um pipeline. Incorporar macros onde você precisa de valores dinâmicos para propriedades do plug-in.
• Opcional: como configurar preferências. Defina valores padrão para as macros em preferências em vários níveis.
• Como implantar e executar um pipeline. Quando você executa um pipeline, o seguinte acontece:
  • Preferências do nível relevante, como as preferências do sistema ou preferências de namespace serão aplicadas.
  • Quaisquer argumentos de ambiente de execução que você fornecer substituem os valores que são atribuídas às macros nas preferências.
  • O Cloud Data Fusion resolve as macros substituindo valores dos argumentos do ambiente de execução (ou preferências, se um argumento de ambiente de execução não é fornecido).

Exemplo

Um pipeline tem um coletor do BigQuery que tem um valor de nome de tabela que precisa mudam dinamicamente. Para fazer essa configuração, faça o seguinte:

1. Defina a macro. Nas propriedades do coletor, use a seguinte macro em No campo Nome da tabela: ${output_table}.
2. **Defina a preferência. **Nas preferências do aplicativo, defina uma preferência para ${output_table} com o seguinte valor padrão: data_staging.
3. Definir o argumento do ambiente de execução. Ao executar o pipeline, forneça uma argumento de execução, por exemplo, output_table=final_analytics_data.

Durante a execução do pipeline, a macro ${output_table}, é substituída por final_analytics_data.