Faça a gestão da administração do Studio

Esta página explica as capacidades de administração que o Cloud Data Fusion Studio oferece para gerir configurações. O Cloud Data Fusion segue uma hierarquia, em que cada instância pode ter vários namespaces. No Cloud Data Fusion Studio, os administradores podem gerir centralmente todos os namespaces ou geri-los individualmente. O Cloud Data Fusion Studio oferece os seguintes controlos de sistema e espaço de nomes.

Administração de sistemas

Se clicar em Administrador do sistema no Cloud Data Fusion Studio, são apresentados os seguintes separadores:

  • O separador Gestão: veja o estado de funcionamento de vários serviços do Cloud Data Fusion. Também pode ver registos para cada um dos serviços.

  • O separador Configuração: crie, veja e edite os seguintes controlos:

Os fornecedores são responsáveis pela criação, inicialização e destruição do ambiente de nuvem no qual os pipelines são executados. Cada aprovisionador expõe um conjunto de configurações que são usadas para controlar o tipo de cluster criado e eliminado. Os diferentes aprovisionadores criam diferentes tipos de clusters.

Cada perfil de computação tem um âmbito: sistema ou utilizador. Pode usar um perfil de computação do sistema para todos os espaços de nomes abaixo. Os perfis de computação do utilizador existem num espaço de nomes e apenas os pipelines nesse espaço de nomes podem usar os perfis de computação do utilizador.

No separador Configurações do administrador do sistema, pode criar um perfil de computação do sistema que é aplicado a todos os espaços de nomes. O Cloud Data Fusion atribui um perfil de computação predefinido.

Quando cria um perfil de computação, seleciona o aprovisionador que o perfil usa para criar e configurar os detalhes de tempo de execução na nuvem.

Preferências do sistema

As preferências são configurações predefinidas que se aplicam a vários níveis no Cloud Data Fusion, incluindo o próprio sistema, os espaços de nomes, as aplicações (que contêm pipelines) e os programas individuais nos pipelines. As preferências permitem predefinir valores para configurações usadas frequentemente. Estes valores predefinidos podem ser herdados por pipelines e programas em níveis inferiores, o que reduz as tarefas de configuração repetitivas. Para mais informações, consulte o artigo Faça a gestão de macros, preferências e argumentos de tempo de execução.

Ação de chamada HTTP

A ação de chamada HTTP na página Administrador do sistema permite-lhe interagir com a própria API do Cloud Data Fusion ou, potencialmente, com outras APIs de Google Cloud serviços diretamente a partir da interface do Cloud Data Fusion Studio. No entanto, para criar pipelines de processamento de dados com origens de dados externas, use o plug-in HTTP e o respetivo executor de chamadas HTTP nos pipelines para uma solução mais abrangente. Difere ligeiramente da ação de chamada HTTP, mas os conceitos subjacentes são semelhantes.

Configurações e exemplos de utilização

A ação de chamada HTTP é usada principalmente para tarefas administrativas ou fins de configuração no Cloud Data Fusion. Permite-lhe interagir com a API Cloud Data Fusion ou outros Google Cloud serviços que expõem uma API HTTP, diretamente a partir do Cloud Data Fusion Studio.

Configurações

Pode definir os seguintes detalhes para uma chamada HTTP:

  • URL: o ponto final de destino do serviço Web que quer chamar.
  • Método: o método HTTP a usar, como GET, POST ou PUT.
  • Opcional: Cabeçalhos: quaisquer cabeçalhos personalizados necessários para o pedido.
  • Opcional: corpo: dados a enviar no corpo do pedido, como para chamadas POST e PUT.

Em seguida, pode executar a chamada HTTP definida e ver a resposta do serviço Web no Cloud Data Fusion Studio.

Exemplos de utilização
  • Teste chamadas da API Cloud Data Fusion. Pode usar a ação de chamada HTTP para testar ou explorar as funcionalidades da API Cloud Data Fusion diretamente a partir da interface Web. Esta ação pode ser útil para compreender o comportamento da API ou resolver potenciais problemas.
  • Faça a gestão dos espaços de nomes (avançado). Embora exista uma IU dedicada para a gestão do espaço de nomes, a ação de chamada HTTP pode ser usada para tarefas avançadas fazendo chamadas diretamente para a API Cloud Data Fusion para a criação, a eliminação ou a configuração do espaço de nomes.
  • Interagir com outros Google Cloud serviços (limitado). Se outros Google Cloud serviços que usa tiverem uma API HTTP documentada publicamente, pode usar a ação de chamada HTTP para interagir com esses serviços, embora seja um exemplo de utilização pouco comum.
Aspetos a ter em conta
  • Segurança: tenha cuidado ao usar a ação de chamada HTTP, especialmente com dados confidenciais ou chamadas da API Cloud Data Fusion que possam afetar o seu ambiente. Certifique-se de que compreende as implicações de cada chamada API antes de a executar.
  • Limitações: a ação de chamada HTTP destina-se principalmente a tarefas administrativas e fins de teste. Não foi concebido para criar pipelines de processamento de dados complexos que envolvam a manipulação de dados no Cloud Data Fusion.
  • Alternativa para pipelines: para integrar origens de dados externas ou serviços nos seus pipelines de dados, use o plug-in HTTP e o executor de chamadas HTTP associado nas definições do pipeline. Isto oferece uma forma mais robusta e controlada de gerir as interações HTTP nos seus fluxos de trabalho de processamento de dados.

Administração do espaço de nomes

Se clicar em Administrador do espaço de nomes no Cloud Data Fusion Studio, pode gerir as configurações do espaço de nomes específico. Para cada espaço de nomes, pode definir os seguintes aspetos:

  • Perfis de computação: os perfis configurados na administração do espaço de nomes são perfis de computação de utilizador. Apenas os pipelines nesse espaço de nomes podem usar estes perfis de computação do utilizador. Para mais informações, consulte o artigo Faça a gestão dos perfis de computação.
  • Preferências: as preferências definidas ao nível do espaço de nomes são aplicáveis ao espaço de nomes, às aplicações (que contêm pipelines) e aos programas individuais nos pipelines. Para mais informações, consulte o artigo Faça a gestão de macros, preferências e argumentos de tempo de execução.
  • Associações: o Cloud Data Fusion permite-lhe reutilizar associações a origens e destinos em pipelines de dados. Pode adicionar associações na página de administração do espaço de nomes. Para mais informações, consulte o artigo Crie e faça a gestão de associações.
  • Controladores: alguns plug-ins no Cloud Data Fusion requerem que um controlador JDBC seja adicionado ao espaço de nomes. Por exemplo, antes de poder executar um pipeline com um plug-in de origem em lote do MySQL, tem de adicionar o controlador do MySQL suportado ao espaço de nomes. Pode carregar ou remover controladores JDBC para um espaço de nomes a partir da página de administração do espaço de nomes ou diretamente a partir do Hub. Para mais informações, consulte o artigo Controladores de plug-ins.
  • Gestão de controlo de origens: para gerir de forma eficiente o processo de desenvolvimento de pipelines implementados, a gestão de controlo de origens permite-lhe associar um espaço de nomes ao repositório do seu sistema de controlo de origens. Para mais informações, consulte o artigo Faça a gestão de pipelines através da gestão de controlo de origem.
  • Conta de serviço: para controlar o acesso aos Google Cloud recursos, os namespaces no Cloud Data Fusion usam o agente do serviço da API Cloud Data Fusion por predefinição.

Para um melhor isolamento de dados, pode associar uma conta de serviço de gestão de identidade e de acesso (IAM) personalizada (conhecida como conta de serviço por espaço de nomes) a cada espaço de nomes. A conta de serviço do IAM personalizada, que pode ser diferente para diferentes espaços de nomes, permite-lhe controlar o acesso aos recursos Google Cloud entre espaços de nomes para operações de tempo de design de pipelines no Cloud Data Fusion, como a pré-visualização de pipelines, o Wrangler e a validação de pipelines. Para mais informações, consulte o artigo Controlo de acesso com a conta de serviço do espaço de nomes.

O que se segue?