Introdução ao Cloud Data Fusion: consola

Esta página apresenta o Cloud Data Fusion: consola, também conhecido como o plano de controlo. É um conjunto de operações de API e uma interface de consola que lhe permite gerir uma instância do Cloud Data Fusion. Google Cloud Por exemplo, através da consola, pode criar, eliminar, reiniciar ou atualizar uma instância.

Antes de começar

Cloud Data Fusion: vista geral da consola

As secções seguintes descrevem aspetos importantes da consola.

Instâncias

Uma instância é uma implementação exclusiva do Cloud Data Fusion. Para começar a usar o Cloud Data Fusion, crie uma instância na Google Cloud consola. Pode criar várias instâncias do Cloud Data Fusion num único Google Cloud projeto. Pode especificar uma Google Cloud região para cada instância. Cada instância é uma implementação única e independente do Cloud Data Fusion, que contém um conjunto de serviços que processam a gestão, a orquestração, a coordenação e a gestão de metadados do ciclo de vida do pipeline. Estes serviços são executados através de recursos de execução prolongada num projeto de inquilino.

Quando criar a instância, considere as seguintes opções.

Edição

Cria a instância numa das seguintes edições do Cloud Data Fusion: Developer, Basic ou Enterprise. Escolha a edição com base nos seguintes critérios:

  • Custo
  • Limites de simultaneidade para a execução de pipelines
  • Disponibilidade do controlo de acesso baseado em funções (CABF)

As edições destinam-se aos seguintes exemplos de utilização:

Edição do Cloud Data Fusion Exemplo de utilização
Edição para programadores Para desenvolvimento, testes ou integrações de pequena escala
Edição básica Para produção com necessidades moderadas
Edição Enterprise Para pipelines de dados de serviço crítico em grande escala com RBAC

Instância pública ou privada

Consoante os seus requisitos, decida se precisa de uma instância pública ou privada. As principais diferenças entre instâncias privadas e públicas no Cloud Data Fusion são a conetividade de rede e a segurança:

Tipo de instância do Cloud Data Fusion Comportamento
Instância pública
  • Conetividade de rede: usa endereços IP públicos para estabelecer ligação à Internet.
  • Acesso aos dados: acede diretamente às origens de dados na Internet pública.
Para mais informações, consulte o artigo Crie uma instância pública.
Instância privada
  • Conetividade de rede: usa endereços IP privados numa rede da nuvem virtual privada (VPC).
  • Acesso aos dados: requer associações pré-configuradas para aceder a origens de dados. As seguintes associações são suportadas:
    • Origens de dados no local ligadas através de VPN ou Cloud Interconnect.
    • Outros Google Cloud serviços executados de forma privada na mesma VPC.

Autorização e conta de serviço

Normalmente, o Cloud Data Fusion tem duas contas de serviço:

Conta de serviço de tempo de conceção
Esta conta de serviço gerida pela Google, denominada agente do serviço da API Cloud Data Fusion, é usada no projeto de inquilino do Cloud Data Fusion para aceder aos recursos do projeto do cliente.
Conta de serviço de tempo de execução
Esta é a conta de serviço predefinida do Compute Engine que o Cloud Data Fusion cria para implementar tarefas que acedem a outros Google Cloud recursos. Por predefinição, é anexado a uma VM do cluster do Dataproc para permitir que o Cloud Data Fusion aceda aos recursos do Dataproc durante a execução de um pipeline.

Para mais informações, consulte o artigo Contas de serviço no Cloud Data Fusion.

Registo e monitorização

O Cloud Logging e o Cloud Monitoring são fundamentais para obter estatísticas sobre o estado e o desempenho dos seus pipelines do Cloud Data Fusion. Ativa o registo e a monitorização apenas quando cria a instância do Cloud Data Fusion.

A ativação do registo e da monitorização permite-lhe ver os registos do pipeline do Cloud Data Fusion na Google Cloud consola na páginaVisualizador de registos.

A monitorização oferece painéis de controlo incorporados para o Cloud Data Fusion. Também pode criar painéis de controlo personalizados para monitorizar métricas específicas.

Integração de linhagem com o catálogo universal do Dataplex

O Cloud Data Fusion oferece uma integração com o catálogo universal do Dataplex para a linhagem. Para mais informações, consulte o artigo Veja a linhagem no catálogo universal do Dataplex.

Encriptação

As chaves de encriptação geridas pelo cliente (CMEK) permitem a encriptação de dados em repouso com uma chave que pode controlar através do Cloud Key Management Service. As CMEK oferecem controlo ao utilizador sobre os dados escritos nos Google Cloud recursos internos nos projetos de inquilinos e os dados escritos por pipelines do Cloud Data Fusion. Para mais informações, consulte o artigo Encriptação de dados gerida pelo cliente.

Faça a gestão das autorizações com o controlo de acesso baseado em funções (CABF)

O Cloud Data Fusion permite-lhe controlar com a gestão de identidade e de acesso (IAM).

Para autorizações detalhadas de ações realizadas no Cloud Data Fusion: operações do Studio, use o RBAC. Para mais informações, consulte a vista geral do RBAC.

Atualizações de versões

O Cloud Data Fusion tem versões. Pode atualizar uma instância para uma versão posterior na consola do Cloud Data Fusion. Para mais informações, consulte o artigo Criação de versões no Cloud Data Fusion.

O que se segue?