Introdução ao Cloud Data Fusion: console

Esta página apresenta o Cloud Data Fusion: Console, também conhecido como plano de controle. É um conjunto de operações de API e uma interface do console do Google Cloud que permite gerenciar uma instância do Cloud Data Fusion. Por exemplo, usando o console, é possível criar, excluir, reiniciar ou atualizar uma instância.

Antes de começar

Cloud Data Fusion: visão geral do console

As seções a seguir descrevem aspectos importantes do console.

Instâncias

Uma instância é uma implantação exclusiva do Cloud Data Fusion. Para começar a usar o Cloud Data Fusion, crie uma instância no console do Google Cloud. É possível criar várias instâncias do Cloud Data Fusion em um único projeto doGoogle Cloud . É possível especificar uma região Google Cloud para cada instância. Cada instância é uma implantação exclusiva e independente do Cloud Data Fusion, que contém um conjunto de serviços que processa o gerenciamento do ciclo de vida do pipeline, a orquestração, a coordenação e o gerenciamento de metadados. Esses serviços são executados usando recursos de execução longa em um projeto de locatário.

Ao criar a instância, considere as seguintes opções.

Edição

Crie a instância em uma das seguintes edições do Cloud Data Fusion: Desenvolvedor, Básico ou Enterprise. Escolha a edição com base nos seguintes critérios:

  • Custo
  • Limites de simultaneidade para a execução do pipeline
  • Disponibilidade do controle de acesso baseado em função (RBAC)

As edições são destinadas aos seguintes casos de uso:

Edição do Cloud Data Fusion Caso de uso
Edição para desenvolvedores Para desenvolvimento, testes ou integrações em pequena escala
Edição Basic Para produção com necessidades moderadas
Edição Enterprise Para pipelines de dados de grande escala e de missão crítica com RBAC

Instância pública ou privada

Dependendo dos seus requisitos, decida se você precisa de uma instância pública ou privada. As principais diferenças entre instâncias públicas e privadas no Cloud Data Fusion são a conectividade e a segurança da rede:

Tipo de instância do Cloud Data Fusion Comportamento
Instância pública
  • Conectividade de rede: usa endereços IP públicos para se conectar à Internet.
  • Acesso a dados: acessa diretamente as fontes de dados na Internet pública.
Para mais informações, consulte Criar uma instância pública.
Instância particular
  • Conectividade de rede: usa endereços IP particulares em uma rede de nuvem privada virtual (VPC).
  • Acesso a dados: requer conexões pré-configuradas para acessar fontes de dados. As seguintes conexões são compatíveis:
    • Fontes de dados locais conectadas por VPN ou Cloud Interconnect.
    • Outros Google Cloud serviços executados de forma privada na mesma VPC.

Autorização e conta de serviço

O Cloud Data Fusion geralmente tem duas contas de serviço:

Conta de serviço do ambiente de design
Essa conta de serviço gerenciada pelo Google, chamada de agente de serviço da API Cloud Data Fusion, é usada no projeto de locatário do Cloud Data Fusion para acessar os recursos do projeto do cliente.
Conta de serviço de execução
Esta é a conta de serviço padrão do Compute Engine que o Cloud Data Fusion cria para implantar jobs que acessam outros recursos doGoogle Cloud . Por padrão, ele é anexado a uma VM de cluster do Dataproc para permitir que o Cloud Data Fusion acesse recursos do Dataproc durante uma execução de pipeline.

Para mais informações, consulte Contas de serviço no Cloud Data Fusion.

Geração de registros e monitoramento

O Cloud Logging e o Cloud Monitoring são essenciais para ter insights sobre a integridade e o desempenho dos pipelines do Cloud Data Fusion. Você só ativa o Logging e o Monitoring quando cria a instância do Cloud Data Fusion.

Ativar o registro e o monitoramento permite que você visualize os registros do pipeline do Cloud Data Fusion no console do Google Cloud na página Visualizador de registros.

O Monitoring fornece painéis integrados para o Cloud Data Fusion. Também é possível criar painéis personalizados para monitorar métricas específicas.

Integração da linhagem com o Dataplex

O Cloud Data Fusion oferece uma integração com o Dataplex para a linhagem. Para mais informações, consulte Conferir a linhagem no Dataplex.

Criptografia

As chaves de criptografia gerenciadas pelo cliente (CMEKs, na sigla em inglês) permitem criptografar dados em repouso com uma chave controlada pelo Cloud Key Management Service. A CMEK fornece ao usuário controle sobre os dados gravados nos Google Cloud recursos internos em projetos de locatário e dados gravados pelos pipelines do Cloud Data Fusion. Para mais informações, consulte Criptografia de dados gerenciada pelo cliente.

Gerenciar permissões com controle de acesso baseado em função (RBAC)

O Cloud Data Fusion permite controlar com o Identity and Access Management (IAM).

Para permissões granulares de ações realizadas nas operações do Cloud Data Fusion: Studio, use o RBAC. Para mais informações, consulte a visão geral do RBAC.

Upgrades de versão

O Cloud Data Fusion tem versões. É possível fazer upgrade de uma instância para uma versão mais recente no console do Cloud Data Fusion. Para mais informações, consulte Controle de versão no Cloud Data Fusion.

A seguir