Mantenha tudo organizado com as coleções
Salve e categorize o conteúdo com base nas suas preferências.
O Cloud Data Fusion é um serviço de integração de dados corporativos nativo da nuvem totalmente gerenciado para criar e gerenciar rapidamente pipelines de dados. A interface da Web do Cloud Data Fusion permite criar soluções de integração de dados escalonáveis. Ele permite que você se conecte a várias fontes de dados, transforme os dados e
os transfira para vários sistemas de destino, sem precisar gerenciar a
infraestrutura.
O Cloud Data Fusion usa o projeto de código aberto CDAP.
Comece a usar o Cloud Data Fusion
Comece a usar o Cloud Data Fusion em alguns minutos.
Os principais componentes do Cloud Data Fusion são explicados nas seções a seguir.
Projeto de locatário
O conjunto de serviços necessários para criar e orquestrar pipelines do Cloud Data Fusion e armazenar metadados de pipeline são provisionados em um projeto de locatário, dentro de uma unidade de locação. Um projeto de locatário separado é criado para cada projeto do cliente, em que as instâncias do Cloud Data Fusion são provisionadas. O projeto de locatário herda todas as configurações de rede e firewall do projeto do cliente.
Cloud Data Fusion: console
O console do Cloud Data Fusion, também conhecido como plano de controle, é um
conjunto de operações de API
e uma interface da Web que lida com a própria instância do Cloud Data Fusion,
como criação, exclusão, reinicialização e atualização.
Cloud Data Fusion: Studio
O Cloud Data Fusion Studio, também conhecido como plano de dados, é um conjunto de operações da API REST e da interface da Web que lidam com a criação, execução e gerenciamento de pipelines e artefatos relacionados.
conceitos
Nesta seção, apresentamos alguns dos principais conceitos do Cloud Data Fusion.
Conceito
Descrição
Instâncias do Cloud Data Fusion
Uma instância do Cloud Data Fusion é uma implantação exclusiva do Cloud Data Fusion. Para começar a usar o Cloud Data Fusion, crie uma instância do Cloud Data Fusion por meio do
console do Google Cloud.
É possível criar várias instâncias em um único projeto do console do Google Cloud e especificar a região do Google Cloud onde as instâncias do Cloud Data Fusion serão criadas.
Cada instância do Cloud Data Fusion contém uma implantação exclusiva e independente
do Cloud Data Fusion com um conjunto de serviços que lidam
com o gerenciamento do ciclo de vida, a orquestração, a coordenação
e o gerenciamento de metadados do pipeline. Esses serviços são executados usando
recursos de longa duração em um
projeto de locatário.
Namespace
Um namespace é um agrupamento lógico de aplicativos, dados e metadados associados em uma instância do Cloud Data Fusion. Pense nos namespaces como
um particionamento da instância. Em uma única instância, um namespace armazena os dados e metadados de uma entidade independentemente de outro namespace.
Pipeline
Um pipeline é uma maneira de projetar visualmente dados e controlar fluxos para extrair, transformar, combinar, agregar e carregar dados de várias fontes de dados no local e na nuvem.
A criação de pipelines permite criar fluxos de trabalho complexos de processamento de
dados que podem ajudar a resolver problemas de ingestão, integração e
migração de dados. Use o Cloud Data Fusion para criar pipelines
em lote e em tempo real, dependendo das suas necessidades.
Os pipelines permitem expressar fluxos de trabalho de processamento de dados usando
o fluxo lógico de dados, enquanto o Cloud Data Fusion lida com toda a
funcionalidade necessária para execução física em um ambiente
de execução.
Nó do pipeline
Na página do Studio na interface da Web do Cloud Data Fusion, os pipelines são representados como uma série de nós organizados em um gráfico acíclico dirigido (DAG, na sigla em inglês), formando um fluxo unidirecional.
Os nós representam as várias ações que podem ser realizadas nos
pipelines, como leitura de origens, execução de transformações
de dados e gravação de saídas em coletores. É possível desenvolver pipelines
de dados na interface da Web do Cloud Data Fusion conectando
origens, transformações, coletores e outros nós.
Plug-ins
Um plug-in é um módulo personalizável que pode ser usado para ampliar os
recursos do Cloud Data Fusion.
O Cloud Data Fusion fornece plug-ins para origens, transformações,
agregações, coletores, coletores de erros, editores de alertas, ações e
ações pós-execução.
Um plug-in às vezes é chamado de nó, geralmente no contexto da interface da Web do Cloud Data Fusion.
Na interface da Web do Cloud Data Fusion, clique em Hub para procurar plug-ins, pipelines de amostra e outras integrações. Quando uma nova
versão de um plug-in é lançada, ela fica visível no Hub em qualquer instância
compatível. Isso se aplica mesmo que a instância tenha sido criada antes do lançamento do plug-in.
Visualização do pipeline
O Cloud Data Fusion Studio permite testar a precisão do design do pipeline usando a Visualização no subconjunto de dados.
Um pipeline em visualização é executado no projeto de locatário.
Execução de canal
O Cloud Data Fusion cria ambientes de execução efêmeros para
executar pipelines.
O Cloud Data Fusion oferece suporte ao Dataproc como um ambiente de execução
O Cloud Data Fusion provisiona um cluster temporário do Dataproc no projeto do cliente no início de uma execução de pipeline, executa o pipeline usando o Spark no cluster e exclui o cluster após a conclusão da execução do pipeline.
Como alternativa, se você gerencia clusters do Dataproc
em ambientes controlados, usando tecnologias como o Terraform, também
é possível configurar o Cloud Data Fusion para não provisionar clusters. Nesses
ambientes, é possível executar pipelines em clusters
atuais do Dataproc.
Perfis de computação
Um perfil de computação especifica como e onde um pipeline é executado. Um perfil encapsula todas as informações necessárias para configurar e excluir o ambiente de execução físico de um pipeline.
Por exemplo, um perfil de computação inclui o seguinte:
Provisionador de execução
Recursos (memória e CPU)
Contagem mínima e máxima de nós
Outros valores
Um perfil é identificado pelo nome e precisa receber um provisionador e a configuração relacionada. Um perfil pode existir no
nível da instância do Cloud Data Fusion ou no nível do namespace.
O perfil de computação padrão do Cloud Data Fusion é o escalonamento automático.
Pipelines reutilizáveis
Os pipelines de dados reutilizáveis no Cloud Data Fusion permitem a criação
de um único pipeline capaz de aplicar um padrão de integração de dados a
vários casos de uso e conjuntos de dados.
Os pipelines reutilizáveis oferecem melhor capacidade de gerenciamento ao definir a maior parte
da configuração de um pipeline no momento da execução, em vez de
codificá-lo no momento do design.
Gatilhos
O Cloud Data Fusion é compatível com a criação de um gatilho em um pipeline de dados (chamado de pipeline downstream), para que ele seja executado na conclusão de um ou mais pipelines diferentes (chamados de pipelines upstream). Você escolhe quando o pipeline downstream é executado, por exemplo, mediante sucesso, falha, parada ou qualquer combinação disso, da execução do pipeline upstream.
Os gatilhos são úteis nos seguintes casos:
Limpar os dados uma vez e disponibilizá-los a vários pipelines downstream para consumo.
Compartilhar informações entre pipelines, como argumentos de ambiente de execução e configurações de plug-in. Isso é chamado de Configuração do payload.
Ter um conjunto de pipelines dinâmicos que possam ser executados usando os dados de hora, dia, semana ou mês, em vez de usar um pipeline estático que precisa ser atualizado a cada execução.
Recursos do Cloud Data Fusion
Conheça os recursos do Cloud Data Fusion:
As Notas da versão fornecem registros de alterações de recursos, alterações e descontinuações
