Como usar a IU do DataStream

Guia de início rápido

Antes de começar

  1. Faça login na sua conta do Google Cloud. Se você começou a usar o Google Cloud agora, crie uma conta para avaliar o desempenho de nossos produtos em situações reais. Clientes novos também recebem US$ 300 em créditos para executar, testar e implantar cargas de trabalho.
  2. No Console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.

    Acessar o seletor de projetos

  3. Verifique se o faturamento está ativado para seu projeto na nuvem. Saiba como confirmar se o faturamento está ativado para o projeto.

  4. No Console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.

    Acessar o seletor de projetos

  5. Verifique se o faturamento está ativado para seu projeto na nuvem. Saiba como confirmar se o faturamento está ativado para o projeto.

  6. Ative a Datastream API.

    Ative a API

  7. Verifique se você tem o papel Administrador do Datastream atribuído à sua conta de usuário.

    Acessar a página IAM

Requisitos

O Datastream oferece uma variedade de opções de origem, opções de destino e métodos de conectividade de rede.

Neste guia de início rápido, pressupomos que você esteja usando um banco de dados Oracle independente e um serviço de destino do Cloud Storage. Para o banco de dados de origem, configure a rede para adicionar uma regra de firewall de entrada. O banco de dados de origem pode ser local ou em um provedor de nuvem. Como o destino é o Cloud Storage, ele precisa estar no provedor de nuvem do Google.

Como não sabemos as especificidades do seu ambiente, não podemos fornecer etapas detalhadas sobre a configuração de rede.

Para este guia de início rápido, selecione Lista de permissões de IP como método de conectividade. As listas de permissões de IP são um recurso de segurança usado com frequência para limitar e controlar o acesso de usuários confiáveis ao seu banco de dados de origem. É possível usar listas de permissões de IP para criar listas de endereços IP ou intervalos de IP confiáveis. Esses usuários e outros serviços do Cloud, como o Datastream, podem acessar esses dados. Para usar as listas de permissões de IP, você precisa abrir o banco de dados ou o firewall de origem para conexões de entrada do Datastream.

Criar perfis de conexão

Ao criar perfis de conexão para um banco de dados de origem e um destino, você cria registros que contêm informações sobre a origem e o destino.

Neste guia de início rápido, selecione Oracle como o tipo de perfil para seu perfil de conexão de origem e Cloud Storage como o tipo de perfil para seu perfil de conexão de destino. O Datastream usa as informações nos perfis de conexão para migrar dados do banco de dados Oracle de origem para um bucket de destino no Cloud Storage.

Criar um perfil de conexão de origem para o banco de dados Oracle

  1. Acesse a página Perfis de conexão do Datastream no Console do Google Cloud.

    Acessar a página "Perfis de conexão"

  2. Clique em CRIAR PERFIL.

  3. Na página Criar um perfil de conexão, clique no tipo de perfil Oracle (porque você quer criar um perfil de conexão de origem para o banco de dados Oracle).

  4. Forneça as seguintes informações na seção Definir configurações de conexão da página Criar perfil da Oracle:

    • Insira My Source Connection Profile como o Nome do perfil de conexão do banco de dados de origem.
    • Mantenha o ID do perfil de conexão gerado automaticamente.
    • Selecione a Região em que o perfil da conexão será armazenado.

    • Insira os Detalhes da conexão:

      • No campo Nome do host ou IP, digite um nome do host ou endereço IP público que o Datastream pode usar para se conectar ao banco de dados Oracle de origem. Você está fornecendo um endereço IP público porque a lista de permissões de IP será usada como o método de conectividade de rede para este guia de início rápido.
      • No campo Porta, insira o número reservado para o banco de dados de origem. Para um banco de dados Oracle, a porta padrão geralmente é 1521.
      • Insira um Nome de usuário e uma Senha para autenticar no banco de dados de origem.
      • No campo Identificador do sistema (SID, na sigla em inglês), insira o SID ou o nome do serviço que identifica a instância do banco de dados. Para bancos de dados Oracle, esse valor é normalmente ORCL.
  5. Na seção Definir configurações de conexão, clique em CONTINUAR. A seção Definir método de conectividade da página Criar perfil da Oracle está ativa.

  6. Escolha o método de rede que você quer usar para estabelecer a conectividade entre o banco de dados de origem e o bucket de destino no Cloud Storage. Para este guia de início rápido, use o menu suspenso Método de conectividade para selecionar Lista de permissões de IP como método de rede.

  7. Configure seu banco de dados de origem para permitir conexões de entrada dos endereços IP públicos do Datastream que aparecem.

  8. Na seção Definir método de conectividade, clique em CONTINUAR. A seção Testar perfil de conexão da página Criar perfil da Oracle está ativa.

  9. Clique em EXECUTAR TESTE para verificar se o banco de dados Oracle de origem e o Datastream se comunicam entre si.

  10. Verifique se o status "Aprovado no teste" é exibido.

  11. Se o teste falhar, resolva o problema na parte apropriada do fluxo e volte a testar novamente.

  12. Clique em CRIAR.

Criar um perfil de conexão de destino para o Cloud Storage

  1. Acesse a página Perfis de conexão do Datastream no Console do Google Cloud.

    Acessar a página "Perfis de conexão"

  2. Clique em CRIAR PERFIL.

  3. Na página Criar um perfil de conexão, clique no tipo de perfil Cloud Storage porque você quer criar um perfil de conexão de destino para o Cloud Storage.

  4. Forneça as seguintes informações na página Criar perfil do Cloud Storage:

    • Digite My Destination Connection Profile como o nome do perfil de conexão do serviço do Cloud Storage de destino.
    • Mantenha o ID do perfil de conexão gerado automaticamente.
    • Selecione a Região em que o perfil da conexão será armazenado.
    • No painel Detalhes da conexão, clique em NAVEGAR.
    • No painel Selecionar bucket, selecione o bucket de destino no Cloud Storage para onde o Datastream transferirá dados do banco de dados de origem e clique em SELECIONAR.

      Seu bucket aparece no campo Nome do bucket da página Criar perfil de Cloud Storage.

    • Opcionalmente, no campo Prefixo do caminho do perfil de conexão, é possível fornecer um prefixo para o caminho que será anexado ao nome do bucket quando o Datastream transferir dados para o destino.

  5. Clique em CRIAR.

Depois de criar um perfil de conexão de origem para o banco de dados Oracle e um perfil de conexão de destino para o Cloud Storage, use-os para criar um stream.

Criar um stream

Nesta seção, você criará um fluxo. O Datastream usa este stream para transferir dados de um banco de dados Oracle de origem para um bucket de destino no Cloud Storage.

A criação de um stream inclui o seguinte:

  • Como definir as configurações da transmissão.
  • Selecione o perfil de conexão que você criou para seu banco de dados de origem (o perfil de conexão de origem). Para este guia de início rápido, o nome é My Source Connection Profile.
  • Configure informações sobre o banco de dados de origem para o fluxo especificando as tabelas e os esquemas no banco de dados de origem que o Datastream:
    • Pode ser transferido para o destino.
    • esteja impedido de ser transferido para o destino.
  • Determinar se o Datastream preencherá dados históricos, bem como as alterações em andamento no destino ou apenas as alterações nos dados.
  • Selecione o perfil de conexão que você criou para o Cloud Storage (o perfil de conexão de destino). Para este guia de início rápido, o nome é My Destination Connection Profile.
  • Configurar informações sobre o bucket de destino do stream. Essa informação inclui:
    • A pasta do bucket de destino para o qual o Datastream transferirá esquemas, tabelas e dados de um banco de dados Oracle de origem.
    • O formato de saída dos arquivos gravados no Cloud Storage. Atualmente, o Datastream é compatível com dois formatos de saída: Avro e JSON. Para este guia de início rápido, Avro é o formato de arquivo.

Definir configurações do stream

  1. Acesse a página Streams do Datastream no Console do Google Cloud.

    Acessar a página "Fluxos"

  2. Clique em CRIAR STREAM.

  3. Forneça as seguintes informações no painel Definir detalhes do fluxo da página Criar stream:

    • Insira My Stream como o Nome do fluxo.
    • Mantenha o código do stream gerado automaticamente.
    • No menu Região, selecione a região onde você criou seu perfil de conexão de origem.
    • No menu Tipo de origem, selecione o tipo de perfil Oracle.
    • No menu Tipo de destino, selecione o tipo de perfil Cloud Storage.
  4. Revise os pré-requisitos necessários que são gerados automaticamente para refletir como o ambiente precisa estar preparado para um stream. Esses pré-requisitos podem incluir como configurar o banco de dados de origem e como conectar o Datastream ao bucket de destino no Cloud Storage.

  5. Clique em CONTINUAR. O painel Definir perfil de conexão do Oracle da página Criar stream é exibido.

Especificar informações sobre o perfil de conexão de origem

  1. No menu Perfil de conexão de origem, selecione o perfil de conexão de origem do banco de dados Oracle.

  2. Clique em EXECUTAR TESTE para verificar se o banco de dados de origem e o Datastream podem se comunicar entre si.

    Se o teste falhar, o problema associado ao perfil de conexão será exibido. Faça as alterações necessárias para corrigir o problema e teste novamente.

  3. Clique em CONTINUAR. O painel Configurar origem da transmissão é exibido na página Criar stream.

Configurar informações sobre o banco de dados de origem para o fluxo

  1. Use o menu Objetos para incluir para especificar as tabelas e esquemas no banco de dados de origem que o Datastream pode transferir para uma pasta no bucket de destino do Cloud Storage.

    Para este guia de início rápido, o Datastream precisa transferir todas as tabelas e esquemas. Selecione Todas as tabelas de todos os esquemas no menu.

  2. Clique em CONTINUAR. O painel Definir perfil de conexão do Cloud Storage é exibido na página Criar stream.

Selecione um perfil de conexão de destino

  1. No menu do perfil de conexão de destino, selecione o perfil de conexão de destino do Cloud Storage.

  2. Clique em CONTINUAR. O painel Configurar destino do stream é exibido na página Criar stream.

Configurar informações sobre o destino do stream

  1. No campo Prefixo do caminho do stream, insira a pasta do bucket de destino para onde o Datastream transferirá esquemas, tabelas e dados de um banco de dados Oracle de origem.

    Para este guia de início rápido, o Datastream precisa transferir dados do banco de dados de origem para a pasta /root/tutorial no bucket de destino do Cloud Storage. Portanto, insira /root/tutorial no campo Prefixo do caminho do stream.

  2. No campo Formato de saída, selecione o formato de arquivos gravados no Cloud Storage. Para este guia de início rápido, Avro é o formato de arquivo.

  3. Clique em CONTINUAR. Aparecerá a página Criar detalhes da transmissão e a página Criar stream.

Criar o stream

  1. Verifique os detalhes do stream, bem como os perfis de conexão de origem e de destino que serão usados para transferir dados de um banco de dados Oracle de origem para um bucket de destino no Cloud Storage.

  2. Clique emEXECUTAR VALIDAÇÃO para validar o stream. Ao validar um stream, o Datastream verifica se a origem está configurada corretamente, verifica se o stream pode se conectar à origem e ao destino e verifica a configuração de ponta a ponta do stream.

  3. Depois que todas as verificações de validação forem aprovadas, clique em CRIAR.

  4. Na caixa de diálogo Criar stream?, clique em CRIAR.

Após criar um stream, você pode iniciá-lo.

Iniciar o stream

Na seção anterior do guia de início rápido, você criou um stream, mas ainda não o iniciou. Faça isso agora.

Para este guia de início rápido, é possível criar e iniciar um stream separadamente caso o processo de criação de stream intensifique a carga no banco de dados de origem. Para suspender essa carga, crie o stream sem iniciá-lo e, em seguida, inicie o stream quando ele puder ser gerado.

Ao iniciar o stream, ele pode transferir dados, esquemas e tabelas do banco de dados de origem para o destino.

  1. Acesse a página Streams do Datastream no Console do Google Cloud.

    Acessar a página "Fluxos"

  2. Marque a caixa de seleção à esquerda do stream que você quer iniciar. Para este guia de início rápido, use Meu stream.

  3. Clique em START.

  4. Na caixa de diálogo, clique em INICIAR. O status do stream muda de Not started para Starting e Running.

Depois de iniciar um stream, você pode verificar se o Datastream transferiu dados do banco de dados de origem para o destino.

Verificar o stream

Nesta seção, você confirma que o Datastream transfere os dados de todas as tabelas do seu banco de dados Oracle de origem para a pasta /root/tutorial do seu bucket de destino do Cloud Storage.

  1. Acesse a página Streams do Datastream no Console do Google Cloud.

    Acessar a página "Fluxos"

  2. Clique no stream que você criou. Para este guia de início rápido, use Meu stream.

  3. Na página Detalhes do fluxo, clique no link exibido abaixo do campo Caminho de gravação de destino. A página Detalhes do bucket do Cloud Storage é aberta em outra guia.

  4. Verifique se há pastas que representam as tabelas do banco de dados Oracle de origem.

  5. Clique em uma das pastas da tabela e faça o detalhamento até ver os dados associados à tabela.

Limpar

Para evitar cobranças na conta do Google Cloud pelos recursos usados nesta página, siga estas etapas.

  1. Use o Console do Google Cloud para excluir o projeto, os perfis de stream e conexão do Datastream e o bucket de destino do Cloud Storage.

Ao limpar os recursos criados no Datastream, eles não consumirão a cota e você não será cobrado por eles no futuro. As próximas seções descrevem como excluir ou desativar esses recursos.

Excluir o projeto

A maneira mais fácil de eliminar o faturamento é excluir o projeto que você criou para este guia de início rápido.

  1. No Console do Cloud, acesse a página Gerenciar recursos:

    Acessar a página "Gerenciar recursos"

  2. Na lista de projetos, selecione o projeto que você quer excluir e clique em Excluir.

  3. Na caixa de diálogo, insira o ID do projeto e clique em Encerrar para excluí-lo.

Excluir o stream

  1. Acesse a página Streams do Datastream no Console do Google Cloud.

    Acessar a página "Fluxos"

  2. Clique no stream que você quer excluir. Para este guia de início rápido, use Meu stream.

  3. Clique em PAUSAR.

  4. Na caixa de diálogo, clique em PAUSAR.

  5. No painel Status do stream da página Detalhes do stream, verifique se o status do stream é Paused.

    }
  6. Clique em EXCLUIR.

  7. Na caixa de diálogo, digite Delete no campo de texto e clique em EXCLUIR.

Excluir os perfis de conexão

  1. Acesse a página Perfis de conexão do Datastream no Console do Google Cloud.

    Acessar a página "Perfis de conexão"

  2. Marque a caixa de seleção de cada perfil de conexão que você quer excluir. Para este guia de início rápido, marque as caixas de seleção de My Source Connection Profile e My Destination Connection Profile.

  3. Clique em EXCLUIR.

  4. Na caixa de diálogo, clique em EXCLUIR.

Excluir o bucket de destino do Cloud Storage

  1. Acesse a página Navegador do Cloud Storage no Console do Google Cloud.

    Acessar a página "Navegador"

  2. Marque a caixa de seleção à esquerda do bucket e clique em EXCLUIR.

  3. Na caixa de diálogo, digite DELETE no campo de texto e clique em EXCLUIR.

A seguir