Fonte de replicação do SAP SLT

Esta página descreve como ativar a replicação em tempo real de dados de aplicativos SAP para o Google Cloud usando a SAP Landscape Transformation (SLT). O conteúdo se aplica à replicação do SAP SLT e ao SAP SLT sem replicação do RFC que estão disponíveis no Hub do Cloud Data Fusion. Ele mostra as configurações do sistema de origem do SAP, do SLT, do Cloud Storage e do Cloud Data Fusion para fazer o seguinte:

• Envie metadados e dados de tabela do SAP para o Google Cloud usando o SAP SLT.
• Criar um job de replicação do Cloud Data Fusion que leia o e dados de um bucket do Cloud Storage.

Com o SAP SLT Replication, é possível replicar seus dados de forma contínua e em tempo real de fontes SAP para no BigQuery. É possível configurar e executar transferências de dados do SAP sistemas sem programação.

O processo de replicação de SLT do Cloud Data Fusion é o seguinte:

1. Os dados vêm de um sistema de origem SAP.
2. O SLT rastreia e lê os dados e os envia para o Cloud Storage.
3. O Cloud Data Fusion extrai dados do bucket de armazenamento e os grava no BigQuery.

É possível transferir dados de sistemas SAP compatíveis, incluindo sistemas SAP hospedados no Google Cloud.

Para mais informações, consulte a Visão geral do SAP no Google Cloud. e detalhes do suporte.

Antes de começar

Para usar esse plug-in, é necessário ter conhecimento dos domínios nas seguintes áreas:

• Como criar pipelines no Cloud Data Fusion
• Gerenciamento de acesso com o IAM
• Como configurar sistemas SAP Cloud e de planejamento de recursos empresariais (ERP) no local

• Jobs de replicação no Cloud Data Fusion

• Servidor de replicação de transformação do SAP Landscape

Administradores e usuários que executam as configurações

As tarefas nesta página são realizadas por pessoas com os seguintes papéis no Google Cloud ou no sistema SAP:

Tipo de usuário	descrição;
Administrador do Google Cloud	Os usuários atribuídos a esse papel são administradores de contas do Google Cloud.
Usuário do Cloud Data Fusion	Os usuários atribuídos a esse papel estão autorizados a projetar e executar pipelines de dados. Eles recebem, no mínimo, o papel de leitor do Data Fusion ( roles/datafusion.viewer). Se estiver usando o controle de acesso baseado em papéis, talvez sejam necessários outros papéis.
Administrador do SAP	Os usuários atribuídos a essa função são administradores do sistema SAP. Eles têm acesso para fazer o download de softwares do site de serviços da SAP. Não é um papel do IAM.
Usuário SAP	Os usuários atribuídos a esse papel estão autorizados a se conectar a um sistema SAP. Não é um papel do IAM.

Operações de replicação com suporte

O plug-in SAP SLT Replication é compatível com as seguintes operações:

Modelagem de dados: todas as operações de modelagem de dados (registro insert, delete e update) são compatíveis com este plug-in.

Definição de dados: conforme descrito em Nota SAP 2055599 (necessário login no suporte SAP para visualização), existem limitações quanto à origem mudanças na estrutura de tabelas do sistema são replicadas pelo SLT automaticamente. Algumas operações de definição de dados não são compatíveis com o plug-in. Você precisa propagá-las manualmente.

• Compatível:
  • Adicionar um campo sem chave (depois de fazer alterações no SE11, ativar a tabela usando SE14)
• Sem suporte:
  • Campo "Adicionar/excluir chave"
  • Excluir campo sem chave
  • Modificar tipos de dados

Requisitos do SAP

Os seguintes itens são necessários no seu sistema SAP:

• O servidor SLT Server versão 2011 SP17 ou posterior está instalado no sistema SAP de origem (incorporado) ou como um sistema de hub SLT dedicado.
• Seu sistema SAP de origem é SAP ECC ou SAP S/4HANA, que oferece suporte a DMIS 2011 SP17 ou mais recente, como DMIS 2018, DMIS 2020.
• Seu complemento da interface do usuário da SAP (em inglês) precisa ser compatível com sua versão do SAP Netweaver.

• Seu pacote de suporte oferece suporte à classe /UI2/CL_JSON PL 12 ou mais recente. Caso contrário, implemente a última Nota da SAP para a classe /UI2/CL_JSON corrections de acordo com a versão do complemento da interface do usuário, como a Nota SAP 2798102 para PL12.

• As seguintes medidas de segurança estão em vigor:

  • Transferência de dados HTTPS do SAP para o Cloud Storage
  • Autenticação SAP
  • Autorização da SAP

Requisitos do Cloud Data Fusion

• Você precisa de uma instância do Cloud Data Fusion, versão 6.4.0 ou mais recente, qualquer edição.
• A conta de serviço atribuída à instância do Cloud Data Fusion receberam os papéis necessários. Consulte Como conceder permissão de usuário à conta de serviço.
• Para instâncias particulares do Cloud Data Fusion, o peering de VPC é obrigatório.

Requisitos do Google Cloud

• Ative a API Cloud Storage no projeto do Google Cloud.
• O usuário do Cloud Data Fusion precisa receber permissão para criar pastas no bucket do Cloud Storage (consulte Papéis do IAM para o Cloud Storage).
• Opcional: defina a política de retenção, se necessário pela sua organização.

Criar o bucket de armazenamento

Antes de criar um job de replicação de SLT, crie o bucket do Cloud Storage. O job transfere dados para o bucket e atualiza o bucket de preparo a cada cinco minutos. Quando você executa o job, o Cloud Data Fusion lê os dados no em um bucket de armazenamento e grava no BigQuery.

Observação: mantenha o nome do bucket para quando você configurar o servidor de replicação de SLT e a origem correspondente no Cloud Data Fusion.

Se o SLT estiver instalado no Google Cloud

O servidor do SLT precisa ter permissão para criar e modificar objetos do Cloud Storage no bucket que você criou.

Conceda, no mínimo, os seguintes papéis à conta de serviço:

• Criador de token da conta de serviço (roles/iam.serviceAccountTokenCreator)
• Consumidor do Service Usage (roles/serviceusage.serviceUsageConsumer)
• Administrador de objetos do Storage (roles/storage.objectAdmin)

Se o SLT não estiver instalado no Google Cloud

Instale o Cloud VPN ou o Cloud Interconnect entre a VM do SAP e o Google Cloud para permitir a conexão com um endpoint de metadados interno. Consulte Como configurar o Acesso privado do Google para hosts locais.

Se não for possível mapear os metadados internos:

• Instale a Google Cloud CLI com base no sistema operacional da infraestrutura em que o SLT está sendo executado.

• Crie uma conta de serviço no projeto do Google Cloud em que o Cloud Storage está ativado.

• No sistema operacional SLT, autorizar o acesso ao Google Cloud com uma conta de serviço.

• Crie uma chave de API para a conta de serviço e autorize Escopo relacionado ao Cloud Storage.

• Importe a chave de API para a CLI gcloud instalada anteriormente usando pela CLI.

• Para ativar o comando da CLI do gcloud que imprime o token de acesso, configure o comando do sistema operacional SAP na ferramenta de transação SM69 no sistema SLT.

Imprimir um token de acesso

O administrador do SAP configura o comando do sistema operacional, SM69, que recupera um token de acesso do Google Cloud.

Criar um script para imprimir um token de acesso e configurar um sistema operacional SAP comando para chamar o script como o usuário <sid>adm do SAP LT Replication Server host.

Linux

Para criar um comando do SO:

1. No host do SAP LT Replication Server, em um diretório acessível Em <sid>adm, crie um script bash com as seguintes linhas:

   PATH_TO_GCLOUD_CLI/bin/gcloud auth print-access-token SERVICE_ACCOUNT_NAME
   

2. Usando a interface do usuário SAP, crie um comando do SO externo:

   1. Insira a transação SM69.
   2. Clique em Criar.
   3. Na seção Comando do painel Comando externo, insira o nome do comando, como ZGOOGLE_CDF_TOKEN.

   4. Na seção Definição:

      1. No campo Comando do sistema operacional, insira sh como o extensão de arquivo de script.

      2. No campo Parâmetros do comando do sistema operacional, digite:

         /PATH_TO_SCRIPT/FILE_NAME.sh
         

   5. Clique em Salvar.

   6. Para testar o script, clique em Executar.

   7. Clique em Executar novamente.

   Um token do Google Cloud é retornado e exibido na parte inferior Painel de interface do usuário do SAP.

Windows

Use a interface do usuário SAP e crie um comando de sistema operacional externo:

1. Insira a transação SM69.
2. Clique em Criar.
3. Na seção Comando do painel Comando externo, insira o nome do comando, como ZGOOGLE_CDF_TOKEN.

4. Na seção Definição:

   1. No campo Operating System Command, digite cmd /c.

   2. No campo Parâmetros do comando do sistema operacional, digite:

      gcloud auth print-access-token SERVICE_ACCOUNT_NAME
      

5. Clique em Salvar.

6. Para testar o script, clique em Executar.

7. Clique em Executar novamente.

Um token do Google Cloud é retornado e exibido na parte inferior do do painel da interface do usuário.

Requisitos de SLT

O conector SLT precisa ter a seguinte configuração:

• O conector é compatível com SAP ECC NW 7.02, DMIS 2011 SP17 e posterior.
• Configure uma conexão RFC ou de banco de dados entre o SLT e o sistema do Cloud Storage.
• Configure os certificados SSL:
  • Faça o download dos seguintes certificados de CA no repositório Google Trust Services:
    • GTS Root R1
    • GTS CA 1C3
  • Na interface do usuário do SAP, use a transação STRUST para importar os certificados raiz e subordinados para a pasta SSL Client (Standard) PSE.
• É necessário configurar o Gerenciador de comunicações da Internet (ICM, na sigla em inglês) para HTTPS. Verifique se as portas HTTP e HTTPS são mantidas e ativadas no sistema SAP SLT. Isso pode ser verificado pelo código da transação SMICM > Services.
• Ativar o acesso às APIs do Google Cloud na VM em que o SAP SLT sistema está hospedado. Isso permite a comunicação privada entre os Serviços do Google Cloud sem roteamento pela Internet pública.
• Verifique se a rede pode oferecer suporte ao volume e à velocidade necessários da transferência de dados entre a infraestrutura da SAP e o Cloud Storage. Para uma instalação bem-sucedida, recomendamos o Cloud VPN e/ou o Cloud Interconnect. A capacidade de processamento da API de streaming depende cotas de cliente que foram concedidas a seu projeto do Cloud Storage.

Configurar o SLT Replication Server

O usuário da SAP executa as etapas a seguir.

Nas etapas a seguir, você vai conectar o servidor do SLT ao sistema de origem e ao bucket no Cloud Storage, especificando o sistema de origem, as tabelas de dados a serem replicadas e o bucket de armazenamento de destino.

Configurar o SDK do ABAP do Google

Para configurar o SLT para replicação de dados (uma vez por Cloud Data Fusion ), siga estas etapas:

Observação: o armazenamento está localizado no campo GCS-Bucket.

1. Para configurar o conector SLT, o SAP-User insere as seguintes informações na tela de configuração (SAP Transaction /GOOG/CDF_SETTINGS) sobre a chave da conta de serviço do Google Cloud para transferir dados para o Cloud Storage. Configure o seguinte na tabela /GOOG/CDF_CLT_KY usando a Transação SE16 e observe esta chave:

   • NAME: o nome da chave da conta de serviço (por exemplo, CDFSLT).
   • SERVICE ACCOUNT NAME: o nome da conta de serviço do IAM
   • SCOPE: o escopo da conta de serviço
   • PROJECT ID: o ID do seu projeto do Google Cloud
   • Opcional – Comando EXT OS: use este campo somente se o SLT não estiver instalado. no Google Cloud

   • CLASSE AUTH: se o comando do SO estiver configurado na tabela /GOOG/CDF_CLT_KY, use o valor fixo: /GOOG/CDF_CL_GCP_AUTH.

     Observação: se o SLT estiver hospedado no Google Cloud, o comando do SO não será usado. Em vez disso, use o valor fixo /GOOG/CDF_CL_GCP_AUTH_GOOGLE.

   • TOKEN REFRESH SEC: duração da atualização do token de autorização

Crie a configuração de replicação

Crie uma configuração de replicação no código da transação: LTRC.

• Antes de prosseguir com a configuração do LTRC, verifique se a conexão RFC entre o SLT e o sistema SAP de origem.
• Para uma configuração de SLT, pode haver várias tabelas SAP atribuídas a de forma consistente.

Observação: para adicionar tabelas à configuração mais tarde, repita as etapas de 1 a 12.

1. Acesse o código da transação LTRC e clique em Nova configuração.

   

2. Insira o Nome da configuração e a Descrição e clique em Próxima.

3. Especifique a conexão RFC do sistema de origem SAP e clique em Próxima.

   

4. Em "Detalhes da conexão do sistema de destino", selecione Outro.

5. Expanda o campo Cenário para comunicação RFC, selecione SDK SLT e clique em Próxima.

6. Acesse a janela Specify Transfer Settings e insira o nome do aplicativo: ZGOOGLE_CDF.

   

7. Insira o Número de jobs de transferência de dados e o Número de carregamento inicial jobs e o Número de jobs de cálculo. Para mais informações sobre desempenho, consulte o Guia de otimização de desempenho do SAP LT Replication Server.

   Dica: se você não souber o número de jobs, insira 10,10,10 e edite os valores mais tarde, quando tiver mais informações.

8. Clique em Tempo real > Próxima.

9. Revise a configuração e clique em Salvar. Anote o ID de transferência em massa para as próximas etapas.

   

10. Para manter o ID de transferência em massa e os detalhes da tabela SAP, execute o transação: /GOOG/CDF_SETTINGS.

11. Clique em Executar ou pressione F8.

12. Crie uma nova entrada clicando no ícone de anexar linha.

    1. Insira o ID de transferência em massa, a chave de transferência em massa, o nome da chave do GCP, e Bucket de destino do GCS. Marque a caixa de seleção Está ativo e salve as mudanças.

       

13. Selecione a configuração na coluna Configuration Name e clique em Provisionamento de Dados.

    

14. Opcional: personalize os nomes da tabela e dos campos.

    1. Clique em Nomes personalizados e salve.

    2. Clique em Tela.

       Atenção: configure a coluna "Display table" antes de iniciar o job de replicação na transação LTRC. Os nomes personalizados são só vai estar disponível no BigQuery se os mapeamentos forem mantidos e salva.

    3. Crie uma nova entrada clicando nos botões Anexar linha ou Criar.

    4. Insira o nome da tabela SAP e da tabela externa para usar BigQuery e salve as alterações.

    5. Clique no botão Visualizar na coluna Campos de exibição para manter o mapeamento dos campos da tabela.

    6. Uma página com mapeamentos sugeridos é aberta. Opcional: edite o campo Temp Name e Descrição do campo e salve os mapeamentos.

15. Acesse a transação LTRC.

16. Selecione o valor na coluna Nome da configuração e clique em Provisionamento de dados.

17. Digite o nome da tabela no campo Nome da tabela no banco de dados e selecione a de replicação do Compute Engine.

    

18. Clique em Executar. Isso aciona a implementação do SDK do SLT e começa a transferir os dados para o bucket de destino no Cloud Storage.

Observação: o plug-in SAP SLT Replication não oferece suporte a jobs de replicação e não for possível manter as configurações de replicação para vários jobs ou intervalos ao mesmo tempo.

Instalar arquivos de transporte SAP

Para projetar e executar jobs de replicação no Cloud Data Fusion, o são entregues como arquivos de transporte SAP arquivados em um arquivo ZIP. O download estará disponível quando você Implante o plug-in no hub do Cloud Data Fusion.

Fazer o download do arquivo ZIP de transporte do SAP SLT

Os IDs de solicitação de transporte SAP e os arquivos associados são fornecidos abaixo tabela:

ID do transporte	Cofile	Arquivo de dados	Conteúdo
ED1K900520	K900520.ED1	R900520.ED1	Implementação do SAP BADI ES_IUUC_REPL_RUNTIME_OLO_EXIT
ED1K900337	K900337.ED1	R900337.ED1	Papel de autorização /GOOG/SLT_CDF_AUTH

Para instalar os transportes SAP, siga estas etapas:

Etapa 1: fazer upload dos arquivos de solicitação de transporte

1. Faça login no sistema operacional da instância SAP.
2. Use o código de transação SAP AL11 para ver o caminho da pasta DIR_TRANS. Normalmente, o caminho é /usr/sap/trans/.
3. Copie os arquivos compartilhados para a pasta DIR_TRANS/cofiles.
4. Copie os arquivos de dados para a pasta DIR_TRANS/data.
5. Defina o usuário e o grupo de dados e o coarquivo como <sid>adm e sapsys.

Etapa 2: importar os arquivos de solicitação de transporte

O administrador da SAP pode importar os arquivos de solicitação de transporte usando o sistema de gerenciamento de transporte SAP ou o sistema operacional:

Sistema de gerenciamento de transporte SAP

1. Faça login no sistema SAP como administrador da SAP.
2. Digite o STMS da transação.
3. Clique em Visão geral > Importações.
4. Na coluna "Fila", clique duas vezes no SID atual.
5. Clique em Extras > Outras solicitações > Adicionar.
6. Selecione o ID da solicitação de transporte e clique em Continuar.
7. Selecione a solicitação de transporte na fila de importação e clique em Solicitar > Importar.
8. Digite o número do cliente.

9. Na guia Opções, selecione Substituir originais e Ignorar a versão inválida do componente (se disponível).

   Opcional: para importar novamente os transportes mais tarde, clique em Deixar solicitações de transporte na fila para importação posterior e Importe as solicitações de transporte novamente. Isso é útil para casos em que o atualizações e restaurações de backup.

10. Clique em Continuar.

11. Verifique se o módulo da função e os papéis de autorização foram importados com êxito usando transações, como SE80 e PFCG.

Sistema operacional

1. Faça login no sistema SAP como administrador da SAP.

2. Adicione solicitações ao buffer de importação:

   tp addtobuffer TRANSPORT_REQUEST_ID SID
   

   Por exemplo: tp addtobuffer IB1K903958 DD1

3. Importe as solicitações de transporte:

   tp import TRANSPORT_REQUEST_ID SID client=NNN U1238
   

   Substitua NNN pelo número do cliente. Por exemplo: tp import IB1K903958 DD1 client=800 U1238

   Observação: U1238 indica a definição das opções descritas nas etapas de 9 a 10 na Opção 1. Os números indicam número de pedido da opção correspondente na interface do usuário do SAP, o que pode variam de acordo com o sistema. Os números precisam ser ajustados pelo administrador do SAP.

4. Verifique se o módulo da função e os papéis de autorização foram importados com êxito usando as transações apropriadas, como SE80 e PFCG.

Autorizações SAP necessárias

Para executar um pipeline de dados no Cloud Data Fusion, você precisa de um usuário SAP. O sistema SAP o usuário precisa ser do tipo "Comunicações" ou "Caixa de diálogo". Para evitar o uso de recursos de caixa de diálogo do SAP, o tipo de comunicação é recomendado. Os usuários podem ser criados pelo administrador do SAP usando o código de transação SU01.

As autorizações SAP são necessárias para manter e configurar o conector para SAP, uma combinação de objetos de autorização padrão e novos do conector SAP. Você manter objetos de autorização com base nas políticas de segurança da sua organização. A lista a seguir descreve algumas autorizações importantes necessárias para os conector:

• Objeto de autorização: o objeto de autorização ZGOOGCDFMT é enviado como parte do papel de solicitação de transporte.

• Criação de papel: crie um papel usando o código de transação PFCG.

  

• Para objetos de autorização SAP padrão, sua organização gerencia permissões com mecanismo de segurança próprio.

• Para objetos de autorização personalizados, forneça valores nos campos de autorização para objetos de autorização ZGOOGCDFMT.

• Para controle de acesso detalhado, o ZGOOGCDFMT oferece autorização com base em grupos de autorização. Usuários com acesso total, parcial ou nenhum acesso a os grupos de autorização recebem acesso com base no atribuídas na função.

• /GOOG/SLT_CDF_AUTH: papel com acesso a todos os grupos de autorização. Para restringir o acesso específico a um determinado grupo de autorização, mantenha o grupo de autorização FICDF na configuração.

Observação: se o grupo de autorização for deixado em branco, o usuário ainda poderá acessar o no LTRC. Portanto, de acordo com as práticas recomendadas da SAP, é aconselhável especificar ao grupo de autorização (ao criar uma configuração ou depois de criou uma configuração na guia "Administração" na transação LTRC).

Criar um destino RFC para a origem

Antes de começar a configuração, verifique se a conexão RFC está estabelecida entre a origem e o destino.

1. Acesse o código da transação SM59.

2. Clique em Criar > Tipo de conexão 3 (conexão ABAP).

   

3. Na janela Configurações técnicas, insira os detalhes do RFC. Destino.

4. Clique na guia Logon e segurança para manter as credenciais RFC (RFC usuário e senha).

5. Clique em Salvar.

6. Clique em Teste de conexão. Após um teste bem-sucedido, você pode continuar.

7. Verifique se o teste de autorização de RFC foi concluído.

8. Clique em Utilities > Test > Authorization Test.

Configurar o plug-in

Para configurar o plug-in, implante-o no Hub, crie um de replicação do job e configurar a origem e o destino com o etapas a seguir.

Implantar o plug-in no Cloud Data Fusion

O usuário do Cloud Data Fusion executa as etapas a seguir.

Antes de executar o job de replicação do Cloud Data Fusion, implante o plug-in de replicação do SAP SLT:

1. Acesse sua instância:

   1. No console do Google Cloud, acesse a página Instâncias do Cloud Data Fusion.

      Acesse "Instâncias"

   2. Ative a replicação em uma instância nova ou atual:

      • Para uma nova instância, clique em Criar instância, insira uma instância clique em Adicionar aceleradores, depois selecione a opção Replicação e clique em Salvar.
      • Para uma instância atual, consulte Ativar a replicação em uma instância atual.

   3. Clique em Visualizar instância para abrir a instância no Interface da Web do Cloud Data Fusion.

2. Clique em Hub.

3. Acesse a guia SAP, clique em SAP SLT e em Plug-in SAP SLT Replication ou Plug-in SAP SLT No RFC Replication.

   Observação: se a guia SAP não estiver visível, consulte Solução de problemas de integrações do SAP.

4. Clique em Implantar.

Criar um job de replicação

O plug-in de replicação SAP SLT lê o conteúdo das tabelas da SAP usando um bucket de preparação da API Cloud Storage.

Para criar um job de replicação para a transferência de dados, siga estas etapas:

Observação: (M) indica que as macros são compatíveis.

1. Na instância aberta do Cloud Data Fusion, clique em Início >. Replicação > Criar um job de replicação. Se não houver a opção Replicação, ative a replicação para a instância.

2. Insira um Nome e uma Descrição exclusivos para o de replicação do job.

3. Clique em Próxima.

Configurar a origem

1. Configure a fonte inserindo valores nos seguintes campos:

   • ID do projeto: o ID do seu projeto do Google Cloud (este campo é preenchido automaticamente).

   • Caminho do GCS de replicação de dados: o caminho do Cloud Storage que que contém dados para replicação. Ele precisa ser o mesmo caminho configurado nos jobs do SAP SLT. Internamente, o caminho fornecido é concatenado com Mass Transfer ID e Source Table Name:

     Formato: gs://<base-path>/<mass-transfer-id>/<source-table-name>

     Exemplo: gs://slt_bucket/012/MARA

   • GUID: o GUID do SLT, um identificador exclusivo atribuído ao SAP SLT Mass. ID da transferência

   • ID de transferência em massa: o ID de transferência em massa do SLT é um identificador exclusivo atribuído à configuração no SAP SLT.

   • Caminho do GCS da biblioteca SAP JCo: o caminho de armazenamento que contém o enviados pelo usuário. É possível fazer o download das bibliotecas SAP JCo no portal de suporte da SAP. (Removido na versão 0.10.0 do plug-in.)

   • SLT Server Host: nome do host do servidor SLT ou endereço IP. (Removido em do plug-in versão 0.10.0.)

   • Número do sistema SAP: número do sistema de instalação fornecido pelo administrador do sistema (por exemplo, 00). (Removido na versão 0.10.0 do plug-in.)

   • Cliente SAP: o cliente SAP a ser usado (por exemplo, 100). (Removido na versão 0.10.0 do plug-in).

   • Linguagem SAP: idioma de logon SAP (por exemplo, EN). (Removido em do plug-in versão 0.10.0.)

   • Nome de usuário de logon SAP: nome de usuário SAP. Removido na versão 0.10.0 do plug-in.

     • Recomendado: se o nome de usuário de login do SAP for alterado periodicamente, use um .

   • Senha de logon SAP (M): senha de usuário SAP para autenticação de usuário.

     • Recomendado: use macros seguras para valores sensíveis, como senhas. Removido na versão 0.10.0 do plug-in.

   • Suspender a replicação do SLT quando o job de CDF for interrompido: tenta interromper o SLT de replicação (para as tabelas envolvidas) quando o O job de replicação do Cloud Data Fusion é interrompido. Pode falhar se o job no Cloud Data Fusion é interrompido inesperadamente.

   • Replicar dados atuais: indica se é necessário replicar os dados atuais. das tabelas de origem. Por padrão, os jobs replicam os dados atuais das tabelas de origem. Se definido como false, todos os dados existentes nas tabelas de origem são ignorados, e apenas as mudanças que acontecem após o início do job são replicadas.

   • Chave da conta de serviço: a chave usada ao interagir com Cloud Storage. A conta de serviço precisa ter permissão para gravar para o Cloud Storage. Quando executado em uma VM do Google Cloud, precisa ser definido como auto-detect para usar a conta de serviço anexada ao VM.

     Observação: as chaves de conta de serviço poderão causar problemas de segurança se não forem gerenciadas corretamente. Sempre que possível, escolha uma alternativa mais segura do que as chaves de conta de serviço. Caso seja necessário autenticar com uma chave de conta de serviço, você será responsável pela segurança da chave privada e por outras operações descritas em Práticas recomendadas para gerenciar chaves de contas de serviço. Se não for possível criar uma chave de conta de serviço, a criação pode ser desativada para sua organização. Para mais informações, consulte Gerenciar recursos da organização com segurança por padrão.

2. Clique em Próxima.

Configurar o destino

Para gravar dados no BigQuery, o plug-in precisa de acesso de gravação ao BigQuery e a um bucket de estágio. Os eventos de mudança são gravados primeiro em lotes do SLT para o Cloud Storage. Em seguida, elas são carregadas em tabelas de preparo no BigQuery. As mudanças da tabela de preparação são mescladas na tabela de destino final usando uma consulta de mesclagem do BigQuery.

A tabela final de destino inclui todas as colunas originais da tabela de origem. mais uma coluna _sequence_num adicional. O número de sequência garante que os dados não sejam duplicados ou perdidos em cenários de falha do replicador.

1. Configure a origem inserindo valores nos seguintes campos:

   • ID do projeto: projeto do conjunto de dados do BigQuery. Durante a execução em um cluster do Dataproc, esse atributo pode ser deixado em branco, o que vai usar o projeto do cluster.
   • Credenciais: consulte Credenciais.
   • Chave da conta de serviço: o conteúdo da chave da conta de serviço a ser usado ao interagir com o Cloud Storage e o BigQuery. Quando em execução em um cluster do Dataproc, esse valor ficará em branco, que usa a conta de serviço do cluster.
   • Nome do conjunto de dados: nome do conjunto de dados a ser criado em no BigQuery. É opcional e, por padrão, o nome do conjunto de dados é o mesmo que o nome do banco de dados de origem. Um nome válido só pode conter letras, números e sublinhados, e o comprimento máximo é de 1.024 caracteres. Todos os caracteres inválidos são substituídos por sublinhados no nome do conjunto de dados final, e todos os caracteres que excedem o limite de comprimento são truncados.
   • Nome da chave de criptografia: a chave de criptografia gerenciada pelo cliente (CMEK) usada para proteger os recursos criados por esse destino. O nome da chave de criptografia precisa estar no formato projects/<project-id>/locations/<key-location>/keyRings/<key-ring-name>/cryptoKeys/<key-name>.
   • Local: o local em que o conjunto de dados do BigQuery e o bucket de preparação do Cloud Storage são criados. Por exemplo, us-east1. para buckets regionais, us para buckets multirregionais (consulte Locais). Esse valor será ignorado se um valor bucket de preparação, e o bucket do BigQuery são criados no mesmo local desse bucket.

   • Bucket de preparo: o bucket em que os eventos de alteração são gravados antes de são carregados nas tabelas de preparo. As alterações são gravadas em um diretório contém o nome e o namespace do replicador. É seguro usar o mesmo bucket em vários replicadores na mesma instância. Se ele for compartilhado por replicadores em várias instâncias, verifique se o namespace e o nome são exclusivos. Caso contrário, o comportamento será indefinido. O bucket precisa estar no mesmo local que o conjunto de dados do BigQuery. Se não for fornecido, um novo bucket será criado para cada job com o nome df-rbq-<namespace-name>-<job-name>-<deployment-timestamp>.

     Observação: é necessário excluir o bucket explicitamente após a exclusão do job.

   • Intervalo de carregamento (segundos): número de segundos a serem aguardados antes de carregar um lote de dados no BigQuery.

   • Prefixo da tabela de preparação: as mudanças são gravadas primeiro em uma tabela de preparação antes de serem mescladas à tabela final. Os nomes das tabelas de preparação são gerados preenchendo esse prefixo ao nome da tabela de destino.

   • Exigir intervenção manual de queda: se é necessária uma intervenção manual ação administrativa para remover tabelas e conjuntos de dados quando uma tabela ou soltar um evento de banco de dados for encontrado. Quando definido como verdadeiro, o replicador não ou excluir uma tabela ou conjunto de dados. Em vez disso, ele falha e tenta novamente até que a tabela ou o conjunto de dados não exista. Se o conjunto de dados ou a tabela não existir, nenhuma intervenção manual será necessária. O evento é pulado normalmente.

   • Ativar exclusões reversíveis: se definida como verdadeira, quando um evento de exclusão for recebido pelo o destino, a coluna _is_deleted do registro é definida como true. Caso contrário, o registro será excluído da tabela do BigQuery. Esta configuração não opera para uma origem que gera eventos fora de ordem e os registros são sempre excluídos de forma reversível da tabela do BigQuery.

2. Clique em Próxima.

Credenciais

Se o plug-in for executado em um cluster do Dataproc, a chave da conta de serviço precisa ser definida como detecção automática. As credenciais são lidas automaticamente do ambiente do cluster.

Se o plug-in não for executado em um cluster do Dataproc, o caminho para uma chave de conta de serviço precisará ser fornecido. A chave da conta de serviço pode ser encontrada na página do IAM no console do Google Cloud. Verifique se a chave da conta tem permissão para acessar o BigQuery. O arquivo de chave da conta de serviço precisa estar disponível em todos os nós do cluster e ser legível para todos; usuários que executam o job.

Observação: as chaves de conta de serviço poderão causar problemas de segurança se não forem gerenciadas corretamente. Você é responsável pela segurança da chave privada e por outras operações descritas em Práticas recomendadas para gerenciar chaves de contas de serviço. Se não for possível criar uma chave de conta de serviço, a criação pode ser desativada para sua organização. Para mais informações, consulte Gerenciar recursos da organização com segurança por padrão.

Limitações

• As tabelas precisam ter uma chave primária para serem replicadas.
• As operações de renomeação de tabela não são compatíveis.
• As alterações de tabela têm suporte parcial.
  • Uma coluna não anulável existente pode ser alterada para se tornar uma coluna anulável.
  • É possível adicionar novas colunas anuláveis a uma tabela existente.
  • Qualquer outro tipo de alteração no esquema da tabela vai falhar.
  • As alterações na chave primária não falharão, mas os dados existentes não serão reescrito para obedecer exclusividade na nova chave primária.

Selecionar tabelas e transformações

Na etapa Selecionar tabelas e transformações, uma lista de tabelas selecionadas para replicação no sistema SLT aparece.

1. Selecione as tabelas a serem replicadas.
2. Opcional: selecione outras operações de esquema, como Inserções, Atualizações ou Exclusões.
3. Para ver o esquema, clique em Colunas a serem replicadas em uma tabela.

4. Opcional: para renomear colunas no esquema, siga estas etapas:

   1. Ao visualizar o esquema, clique em Transformar > Renomear.
   2. No campo Rename, insira um novo nome e clique em Apply.
   3. Para salvar o novo nome, clique em Atualizar e Salvar.
   Observação :a renomeação é compatível com o Cloud Data Fusion 6.9 e versões mais recentes.

5. Clique em Próxima.

Opcional: configurar propriedades avançadas

Se você souber quantos dados está replicando em uma hora, poderá selecione a opção apropriada.

Revisar avaliação

A etapa Analisar avaliação verifica problemas de esquema, recursos ausentes ou problemas de conectividade que ocorrem durante a replicação.

1. Na página Avaliar avaliação, clique em Conferir mapeamentos.

   Se ocorrer algum problema, ele precisará ser resolvido antes de continuar.

2. Opcional: se você renomeou colunas ao selecionar as tabelas e as transformações, verifique se os novos nomes estão corretos nesta etapa.

3. Clique em Próxima.

Conferir o resumo e implantar o job de replicação

Na página Revisão dos detalhes do job de replicação, revise as configurações e clique em Implantar job de replicação.

Selecionar um perfil do Compute Engine

1. Depois de implantar o job de replicação, clique em Configurar em qualquer página da interface da Web do Cloud Data Fusion.

2. Selecione o perfil do Compute Engine que você quer usar para executar de replicação do job.

3. Clique em Salvar.

   

Iniciar o job de replicação

• Para executar o job de replicação, clique em Iniciar.

Opcional: otimizar o desempenho

Por padrão, o plug-in é configurado para desempenho ideal. Para obter para otimizações, consulte Argumentos do ambiente de execução.

O desempenho da comunicação do SLT e do Cloud Data Fusion depende das estes fatores:

• SLT no sistema de origem versus um sistema de SLT central dedicado (preferencial )
• Processamento de jobs em segundo plano no sistema de SLT
• Processos de trabalho de caixa de diálogo no sistema SAP de origem
• O número de processos de jobs em segundo plano alocados para cada ID de transferência em massa na guia Administração do LTRC
• Configurações de LTRS
• Hardware (CPU e memória) do sistema de SLT
• O banco de dados usado (por exemplo, HANA, Sybase ou DB2)
• A largura de banda da Internet (conectividade entre o sistema SAP e Google Cloud pela Internet)
• Utilização (carga) preexistente no sistema
• O número de colunas na tabela. Com mais colunas, a replicação fica lenta e a latência pode aumentar.

Os seguintes tipos de leitura nas configurações de LTRS são recomendados para cargas iniciais:

Sistema de SLT	Sistema de origem	Tipo de tabela	Tipo de leitura recomendado [carregamento inicial]
SLT 3.0 autônomo [DMIS 2018_1_752 SP 2]	S/4 HANA 1909	Transparente (pequena/média) Transparente (grande) Tabela de clusters	1 cálculo de intervalo 1 cálculo de intervalo 4 filas de remetentes
SLT incorporado [S4CORE 104 HANA 1909]	N/A	Transparente (pequena/média) Transparente (grande) Tabela de clusters	1 cálculo de intervalo 1 cálculo de intervalo Fila de 4 remetentes
SLT 2.0 independente [DMIS 2011_1_731 SP 17]	ECC NW 7.02	Transparente (pequena/média) Transparente (grande) Tabela de cluster	Fila de 5 remetentes Fila de 5 remetentes Fila de 4 remetentes
SLT incorporado [DMIS 2011_1_700 SP 17]	N/A	Transparente (pequena/média) Transparente (grande) Tabela de clusters	Fila de 5 remetentes Fila de 5 remetentes Fila de 4 remetentes

• Para replicação, use "Sem intervalos" para melhorar o desempenho:
  • Os intervalos só devem ser usados quando os backlogs são gerados em uma tabela de registro com alta latência.
  • Usando o cálculo de um intervalo: o tipo de leitura da carga inicial não é recomendado em caso de sistemas SLT 2.0 e não HANA.
  • Usar um cálculo de intervalo: o tipo de leitura para o carregamento inicial pode resultar em registros duplicados no BigQuery.
• O desempenho é sempre melhor quando um sistema de SLT autônomo é usado.
• Um sistema SLT independente é sempre recomendado se a utilização de recursos do sistema de origem já for alta.

Argumentos de ambiente de execução

• snapshot.thread.count: transmite o número de linhas de execução para começar. executar carregamento de dados SNAPSHOT/INITIAL em paralelo. Por padrão, ele usa o número de vCPUs disponíveis no cluster do Dataproc em que o job de replicação é executado.

  Recomendado: defina esse parâmetro somente nos casos em que for necessário um controle preciso sobre o número de sequências paralelas (por exemplo, para diminuir o uso em cluster).

• poll.file.count: transmite o número de arquivos a serem consultados do caminho do Cloud Storage fornecido no campo Caminho do GCS de replicação de dados na interface da Web. Por padrão, o valor é 500 por pesquisa, mas, com base na configuração do cluster, ele pode ser aumentado ou diminuído.

  Recomendado: defina esse parâmetro somente se tiver requisitos rígidos para atraso de replicação. Valores mais baixos podem reduzir o atraso. Ele pode ser usado para melhorar a capacidade (se não responder, use valores maiores que o padrão).

• bad.files.base.path: transmite o caminho de base do Cloud Storage em que todos os arquivos de dados com erros ou com falhas encontrados durante a replicação são copiados. Isso é útil quando há requisitos rigorosos de dados auditoria e um local específico deve ser usado para gravar transferências de dados.

  Por padrão, todos os arquivos com falha são copiados do caminho do Cloud Storage fornecido no campo Data Replication Cloud Storage Path na interface da Web.

  • Padrão de caminho final de arquivos de dados com falha:

    gs://BASE_FILE_PATH/MASS_TRANSFER_ID/SOURCE_TABLE_NAME/bad_files/REPLICATION_JOB_NAME/REPLICATION_JOB_ID/BAD_FILE_NAME
    

  • Exemplo:

    gs://slt_to_cdf_bucket/001/MARA/bad_files/MaraRepl/05f97349-7398-11ec-9443-8
    ac0640fc83c/20220205_1901205168830_DATA_INIT.xml
    

  Os critérios para um arquivo inválido são um arquivo XML corrompido ou inválido, valores de PK ausentes ou um problema de incompatibilidade de tipo de dados de campo.

Detalhes do suporte

Produtos e versões compatíveis da SAP

• Versão SAP_BASIS 702, nível SP 0016 e mais recente.
• Versão SAP_ABA 702, nível SP 0016 e mais recente.
• Versão DMIS 2011_1_700, nível de SP 0017 e mais recente.

Versões do SLT com suporte

As versões 2 e 3 do SLT são compatíveis.

Modelos de implantação SAP compatíveis

SLT como um sistema independente ou incorporado ao sistema de origem.

Notas SAP que precisam ser implementadas antes de você começar a usar o SLT

Se o pacote de suporte não incluir correções de classe /UI2/CL_JSON para PL 12 ou posterior, implemente a nota SAP mais recente para correções da classe /UI2/CL_JSON. por exemplo, a Nota SAP 2798102 para PL12.

Recomendado: implemente as notas SAP recomendadas pelo relatório CNV_NOTE_ANALYZER_SLT com base na condição do sistema central ou de origem. Para mais informações, consulte a Nota SAP 3016862 (é necessário fazer login no SAP).

Se a SAP já estiver configurada, nenhuma outra observação vai precisar ser implementado. Para erros ou problemas específicos, consulte a central de notas da SAP para sua versão do SLT.

Limites para o volume de dados ou a largura do registro

Não há limite definido para o volume de dados extraídos e a largura do registro.

Capacidade esperada do plug-in SAP SLT Replication

Para um ambiente configurado de acordo com as diretrizes em Otimizar o desempenho, o plug-in pode extrair informações 13 GB por hora para o carregamento inicial e 3 GB por hora para a replicação (CDC). O desempenho real pode variar de acordo com o sistema do Cloud Data Fusion e do SAP carga ou tráfego de rede.

Suporte para extração de deltas SAP (dados alterados)

A extração delta da SAP é compatível.

Obrigatório: peering de locatário para instâncias do Cloud Data Fusion

O peering de locatário é necessário quando a instância do Cloud Data Fusion criada com um endereço IP interno. Para mais informações sobre o peering de locatário, consulte Como criar uma instância particular.

Resolver problemas

O job de replicação continua reiniciando

Se o job de replicação continuar reiniciando automaticamente, aumente o a memória do cluster do job de replicação e execute novamente de replicação do job.

Duplicados no coletor do BigQuery

Se você definir o número de jobs paralelos nas configurações avançadas do plug-in de replicação do SAP SLT, quando as tabelas forem grandes, um erro vai ocorrer, causando a duplicação de colunas no coletor do BigQuery.

Para evitar o problema, remova os jobs paralelos para carregar dados.

Cenários de erro

A tabela a seguir lista algumas mensagens de erro comuns (o texto entre aspas será substituídos por valores reais no ambiente de execução):

ID da mensagem	Mensagem	Ação recomendada
CDF_SAP_SLT_01402	Service account type is not defined for SERVICE_ACCT_NAME_FROM_UI.	Verifique se o caminho do Cloud Storage fornecido está correto.
CDF_SAP_SLT_01403	Service account key provided is not valid due to error: ROOT_CAUSE. Please provide a valid service account key for service account type : SERVICE_ACCT_NAME_FROM_UI.	Verifique a causa raiz exibida na mensagem e tome as medidas adequadas.
CDF_SAP_SLT_01404	Mass Transfer ID could not be found. Please ensure that it exists in given GCS Bucket.	Confira se o ID de transferência em massa fornecido está no formato correto.
CDF_SAP_SLT_01502	The specified data replication GCS path 'slt_to_cdf_bucket_1' or Mass Transfer ID '05C' could not be found. Please ensure that it exists in GCS.	Verifique se o caminho do Cloud Storage fornecido está correto.
CDF_SAP_SLT_01400	Metadata file not found. The META_INIT.json file is not present or file is present with invalid format.	Verifique a causa raiz exibida na mensagem e tome as medidas adequadas à ação.
CDF_SAP_SLT_03408	Failed to start the event reader.	Verifique a causa raiz exibida na mensagem e tome as medidas adequadas.
CDF_SAP_SLT_03409	Error while processing TABLE_NAME file for source table gs://CLOUD_STORAGE_BUCKET_NAME/MT_ID/TABLE_NAME /FILE_NAME. Root cause: ROOT_CAUSE.	Verifique a causa raiz exibida na mensagem e tome as medidas adequadas.
CDF_SAP_SLT_03410	Failed to replicate data for source table TABLE_NAME from file: gs://CLOUD_STORAGE_BUCKET_NAME/MT_ID/ TABLE_NAME/FILE_NAME. Root cause: ROOT_CAUSE.	Verifique a causa raiz exibida na mensagem e tome as medidas adequadas.
CDF_SAP_SLT_03411	Failed data replication for source table TABLE_NAME. Root cause: ROOT_CAUSE.	Verifique a causa raiz exibida na mensagem e tome as medidas adequadas à ação.
CDF_SAP_SLT_03412	Failed to create target table for source table TABLE_NAME. Root cause: ROOT_CAUSE.	Verifique a causa raiz exibida na mensagem e tome as medidas adequadas.

Mapeamento de tipo de dados

A tabela a seguir mostra o mapeamento entre os tipos de dados usados nos aplicativos SAP e o Cloud Data Fusion.

Tipo de dados do SAP	Tipo ABAP	Descrição (SAP)	Tipo de dados do Cloud Data Fusion
Numérico
INT1	b	Inteiro de 1 byte	int
INT2	s	Inteiro de 2 bytes	int
INT4	i	Inteiro de 4 bytes	int
INT8	8	Inteiro de 8 bytes	long
DEZ	p	Número no pacote no formato BCD (DEC)	decimal
DF16_DEC DF16_RAW	a	Ponto flutuante decimal de 8 bytes IEEE 754r	decimal
DF34_DEC DF34_RAW	e	Ponto flutuante decimal de 16 bytes IEEE 754r	decimal
FLTP	f	Número de ponto flutuante binário	double
Caractere
CHAR LCHR	c	String de caracteres	string
SSTRING GEOM_EWKB	string	String de caracteres	string
STRING GEOM_EWKB	string	CLOB de string de caracteres	bytes
NUMC ACCP	n	Texto numérico	string
Byte
RAW LRAW	x	Dados binários	bytes
RAWSTRING	string extra	String de bytes BLOB	bytes
Data/hora
DATS	d	Data	date
Tims	t	Hora	time
TIMESTAMP	utcl	( Utclong ) Carimbo de data/hora	timestamp

A seguir

• Saiba mais sobre o Cloud Data Fusion.
• Saiba mais sobre Go no Google Cloud.