Versão 2.0: guia de operações do BigQuery Connector para SAP

Este guia mostra aos administradores do SAP LT Replication Server, engenheiros de dados SAP ou a outras pessoas como executar tarefas operacionais, como ajuste de desempenho e atualizações de versões, para as versões 2.0 e 2.1 do BigQuery Connector para SAP.

Como ajustar o desempenho da replicação

O desempenho da replicação pode ser afetado por vários fatores. Os fatores específicos que se aplicam podem ser diferentes de instalação para instalação e podem mudar com o tempo.

As seções a seguir fornecem orientações sobre como ajustar alguns dos fatores mais comuns que podem afetar o desempenho.

Para mais informações sobre o desempenho da replicação com o conector do BigQuery para SAP, consulte Planejamento de desempenho.

Definir opções de desempenho para tabelas

No SAP LT Replication Server, é possível especificar opções de replicação para cada tabela que afetam o desempenho.

Em particular, o desempenho da replicação de tabelas grandes, que requer mais tempo e recursos para replicação, pode se beneficiar da especificação de intervalos e do aumento do número máximo de jobs de replicação paralela que podem ser usados para a tabela.

Exemplos de tabelas que geralmente crescem grandes são MSEG, ACDOCA e MATDOC, entre outros.

Ao especificar jobs de replicação paralela para tabelas grandes, você precisa equilibrar o número de jobs paralelos permitidos para qualquer tabela em comparação com o número total de jobs paralelos permitidos na configuração de transferência em massa. de dados. A organização também pode limitar o número de jobs de replicação paralelas que podem ser especificados para um determinado servidor.

Para definir opções de desempenho para uma tabela:

  1. Na GUI do SAP, insira a transação SAP LTRS.

  2. Na tela Configurações avançadas de replicação, especifique o ID da configuração de transferência em massa da tabela.

  3. Na hierarquia de pastas Configurações avançadas de replicação, clique na pasta Opções de desempenho para exibir as tabelas com opções de desempenho definidas.

  4. Se a tabela necessária não estiver listada, clique com o botão direito do mouse na pasta Opções de desempenho e selecione Adicionar tabela.

  5. Especifique um nome para a tabela.

  6. Especifique as seguintes opções conforme necessário:

    • Em Opções gerais de desempenho:
      • Não. de jobs paralelos, para definir o número máximo de jobs de replicação paralela que podem ser usados na tabela.
      • Número de sequência: para priorizar a replicação dessa tabela em relação a outras replicações de tabela.
    • Em Initial Load Options:
      • Em Tipo de leitura, selecione Cálculo de intervalo de tipo de leitura 1, se a tabela não for muito grande. Para mais informações, consulte Desempenho e as configurações avançadas de replicação LTRS.
      • Em Tamanho do pacote, especifique o tamanho em bytes das partes dos registros que são enviados para o SAP LT Replication Server.
      • Se você selecionar um tipo de leitura que use intervalos, defina intervalos adequados.
    • Em Opção de replicação:
      • Em Intervalos para a tabela do Logging, especifique Sem intervalos para a opção mais confiável.
      • Se você selecionar Especificar intervalos para manualmente, defina os intervalos apropriados.

  7. Clique em Salvar.

Comparativo de mercado de desempenho

Para ajudar a avaliar o desempenho da replicação, esta seção contém números de desempenho de referência observados nos sistemas de teste do Google Cloud.

Devido aos muitos fatores diferentes que afetam o desempenho, é provável que os números de desempenho variem.

Por exemplo, se os sistemas SAP não estiverem sendo executados no Google Cloud, as taxas de carga e replicação poderão ser mais lentas do que as taxas de referência devido a fatores como latência de rede e sobrecarga associada a tokens de acesso. Se a tabela de origem tiver menos colunas ou se você instalar o SAP LT Replication Server no próprio servidor em uma arquitetura independente, suas taxas poderão ser mais rápidas porque o SAP LT Replication Server não precisa competir com o sistema de origem dos recursos.

Números observados de desempenho do valor de referência

Os números de desempenho a seguir representam o desempenho do valor de referência observado pelo Google Cloud para cada tipo de sistema de origem durante o teste. Em cada sistema de teste, o SAP LT Replication Server foi instalado no sistema de origem da SAP em uma arquitetura incorporada nas VMs do Compute Engine. O sistema de origem SAP estava em execução na mesma região do Google Cloud que o conjunto de dados de destino do BigQuery.

Para informações sobre a configuração dos sistemas de teste, consulte Configuração do sistema de teste de desempenho do valor de referência.

Para ver os números de desempenho, clique no tipo do sistema de origem:

S/4HANA

  • Tabela: ACDOCA
    • 343 milhões de registros
    • 477 colunas
  • Carregamento inicial
    • Taxa de carregamento: em média, 350 milhões de registros por hora
    • Duração do carregamento: em média, 59 minutos
  • Replicação
    • Taxa de alteração da tabela de origem: em média, 50 milhões de registros por hora
    • Taxa de replicação máxima: em média, 50 milhões de registros por hora

ECC

  • Tabela: MSEG
    • 203 milhões de registros
    • 188 colunas
  • Carregamento inicial
    • Taxa de carregamento: em média, 385 milhões de registros por hora
    • Duração do carregamento: em média, 32 minutos
  • Replicação
    • Taxa de alteração da tabela de origem: em média, 50 milhões de registros por hora
    • Taxa de replicação máxima: em média, 69 milhões de registros por hora

Os números de desempenho anteriores são os valores de referência que os testadores do Google Cloud observaram.

O desempenho observado foi melhor em sistemas de teste que tinham os seguintes atributos:

  • O SAP LT Replication Server foi instalado na própria VM em uma arquitetura autônoma.
    • Para os sistemas S/4HANA, foi observado que uma arquitetura independente tem uma taxa de carregamento inicial aproximadamente 42% mais rápida do que uma arquitetura incorporada, devido ao escalonamento independente dos processos do SAP LT Replication Server.
    • Para sistemas ECC, foi observado que uma arquitetura independente tem uma taxa de carregamento inicial aproximadamente 10% mais rápida do que uma arquitetura incorporada, devido ao escalonamento independente dos processos do SAP LT Replication Server.
  • A tabela de origem tinha menos colunas.
  • O tamanho geral dos bytes dos registros era menor.

Para informações sobre os atributos do sistema que podem ser modificados para melhorar o desempenho, consulte:

Configuração do sistema de teste de desempenho do valor de referência

Os sistemas de teste descritos nesta seção produziram os números de desempenho do valor de referência listados na seção anterior, Números observados de desempenho do valor de referência.

Os sistemas de teste, incluindo o sistema de origem SAP, o SAP LT Replication Server e o conjunto de dados do BigQuery, estavam sendo executados em VMs do Compute Engine na mesma região do Google Cloud.

Em cada sistema, os servidores e a carga de trabalho foram projetados para simular uma carga de trabalho mais pesada e um volume de replicação maior que você provavelmente encontrará em muitas instalações reais.

Para ver os atributos do sistema de teste, clique no tipo do sistema de origem:

S/4HANA

  • Arquitetura de instalação do SAP LT Replication Server:
    • Arquitetura incorporada
  • Servidores do sistema de origem:
    • Dois servidores de aplicativos, cada um em um tipo de máquina personalizado do Compute Engine baseado em N2 com as seguintes especificações:
      • vCPUs: 60
      • Memória: 324 GB
      • Plataforma de CPU: Intel Cascade Lake
    • Um servidor SAP HANA em uma VM m1-ultramem-80 do Compute Engine com as seguintes especificações:
      • vCPUs: 80
      • Memória: 1.900 GB
      • Plataforma de CPU: Intel Broadwell
  • Versões de software:
    • S/4HANA 1909
    • SAP LT Replication Server: S/4CORE 104 SP00
  • Tamanho da tabela:
    • Nome da tabela: ACDOCA, dados gerais de item de linha da entrada do diário.
    • Número de registros: 343 milhões
    • Quantidade de colunas: 477
  • Processos de trabalho em cada servidor de aplicativos:
    • 60 processos de caixas de diálogo
    • 220 processos em segundo plano
  • Configurações de carregamento no SAP LT Replication Server:
    • Jobs: 99
    • Tipo de leitura: 1 intervalo
    • Cálculo: intervalos automáticos
  • Configurações de replicação:
    • Jobs: 99
    • Use os campos de chave para calcular intervalos para a tabela de registros
    • 128 intervalos

ECC

  • Arquitetura de instalação do SAP LT Replication Server:
    • Arquitetura incorporada
  • Servidores do sistema de origem:
    • Dois servidores de aplicativos, cada um em uma VM n2-highmem-48 do Compute Engine com as seguintes especificações:
      • vCPUs: 60
      • Memória: 348 GB
      • Plataforma de CPU: Intel Cascade Lake
  • Versões de software:
    • SAP NetWeaver: 7.0 EHP2
    • SAP LT Replication Server: DMIS 2011_1_700 SP17
  • Tamanho da tabela:
    • Tabela: MSEG, documentos de gerenciamento de inventário de materiais
    • Número de registros: 203 milhões
    • Quantidade de colunas: 188
  • Processos de trabalho em cada servidor de aplicativos:
    • 60 processos de caixas de diálogo
    • 100 processos em segundo plano
  • Configurações de carregamento no SAP LT Replication Server:
    • Jobs: 99
    • Tipo de leitura: 5 remetente
    • Fila: intervalos manuais
  • Configurações de replicação:
    • Jobs: 99
    • Intervalos para a tabela do Logging: use os campos de chave para calcular intervalos
    • Número de intervalos: 128

Transporte as configurações de transferência em massa para a produção

Para transportar as configurações da transferência em massa para a produção, primeiro exporte as configurações de um sistema de desenvolvimento e depois importe-as para o sistema de produção.

Opcionalmente, é possível importar três partes separadas das configurações de uma transferência de massa para produção:

  • As configurações avançadas de replicação, que podem ser acessadas usando a transação LTRS.
  • As configurações da chave de cliente da tabela /GOOG/CLIENT_KEY, que podem ser acessadas usando a transação SM30.
  • As configurações de transferência em massa do BigQuery Connector para SAP, que podem ser acessadas usando a transação /GOOG/SLT_SETTINGS.

Exportar configurações de transferência em massa de um sistema de desenvolvimento

No sistema de desenvolvimento do SAP LT Replication Server, exporte cada parte das configurações de transferência em massa:

  1. Exporte as configurações avançadas de replicação:

    1. Execute a transação LTRS.
    2. Selecione os registros de transferência em massa que você está transportando para a produção.
    3. No menu suspenso Arquivo, selecione Exportar todas as configurações.
    4. Na caixa de diálogo Exportar configurações, selecione um destino e clique em Salvar. As configurações são salvas em um arquivo compactado no formato CSV na estação de trabalho local.

  2. Exporte as configurações de transferência em massa do BigQuery Connector para SAP:

    1. Execute a transação /GOOG/SLT_SETTINGS:

      /n/GOOG/SLT_SETTINGS

    2. No campo Tabela de configurações, selecione Transferência em massa.

    3. Selecione os registros de transferência em massa que você está transportando para a produção.

    4. Clique em Transferência em massa de transporte.

    5. Em Solicitar solicitação do Workbench, insira o número da solicitação de transporte e clique no ícone Continuar. Para cada registro de transferência de massa selecionado, as configurações das tabelas de configuração personalizadas a seguir estão incluídas no transporte:

      • /GOOG/BQ_MASTR
      • /GOOG/BQ_TABLE
      • /GOOG/BQ_FIELD

    As configurações da transferência em massa são salvas em uma solicitação de transporte.

  3. Exporte as configurações da chave do cliente incluindo manualmente o conteúdo da tabela /GOOG/CLIENT_KEY na solicitação de transporte.

  4. Salve os arquivos na estação de trabalho local.

Importar configurações de transferência em massa para um sistema de produção

No sistema de produção do SAP LT Replication Server, importe cada parte das configurações de transferência em massa:

  1. Crie uma configuração de replicação do SAP LT Replication Server para as configurações de transferência em massa.

  2. Importe as configurações avançadas de replicação:

    1. Execute a transação LTRS.
    2. Selecione a transferência em massa que você criou na primeira etapa.
    3. No menu suspenso Arquivo, selecione Importar todas as configurações.
    4. Na caixa de diálogo Escolher arquivo, selecione o arquivo compactado na sua estação de trabalho local e clique em Abrir. As configurações são importadas como configurações para a transferência em massa.

  3. Importe a solicitação de transporte que contém as configurações da transferência em massa.

  4. Execute a transação SM30.

  5. Atualize as configurações da chave do cliente conforme necessário para o ambiente de produção.

  6. Execute a transação /GOOG/SLT_SETTINGS:

    /n/GOOG/SLT_SETTINGS

  7. Verifique se as transferências em massa corretas são exibidas na tela Transferências em massa.

  8. Na coluna Mass Transfer ID, substitua o ID de transferência em massa do sistema de desenvolvimento pelo ID de transferência em massa da configuração de replicação que você criou na primeira etapa.

  9. Nas telas de configurações Tabelas e Campos subsequentes, atualize outros valores para o mapeamento de tabela e campo conforme necessário para o ambiente de produção.

  10. Teste a configuração iniciando um carregamento inicial ou replicação. Para conferir informações sobre como iniciar um carregamento inicial ou uma replicação, consulte:

    • Se o SAP LT Replication Server estiver em execução em uma VM do Compute Engine, teste a replicação.
    • Se o SAP LT Replication Server estiver em execução em um host externo ao Google Cloud, teste a replicação.

Atualizar o BigQuery Connector para SAP

O Google Cloud oferece novas versões do conector do BigQuery para SAP como transportes SAP.

Os administradores do SAP podem atualizar o BigQuery Connector para SAP seguindo estas etapas:

  1. Desative a configuração no SAP LT Replication Server.
  2. Importe a nova solicitação de transporte da SAP.
  3. Depois de validar a importação e a ativação do objeto, ative a configuração no SAP LT Replication Server.

Atualizar a CLI gcloud

É necessário manter a Google Cloud CLI atualizada no host do SAP LT Replication Server.

Para mais informações sobre como gerenciar a CLI gcloud, consulte Como gerenciar componentes da CLI gcloud.

Monitoring

É possível monitorar vários pontos diferentes ao longo do caminho de dados da fonte de dados SAP para a tabela de destino do BigQuery, incluindo:

  • Infraestrutura: rede, hardware e sistema operacional
  • Camada de banco de dados SAP
  • Camada de aplicativos SAP
  • Conector do BigQuery para SAP
  • BigQuery

Suas opções de monitoramento em cada um desses pontos são apresentadas nas subseções a seguir.

Como monitorar a infraestrutura

No Google Cloud, é possível instalar o agente de operações nas VMs do host para monitoramento e geração de registros avançados. O Agente de operações envia os dados para o Cloud Monitoring no console do Google Cloud.

Veja mais informações em:

No caso de sistemas que não estão em execução no Google Cloud, também é possível receber informações do servidor executando transações SAP, como a transação ST06.

Como monitorar a camada do banco de dados

Use códigos de transações padrão da SAP para monitorar a integridade do banco de dados.

O código da transação DBACOCKPIT é o mais comum para monitorar o banco de dados. Essa transação também fornece registros detalhados que podem ser usados para solucionar erros.

Para o SAP HANA, use o SAP HANA Studio para operações do SAP HANA. É possível instalar o SAP HANA Studio em qualquer máquina de front-end.

Ao solucionar problemas de desempenho ou outros problemas, verifique os seguintes itens no banco de dados de origem:

  • Instruções SQL caras
  • Fechaduras
  • Carregar histórico
  • Índices
  • Processos

Como monitorar a camada do aplicativo

Use as ferramentas de solução de problemas e monitoramento de aplicativos SAP para monitorar e solucionar problemas do BigQuery Connector para SAP, porque ele é executado na camada do aplicativo.

O monitoramento e a solução de problemas de aplicativos SAP podem ser ainda classificados no seguinte:

  • Monitoramento e solução de problemas padrão do SAP
  • Conector do BigQuery para monitoramento e solução de problemas SAP

Para cenários maiores, use o Gerenciador de soluções da SAP como uma ferramenta central de monitoramento.

Use os códigos de transação da SAP na lista a seguir para monitorar e diagnosticar problemas em sistemas de aplicativos individuais da SAP:

  • Status de configuração do SLT: LTRC
  • Erros e registros SLT: LTRO e SLG1
  • Gerente de comunicação da Internet (chamadas HTTP e HTTPS): SMICM
  • Segurança e certificados: STRUST
  • Transportes SAP: STMS
  • Conexões RFC: SM59
  • Comando do SO: SM69
  • Verificação do pacote: SE80
  • Verificações de autorização: SU53
  • Jobs em segundo plano: SM37
  • Registos do sistema: SM21

Como monitorar o BigQuery

Use o Cloud Monitoring para visualizar as métricas do BigQuery e criar gráficos e alertas. Cada métrica tem um tipo de recurso, bigquery_dataset, bigquery_project ou global, além de um conjunto de rótulos.

Use os tipos de recursos e os rótulos para criar consultas na Linguagem de consulta de monitoramento (MQL, na sigla em inglês).

É possível agrupar ou filtrar cada métrica usando esses rótulos.

Para mais informações sobre o Monitoring, consulte a documentação do Cloud Monitoring.

Validação de replicação

Se você selecionar a Sinalização de campos extras ao criar a tabela de destino do BigQuery com a transação /GOOG/SLT_SETTINGS, as colunas serão adicionadas ao esquema da tabela para armazenar o tipo de alteração para cada registro que acionou a replicação e para um carimbo de data/hora que reflete a hora em que o servidor de replicação SAP LT recebeu a parte que continha o registro.

É possível usar os tipos de alteração e o carimbo de data/hora para consultar os seguintes tipos de contagem de registro:

  • O número de registros que são carregados em uma tabela do BigQuery durante um carregamento inicial.
  • O número de registros replicados em um dia especificado em uma tabela do BigQuery.
  • O número total de registros exclusivos em uma tabela do BigQuery.

Para receber essas contagens, é possível consultar a tabela do BigQuery diretamente enviando consultas SQL no Console do Google Cloud, ou executar a ferramenta de validação de replicação, que gera relatórios que comparam as contagens de registro do BigQuery com as estatísticas do servidor de replicação SAP LT ou as contagens de registro da tabela de origem.

Para uma visão geral da Sinalização de campos extras, consulte Campos extras para alterações de registro e consultas de contagem.

Para informações sobre como especificar a Sinalização de campos extras, consulte:

Consultas SQL de contagens de registro

Na página Editor do SQL do BigQuery no Console do Google Cloud, é possível executar consultas SQL para verificar as contagens de registros nas tabelas do BigQuery.

Em seguida, compare as contagens de registros do BigQuery com as contagens na tabela de origem ou nas estatísticas do servidor de replicação SAP LT.

Consulte a contagem de registros inseridos no modo de carregamento inicial

Quando um esquema de tabela do BigQuery inclui a coluna operation_flag opcional, os registros inseridos na tabela no modo de carregamento inicial incluem a sinalização de operação L.

Para ver a contagem de registros recebidos pelo BigQuery durante um carregamento inicial, execute a seguinte consulta:

SELECT COUNT(*)
  FROM
      `PROJECT.DATASET.TABLE`
  WHERE operation_flag = 'L'

Consulte o número de registros inseridos no modo de replicação

Quando um esquema de tabela do BigQuery inclui a coluna operation_flag opcional, os registros inseridos na tabela no modo de replicação incluem uma das sinalizações de operação a seguir:

  • I: o registro foi inserido na tabela de origem.
  • D: o registro foi excluído da tabela de origem.
  • U: o registro foi atualizado na tabela de origem.

Para saber o número de registros recebidos pelo BigQuery no modo de replicação, execute a seguinte consulta:

SELECT COUNT(*)
  FROM
      `PROJECT.DATASET.TABLE`
  WHERE operation_flag = 'I' | 'D' | 'U'

Consulte a contagem total de registros em uma tabela do BigQuery

Quando um esquema de tabela do BigQuery inclui a coluna recordstamp opcional, o campo recordstamp correspondente de cada registro inserido na tabela contém um carimbo de data/hora que indica quando o registro foi enviado pelo servidor de replicação SAP LT para o BigQuery.

Para ver uma contagem total dos registros em uma tabela do BigQuery que pode ser comparada com a contagem total dos registros em uma tabela de origem, use os campos recordstamp e is_deleted para contar os dados: registros exclusivos na tabela do BigQuery que não foram excluídos da tabela de origem.

Se a tabela de origem estiver sendo atualizada ou a replicação estiver ativa quando você consultar os registros, a contagem de registros nas tabelas de origem e de destino talvez não corresponda exatamente.

Para receber a contagem atual de registros exclusivos na tabela de destino do BigQuery, execute a seguinte consulta:

SELECT COUNT(*)
  FROM (
    SELECT
      *,
      ROW_NUMBER() OVER (PARTITION BY KEY_FIELD_1, ..., KEY_FIELD_N ORDER BY recordstamp DESC) row_num
    FROM
      `PROJECT.DATASET.TABLE` )
  WHERE row_num = 1 AND is_deleted = false

Ferramenta de validação de replicação

Nesta seção, você terá uma visão geral da ferramenta de validação de replicação e do que pode ser feito com ela.

A ferramenta de validação de replicação gera relatórios para comparar as contagens de registros na tabela do BigQuery com as estatísticas do servidor de replicação SAP LT e as contagens de registros na tabela de origem. Se as contagens não corresponderem exatamente, a ferramenta sinalizará o relatório com um círculo vermelho.

Para contar os registros no BigQuery, a ferramenta usa as consultas SQL mostradas na seção anterior, Consultas SQL para contagens de registros.

Execute a ferramenta de validação de replicação periodicamente para confirmar que o servidor de replicação SAP LT e o BigQuery Connector para SAP estão replicando registros para o BigQuery conforme esperado.

Para executar a ferramenta de Validação de replicação, insira a transação personalizada /GOOG/REPLIC_VALID precedida por /n na GUI do SAP. Para instruções passo a passo, consulte:

Relatórios de validação de replicação

É possível gerar os seguintes relatórios de validação com a ferramenta de validação de replicação:

  • Contagens de carregamento inicial: uma comparação do número de registros que foram enviados pelo servidor de replicação SAP LT no modo de carregamento e do número de registros que foram carregados no BigQuery.
  • Contagens de replicação: uma comparação do número de registros enviados pelo servidor de replicação SAP LT no modo de replicação e do número de registros inseridos no BigQuery em um dia específico.
  • Contagens atuais: uma comparação pontual do número de registros na tabela de origem e de registros exclusivos no BigQuery.

Você pode gerar cada relatório individualmente ou selecionando Todas as verificações ao executar a ferramenta para gerar os três relatórios em uma única execução.

Como exibir relatórios de validação da replicação

Depois de gerar um relatório, é possível exibi-lo selecionando o botão de opção Exibir relatório na seção Opções de processamento da interface da ferramenta de validação de replicação.

As informações que a ferramenta de validação de replicação exibe em cada relatório são um pouco diferentes dependendo do tipo de relatório.

Todos os relatórios incluem os seguintes tipos de informação:

  • Contagens de registros de origem das estatísticas do servidor de replicação SAP LT e da tabela de origem.
  • Contagens de registro de destino da tabela de destino do BigQuery.
  • Qualquer diferença entre as duas contagens. A diferença é calculada subtraindo as contagens do BigQuery das contagens do registro de origem. Um valor positivo indica um problema provável, porque sugere que nem todos os registros de origem estão entrando no BigQuery.
  • A diferença nas contagens exibidas como uma porcentagem da contagem de registros de origem.
  • Um indicador visual das contagens de origem e destino que são iguais ou diferentes.

Contagens de registro desiguais

A ferramenta de validação de replicação inclui um campo de status com cada relatório exibido.

Um quadrado verde no campo de status significa que a contagem de registros de origem é igual à contagem de registros de destino no BigQuery.

Um círculo vermelho no campo de status significa que as contagens de registro não são iguais.

Uma contagem de registros desigual nem sempre indica um problema. Os seguintes indicadores sugerem um possível problema:

  • Para um relatório de contagens atuais, um valor desigual sempre indica um problema.

  • Em um relatório de contagens de carregamento inicial ou de replicação, um valor positivo indica um problema provável.

    Ter um valor negativo relativamente baixo não é um problema. A contagem em uma tabela de destino do BigQuery pode ser um pouco maior do que a contagem de registro de origem devido a eventos como interrupções de conectividade momentâneas que fazem com que o servidor de replicação SAP LT reenvie dados.

Se você vir uma contagem desigual, execute o relatório novamente para garantir que ele não foi causado por um problema temporário. Uma contagem de registros desigual pode ocorrer devido ao processamento de replicação no momento em que a ferramenta gerou o relatório.

Para uma tabela de origem muito grande ou uma tabela com filtros definidos no servidor de replicação SAP LT para carregamento inicial ou replicação, a ferramenta de validação de replicação pode não conseguir contar todos os registros necessários para uma contagem igual.

Como programar verificações de validação

É possível programar a ferramenta de validação de replicação para ser executada automaticamente em intervalos usando a funcionalidade do job de segundo plano do SAP.

Editar o mapa de campos do BigQuery em um arquivo CSV

As seções a seguir descrevem como exportar o mapeamento do campo padrão para que os engenheiros de dados ou administradores do BigQuery possam editar os valores do campo de destino sem precisar de acesso ao SAP LT Replication Server.

Criar uma planilha ou um arquivo de texto para os mapeamentos de campo padrão

Para criar um arquivo CSV para edição fora do SAP LT Replication Server:

  1. Execute a transação /GOOG/SLT_SETTINGS.

  2. Na tela Manutenção de configuração do SLT, especifique os seguintes valores:

    • No campo Tabela de configurações, especifique Campos.
    • No campo Chave de transferência em massa, especifique o ID da transferência em massa que você está atualizando.
    • No campo Nome da tabela, deixe em branco para trabalhar com todos os campos de todas as tabelas ou especifique um nome de tabela para trabalhar com uma tabela específica.
    • Não preencha os outros campos.

  3. Clique no ícone Executar. A tela Manutenção de configurações do BigQuery: campos é exibida.

  4. Na tela Manutenção de configurações do BigQuery: campos, oculte todas as colunas, exceto as que estejam na lista a seguir, clicando com o botão direito no título das colunas e selecionando Ocultar no menu suspenso:

    • Nome da tabela SAP
    • Nome do campo SAP
    • Elemento de dados externos
    • Nome do campo externo
    • Descrição do campo

  5. Com as cinco colunas restantes exibidas, clique no ícone Exportar.

  6. No menu Exportar, selecione uma das seguintes opções:

    • Planilha
    • Arquivo local. Para facilitar a conversão do conteúdo do arquivo no formato CSV, recomendamos que você salve o arquivo no formato Texto com guias.

  7. Clique no ícone de verificação para salvar os mapeamentos de campo padrão.

Converter a planilha ou o arquivo de texto no formato CSV

Para fazer upload dos mapeamentos de campo editados usando a transação personalizada /GOOG/SLT_SETTINGS, os mapeamentos de campo precisam estar no formato CSV.

Se você estiver usando uma planilha, salve a planilha como um arquivo CSV antes de fazer upload.

Se você estiver usando um arquivo local em um formato separado por tabulação ou qualquer outro formato, será necessário modificar o arquivo para ficar em formato CSV.

Exemplo:

SAP Table,SAP Field Name,External Data Element,External Field Name,Field Description
SAP_TABLE_NAME,SAP_FIELD_NAME1,BIGQUERY_DATA_TYPE,BIGQUERY_FIELD_NAME1,BIGQUERY_FIELD_DESCRIPTION1
SAP_TABLE_NAME,SAP_FIELD_NAME2,BIGQUERY_DATA_TYPE,BIGQUERY_FIELD_NAME2,BIGQUERY_FIELD_DESCRIPTION2
SAP_TABLE_NAME,SAP_FIELD_NAME3,BIGQUERY_DATA_TYPE,BIGQUERY_FIELD_NAME3,BIGQUERY_FIELD_DESCRIPTION3

Fazer o upload do arquivo CSV

Para fazer upload de um arquivo CSV editado:

  1. Execute a transação /GOOG/SLT_SETTINGS.

  2. Na tela Manutenção de configuração do SLT, especifique os seguintes valores:

    • No campo Tabela de configurações, especifique Campos.
    • No campo Chave de transferência em massa, especifique o ID da transferência em massa que você está atualizando.
    • Marque a caixa de seleção Fazer upload do arquivo.

  3. Clique no ícone Executar. A caixa de diálogo Selecionar arquivo para fazer upload será aberta.

  4. Na caixa de diálogo Selecionar arquivo para fazer upload, selecione o arquivo CSV que contém os valores do campo editado.

  5. Clique em Abrir.

  6. Se você receber um aviso de segurança, clique em Permitir. O arquivo é carregado, e os valores modificados no arquivo aparecem nas linhas aplicáveis na tela Manutenção de configurações do BigQuery: campos.

  7. Clique no ícone Salvar.

  8. Para confirmar que os valores foram aplicados, compare os valores no arquivo CSV com os exibidos pelo SAP LT Replication Server.

Como corrigir erros nos dados de origem

Ao receber uma parte dos registros do BigQuery Connector para SAP, a API de streaming do BigQuery verifica se há erros de dados antes de inserir qualquer registro na tabela do BigQuery.

É possível controlar como a API do BigQuery e o BigQuery Connector para SAP respondem quando erros de dados são encontrados. Para isso, especifique as sinalizações a seguir nas configurações de transferência em massa:

  • A sinalização Skip Invalid Records (SKIP)
  • A sinalização Break at First Error Flag (BREAK)

A sinalização SKIP

Se você especificar a sinalização SKIP, quando a API do BigQuery receber um bloco de registros e encontrar um registro com um erro de dados, a API do BigQuery descartará ou pulará, o registro com o erro e continua inserindo todos os outros registros do bloco na tabela do BigQuery.

Se você não especificar a sinalização SKIP, quando o BigQuery encontrar um registro com um erro de dados, ele descartará todo o bloco sem inserir qualquer registro dele na tabela do BigQuery. Esse é o comportamento padrão.

Especificar a sinalização SKIP é melhor para ambientes de desenvolvimento e controle de qualidade, e não é recomendado para ambientes de produção.

É possível especificar a sinalização SKIP na transação /GOOG/SLT_SETTINGS ao configurar a replicação. A especificação é armazenada na tabela de configuração /GOOG/BQ_MASTR.

Para ver como as especificações de SKIP interagem com as de BREAK, consulte a Tabela de matrizes para interações de SKIP e BREAK.

A sinalização BREAK

Se você especificar a sinalização BREAK, quando o BigQuery Connector para SAP for notificado pela API BigQuery de que um erro de dados foi encontrado em um registro, o BigQuery Connector para SAP deixará de enviar registros para o BigQuery e encerra o job de replicação.

Se você não especificar a sinalização BREAK, quando o BigQuery Connector para SAP for notificado pelo BigQuery de que um erro de dados foi encontrado em um registro, o BigQuery Connector para SAP continuará enviando registros ao BigQuery por envio do próximo bloco, e o job de replicação continuará. Esse é o comportamento padrão.

Especifique a sinalização BREAK em ambientes de produção.

É possível especificar a sinalização BREAK na transação //GOOG/SLT_SETTINGS ao configurar a replicação. A especificação é armazenada na tabela de configuração /GOOG/BQ_MASTR.

Para ver como as especificações de BREAK interagem com as de SKIP, consulte a Tabela de matrizes para interações de SKIP e BREAK.

Tabela de matrizes para interações de SKIP e BREAK

É possível configurar o BigQuery Connector para SAP para processar erros de dados das seguintes maneiras:

Sinalização SKIP Sinalização BREAK Comportamento
FALSO TRUE

O BigQuery descarta a parte atual dos registros sem inserir nenhum registro da parte atual na tabela do BigQuery.

O BigQuery Connector para SAP não envia mais blocos de registros da parte atual e instrui o SAP LT Replication Server a encerrar o job de replicação.

Essa é a configuração recomendada.

FALSO FALSO

O BigQuery descarta a parte atual dos registros sem inserir nenhum registro da parte atual na tabela do BigQuery.

O BigQuery Connector para SAP envia qualquer bloco de registros restante da parte atual dos registros e, em seguida, informa ao SAP LT Replication Server para encerrar o job de replicação.

Esse é o padrão.

VERDADEIRO. TRUE

O BigQuery descarta somente o registro que contém o erro e insere o restante dos registros no bloco atual na tabela do BigQuery.

O conector do BigQuery para SAP não envia mais blocos de registros da parte atual e recupera a próxima parte. O BigQuery Connector para SAP não informa ao SAP LT Replication Server para encerrar o job de replicação.

VERDADEIRO. FALSO

O BigQuery descarta somente o registro que contém o erro e insere o restante dos registros no bloco atual na tabela do BigQuery.

O BigQuery Connector para SAP envia os blocos restantes de registros da parte atual e recupera a próxima parte. O BigQuery Connector para SAP não informa ao SAP LT Replication Server para encerrar o job de replicação.

Mudanças na estrutura da tabela

Nesta seção, explicamos como modificar a estrutura da tabela de origem SAP para a qual uma replicação LTRC existente está em andamento.

Adicionar uma coluna a uma tabela de origem

Para adicionar uma nova coluna a uma tabela de origem, siga estas etapas:

  1. Adicione uma nova coluna à tabela de origem. Como resultado dessa etapa, o status de replicação é alterado para Load/Replication blocked.

  2. No sistema SLT, redefina o status de replicação usando a transação LTRC. Para mais informações da SAP sobre como redefinir o status de replicação, consulte a Nota SAP 2204955 - As tabelas SLT estão no status "Carregamento /Replicação bloqueada".

  3. Adicione, atualize ou exclua uma entrada na tabela de origem.

  4. Valide o resultado da replicação no BigQuery.

Excluir uma coluna de uma tabela de origem

Para excluir uma coluna de uma tabela de origem, siga estas etapas:

  1. No sistema SLT, suspenda a replicação usando a transação LTRC.

  2. Exclua uma coluna da tabela de origem. Como resultado dessa etapa, os gatilhos de SLT atuais são excluídos ou alterados para um estado inconsistente.

  3. No BigQuery, exclua a coluna da tabela de destino do BigQuery. Para mais informações sobre as etapas para excluir uma coluna de uma tabela existente, consulte a documentação do BigQuery.

  4. No sistema SLT, retome a replicação usando a transação LTRC.

  5. No sistema SLT, recrie os gatilhos SLT. Para mais informações sobre a SAP sobre como recriar acionadores SLT, consulte a Nota SAP 2254376 - Acionadores SLT em um estado inconsistente.

  6. Se o status de replicação for Load /Replication blocked, redefina-o usando a transação LTRC. Para mais informações da SAP sobre como redefinir o status de replicação, consulte a Nota SAP 2204955 - As tabelas SLT estão no status "Carregamento/replicação bloqueada".

  7. Limpe os registros antigos.

  8. Adicione, atualize ou exclua uma entrada na tabela de origem.

  9. Valide o resultado da replicação no BigQuery.

Alterar o tipo de dados de uma coluna existente

Ao alterar o tipo de dados de uma coluna existente na tabela de origem SAP, é necessário seguir etapas específicas caso você esteja alterando o tipo de dados para um tipo de dados compatível ou não compatível com a tabela de destino do BigQuery.

Um tipo de dados é compatível com o tipo de dados na tabela de destino do BigQuery quando o tipo de dados atual e o novo tipo de dados de uma coluna existente mapeiam para o mesmo tipo de dados na tabela de destino do BigQuery. Por exemplo, se o tipo de dados de uma coluna for alterado de INT1 para INT2 em uma tabela de origem, os dois tipos de dados serão compatíveis com o tipo INTEGER na tabela do BigQuery de destino.

Para mais informações sobre o mapeamento de tipos de dados no BigQuery Connector para SAP, consulte Mapeamento de tipo de dados.

Mudar o tipo de dados para um tipo de dados compatível

Para alterar o tipo de dados de uma coluna existente para um tipo de dados compatível, siga estas etapas:

  1. Mude o tipo de dados para um tipo compatível no sistema de origem. Como resultado dessa etapa, os gatilhos de SLT atuais são excluídos ou alterados para um estado inconsistente.

  2. No sistema SLT, recrie os gatilhos SLT. Para mais informações sobre a SAP sobre como recriar acionadores SLT, consulte a Nota SAP 2254376 - Acionadores SLT em um estado inconsistente.

  3. Se o status de replicação for Load /Replication blocked, redefina-o usando a transação LTRC. Para mais informações da SAP sobre como redefinir o status de replicação, consulte a Nota SAP 2204955 - As tabelas SLT estão no status "Carregamento/replicação bloqueada".

  4. Limpe os registros antigos.

  5. Adicione, atualize ou exclua uma entrada na tabela de origem.

  6. Valide o resultado da replicação no BigQuery.

Mudar o tipo de dados para um tipo não compatível

Para alterar o tipo de dados de uma coluna atual para um tipo de dados não compatível, siga estas etapas:

  1. No sistema SLT, interrompa a replicação usando a transação LTRC.
  2. No BigQuery, exclua a tabela de destino.
  3. Mudar o tipo de dados no sistema de origem.
  4. No sistema SLT, inicie a replicação usando a transação LTRC.

Saídas de aprimoramento

O BigQuery Connector para SAP fornece vários pontos de melhoria no código, em que um desenvolvedor do ABAP pode inserir código para adicionar uma funcionalidade personalizada.

A tabela a seguir lista as funções compatíveis com os pontos de aprimoramento, os métodos e a classe que contém o ponto de aprimoramento.

Função Classe Método Spot Opção
Atualize o mapeamento de um campo, como o nome do campo externo, o tipo de dados e assim por diante. /GOOG/CL_IUUC_REPL_RUNTIME CREATE_FLD_MAPPINGS /GOOG/ES_IUUC_REPL_RUNTIME /GOOG/UPDATE_FIELD_MAPPING
Atualize ou mapeie campos de tabela para adicionar ou remover campos. /GOOG/CL_IUUC_REPL_RUNTIME CREATE_FLD_MAPPINGS /GOOG/ES_IUUC_REPL_RUNTIME /GOOG/UPDATE_FIELD_MAPPINGS
Altere o valor de um campo de origem antes de ele ser convertido em um campo de destino. /GOOG/CL_IUUC_REPL_RUNTIME_BQ FILL_TARGET_RECORDS /GOOG/ES_IUUC_REPL_RUNTIME_BQ /GOOG/CHANGE_SOURCE_FIELD
Depois que um campo de origem for convertido em um campo de destino na tabela de destino, altere o valor do campo de destino. /GOOG/CL_IUUC_REPL_RUNTIME_BQ FILL_TARGET_RECORDS /GOOG/ES_IUUC_REPL_RUNTIME_BQ /GOOG/FILL_TARGET_FIELD
Adicione um campo à tabela de destino que não existe nela durante a conversão da tabela de origem para destino. /GOOG/CL_IUUC_REPL_RUNTIME_BQ FILL_TARGET_RECORDS /GOOG/ES_IUUC_REPL_RUNTIME_BQ /GOOG/FILL_EXTRA_FIELD
Prepare um campo de esquema do BigQuery antes de criar a tabela do BigQuery. /GOOG/CL_GCP_CLIENT_BQ PREP_BQ_TABLE_SCHEMA /GOOG/ES_GCP_CLIENT_BQ /GOOG/PREPARE_SCHEMA_FIELD