Guia de operações do BigQuery Connector para SAP

Este guia mostra aos administradores do SAP LT Replication Server, aos engenheiros de dados SAP ou a outras pessoas como executar tarefas operacionais, como ajuste de desempenho e atualizações de versões, para a versão 2.7 (mais recente) do BigQuery Connector para SAP.

Como ajustar o desempenho da replicação

O desempenho da replicação pode ser afetado por vários fatores. Os fatores específicos que se aplicam podem ser diferentes de instalação para instalação e podem mudar com o tempo.

As seções a seguir fornecem orientações sobre como ajustar alguns dos fatores mais comuns que podem afetar o desempenho.

Para mais informações sobre o desempenho da replicação com o conector do BigQuery para SAP, consulte Planejamento de desempenho.

Definir opções de desempenho para tabelas

No SAP LT Replication Server, é possível especificar opções de replicação para cada tabela que afetam o desempenho.

Em particular, o desempenho da replicação de tabelas grandes, que requer mais tempo e recursos para replicação, pode se beneficiar da especificação de intervalos e do aumento do número máximo de jobs de replicação paralela que podem ser usados para a tabela.

Exemplos de tabelas que geralmente crescem grandes são MSEG, ACDOCA e MATDOC, entre outros.

Ao especificar jobs de replicação paralela para tabelas grandes, você precisa equilibrar o número de jobs paralelos permitidos para qualquer tabela em comparação com o número total de jobs paralelos permitidos na configuração de transferência em massa. de dados. A organização também pode limitar o número de jobs de replicação paralelas que podem ser especificados para um determinado servidor.

Para definir opções de desempenho para uma tabela:

  1. Na GUI do SAP, insira a transação SAP LTRS.

  2. Na tela Configurações avançadas de replicação, especifique o ID da configuração de transferência em massa da tabela.

  3. Na hierarquia de pastas Configurações avançadas de replicação, clique na pasta Opções de desempenho para exibir as tabelas com opções de desempenho definidas.

  4. Se a tabela necessária não estiver listada, clique com o botão direito do mouse na pasta Opções de desempenho e selecione Adicionar tabela.

  5. Especifique um nome para a tabela.

  6. Especifique as seguintes opções conforme necessário:

    • Em Opções gerais de desempenho:
      • Não. de jobs paralelos, para definir o número máximo de jobs de replicação paralela que podem ser usados na tabela.
      • Número de sequência: para priorizar a replicação dessa tabela em relação a outras replicações de tabela.
    • Em Initial Load Options:
      • Em Tipo de leitura, selecione Cálculo de intervalo de tipo de leitura 1, se a tabela não for muito grande. Para mais informações, consulte Desempenho e as configurações avançadas de replicação LTRS.
      • Em Tamanho do pacote, especifique o tamanho em bytes das partes dos registros que são enviados para o SAP LT Replication Server.
      • Se você selecionar um tipo de leitura que use intervalos, defina intervalos adequados.
    • Em Opção de replicação:
      • Em Intervalos para a tabela do Logging, especifique Sem intervalos para a opção mais confiável.
      • Se você selecionar Especificar intervalos para manualmente, defina os intervalos apropriados.

  7. Clique em Save.

Comparativo de mercado de desempenho

Para ajudar a avaliar o desempenho da replicação, esta seção contém números de desempenho de referência observados nos sistemas de teste do Google Cloud.

Devido aos muitos fatores diferentes que afetam o desempenho, é provável que os números de desempenho variem.

Por exemplo, se os sistemas SAP não estiverem sendo executados no Google Cloud, as taxas de carga e replicação poderão ser mais lentas do que as taxas de referência devido a fatores como latência de rede e sobrecarga associada a tokens de acesso. Se a tabela de origem tiver menos colunas ou se você instalar o SAP LT Replication Server no próprio servidor em uma arquitetura independente, suas taxas poderão ser mais rápidas porque o SAP LT Replication Server não precisa competir com o sistema de origem dos recursos.

Números observados de desempenho do valor de referência

Os números de desempenho a seguir representam o desempenho do valor de referência observado pelo Google Cloud para cada tipo de sistema de origem durante o teste. Em cada sistema de teste, o SAP LT Replication Server foi instalado no sistema de origem da SAP em uma arquitetura incorporada nas VMs do Compute Engine. O sistema de origem SAP estava em execução na mesma região do Google Cloud que o conjunto de dados de destino do BigQuery.

Para informações sobre a configuração dos sistemas de teste, consulte Configuração do sistema de teste de desempenho do valor de referência.

Para ver os números de desempenho, clique no tipo do sistema de origem:

S/4HANA

  • Tabela: ACDOCA
    • 343 milhões de registros
    • 477 colunas
  • Carregamento inicial
    • Taxa de carregamento: em média, 350 milhões de registros por hora
    • Duração do carregamento: em média, 59 minutos
  • Replicação
    • Taxa de alteração da tabela de origem: em média, 50 milhões de registros por hora
    • Taxa de replicação máxima: em média, 50 milhões de registros por hora

ECC

  • Tabela: MSEG
    • 203 milhões de registros
    • 188 colunas
  • Carregamento inicial
    • Taxa de carregamento: em média, 385 milhões de registros por hora
    • Duração do carregamento: em média, 32 minutos
  • Replicação
    • Taxa de alteração da tabela de origem: em média, 50 milhões de registros por hora
    • Taxa de replicação máxima: em média, 69 milhões de registros por hora

Os números de desempenho anteriores são os valores de referência que os testadores do Google Cloud observaram.

O desempenho observado foi melhor em sistemas de teste que tinham os seguintes atributos:

  • O SAP LT Replication Server foi instalado na própria VM em uma arquitetura autônoma.
    • Para os sistemas S/4HANA, foi observado que uma arquitetura independente tem uma taxa de carregamento inicial aproximadamente 42% mais rápida do que uma arquitetura incorporada, devido ao escalonamento independente dos processos do SAP LT Replication Server.
    • Para sistemas ECC, foi observado que uma arquitetura independente tem uma taxa de carregamento inicial aproximadamente 10% mais rápida do que uma arquitetura incorporada, devido ao escalonamento independente dos processos do SAP LT Replication Server.
  • A tabela de origem tinha menos colunas.
  • O tamanho geral dos bytes dos registros era menor.

Para informações sobre os atributos do sistema que podem ser modificados para melhorar o desempenho, consulte:

Configuração do sistema de teste de desempenho do valor de referência

Os sistemas de teste descritos nesta seção produziram os números de desempenho do valor de referência listados na seção anterior, Números observados de desempenho do valor de referência.

Os sistemas de teste, incluindo o sistema de origem SAP, o SAP LT Replication Server e o conjunto de dados do BigQuery, estavam sendo executados em VMs do Compute Engine na mesma região do Google Cloud.

Em cada sistema, os servidores e a carga de trabalho foram projetados para simular uma carga de trabalho mais pesada e um volume de replicação maior que você provavelmente encontrará em muitas instalações reais.

Para ver os atributos do sistema de teste, clique no tipo do sistema de origem:

S/4HANA

  • Arquitetura de instalação do SAP LT Replication Server:
    • Arquitetura incorporada
  • Servidores do sistema de origem:
    • Dois servidores de aplicativos, cada um em um tipo de máquina personalizado do Compute Engine baseado em N2 com as seguintes especificações:
      • vCPUs: 60
      • Memória: 324 GB
      • Plataforma de CPU: Intel Cascade Lake
    • Um servidor SAP HANA em uma VM m1-ultramem-80 do Compute Engine com as seguintes especificações:
      • vCPUs: 80
      • Memória: 1.900 GB
      • Plataforma de CPU: Intel Broadwell
  • Versões de software:
    • S/4HANA 1909
    • SAP LT Replication Server: S/4CORE 104 SP00
  • Tamanho da tabela:
    • Nome da tabela: ACDOCA, dados gerais de item de linha da entrada do diário.
    • Número de registros: 343 milhões
    • Quantidade de colunas: 477
  • Processos de trabalho em cada servidor de aplicativos:
    • 60 processos de caixas de diálogo
    • 220 processos em segundo plano
  • Configurações de carregamento no SAP LT Replication Server:
    • Jobs: 99
    • Tipo de leitura: 1 intervalo
    • Cálculo: intervalos automáticos
  • Configurações de replicação:
    • Jobs: 99
    • Use os campos de chave para calcular intervalos para a tabela de registros
    • 128 intervalos

ECC

  • Arquitetura de instalação do SAP LT Replication Server:
    • Arquitetura incorporada
  • Servidores do sistema de origem:
    • Dois servidores de aplicativos, cada um em uma VM n2-highmem-48 do Compute Engine com as seguintes especificações:
      • vCPUs: 60
      • Memória: 348 GB
      • Plataforma de CPU: Intel Cascade Lake
  • Versões de software:
    • SAP NetWeaver: 7.0 EHP2
    • SAP LT Replication Server: DMIS 2011_1_700 SP17
  • Tamanho da tabela:
    • Tabela: MSEG, documentos de gerenciamento de inventário de materiais
    • Número de registros: 203 milhões
    • Quantidade de colunas: 188
  • Processos de trabalho em cada servidor de aplicativos:
    • 60 processos de caixas de diálogo
    • 100 processos em segundo plano
  • Configurações de carregamento no SAP LT Replication Server:
    • Jobs: 99
    • Tipo de leitura: 5 remetente
    • Fila: intervalos manuais
  • Configurações de replicação:
    • Jobs: 99
    • Intervalos para a tabela do Logging: use os campos de chave para calcular intervalos
    • Número de intervalos: 128

Tamanho do bloco dinâmico

Se você encontrar erros porque o tamanho de bytes dos blocos excede o tamanho máximo de bytes para solicitações HTTP aceitas pelo BigQuery, será necessário reduzir o tamanho de bytes manualmente reduzindo o tamanho do bloco. O recurso de tamanho de bloco dinâmico permite reduzir automaticamente o tamanho do bloco e repetir a replicação para o BigQuery quando o tamanho de byte de um bloco excede o tamanho máximo de byte para solicitações HTTP aceitas pelo BigQuery. O tamanho de bloco dinâmico ajuda a evitar a maioria das falhas de replicação por exceder o tamanho de bytes de uma solicitação. Você receberá um erro somente se o tamanho do bloco atingir 1, mas o tamanho do byte permanecer mais do que o limite do BigQuery no número de bytes em cada solicitação HTTP.

Ative o tamanho de bloco dinâmico na configuração de transferência em massa de uma tabela usando a transação /GOOG/SLT_SETTINGS. O tamanho do bloco dinâmico é uma configuração opcional. Para ver informações sobre como ativar o tamanho de bloco dinâmico, consulte:

Quando o tamanho de bloco dinâmico é ativado, o tamanho máximo de bloco que o BigQuery Connector para SAP permite permanece dentro dos limites de cota do BigQuery, que é 50.000 registros.

Para ver mais informações sobre o tamanho do bloco, consulte Tamanho da parte e tamanho do bloco.

Como funciona o tamanho dinâmico de blocos

Com o tamanho de bloco dinâmico, se a solicitação HTTP com tamanho inicial de bloco exceder o limite do BigQuery no tamanho de bytes, o BigQuery Connector para SAP reduzirá o tamanho do bloco e tentará enviar os dados novamente. O BigQuery Connector para SAP continua reduzindo o tamanho do bloco e tenta enviar os dados ao BigQuery até que os dados sejam transferidos com sucesso para um bloco específico ou até que o tamanho do bloco atinja 1.

O tamanho do bloco reduzido final, para o qual a transferência de dados foi bem-sucedida, é usado como o tamanho do bloco para todos os blocos restantes dessa parte. É possível encontrar o tamanho final do bloco reduzido em cada parte nos registros de aplicativo do servidor de replicação do LT SAP como uma mensagem de informação:

Dynamic chunking triggered. Chunk size reduced from INITIAL_CHUNK_SIZE_VALUE to FINAL_REDUCED_CHUNK_SIZE_VALUE

Para as partes subsequentes e quaisquer replicações subsequentes, o BigQuery Connector para SAP começa a enviar dados para o BigQuery com o tamanho do bloco configurado na transação /GOOG/SLT_SETTINGS e continuará reduzindo o tamanho do bloco se ele for acionado.

Por padrão, o tamanho da parte é reduzido em 50% após cada nova tentativa. Se você quiser reduzir o tamanho do bloco em uma porcentagem menor ou maior, modifique os parâmetros de configurações avançadas.

Vamos entender com um exemplo como o tamanho do bloco é determinado no processo de replicação quando o tamanho do bloco dinâmico está ativado para uma tabela. Neste exemplo, o tamanho da parte do servidor de replicação LT SAP é maior que o tamanho de bloco do BigQuery Connector para SAP, e o tamanho de bloco de 10.000 registros é definido na transação /GOOG/SLT_SETTINGS. O BigQuery Connector para SAP replica uma parte do BigQuery da seguinte maneira:

  1. Quando a replicação começa em uma parte que contém 20.000 registros, o tamanho do primeiro bloco é de 10.000 registros, mas se o tamanho do byte para solicitação HTTP for maior que 10 MB, o BigQuery Connector para SAP vai reduzir o tamanho do bloco em 50%, e o novo tamanho do bloco se torna 5.000 registros.

  2. O BigQuery Connector para SAP tenta enviar o tamanho de bloco de 5.000 registros, mas se o tamanho de byte da solicitação HTTP ainda for maior que 10 MB, o BigQuery Connector para SAP vai reduzir o tamanho do bloco em mais de 50% e o novo tamanho de bloco se tornará 2.500 registros.

  3. O BigQuery Connector para SAP tenta enviar o tamanho de bloco de 2.500 registros. Se o tamanho de byte da solicitação HTTP para esse bloco for menor que 10 MB, a replicação será bem-sucedida e os dados serão inseridos no BigQuery

  4. O tamanho do bloco para todos os blocos subsequentes se torna 2.500 registros, desde que o tamanho de byte de cada solicitação HTTP seja menor que 10 MB. Se o tamanho de bytes da solicitação HTTP para qualquer bloco subsequente exceder 10 MB, o BigQuery Connector para SAP novamente reduzirá o tamanho do bloco e tentará enviar os dados para o BigQuery até que os dados sejam transferidos com sucesso para uma parte específica. O tamanho do bloco reduzido é usado apenas para a parte atual da replicação atual.

Desempenho com tamanho de bloco dinâmico

O tamanho do bloco dinâmico pode afetar o desempenho da replicação no BigQuery. Para cada bloco, o BigQuery Connector para SAP calcula o número de registros em um bloco e verifica o tamanho do byte das solicitações HTTP. Se o tamanho do byte for maior que 10 MB, o BigQuery Connector para SAP reduzirá o tamanho do bloco e tentará enviar os dados para o BigQuery, o que aumenta o tempo total de replicação.

Use o tamanho dinâmico de bloco apenas em situações específicas em que, mesmo após configurar um tamanho de bloco ideal para alguns registros de dados, o tamanho da solicitação pode exceder o limite de solicitações HTTP do BigQuery e você não quer receber erro de tamanho da parte. Exemplo:

  • As tabelas de origem que contêm grande variação na esparsidade dos dados nos campos, ou seja, para alguns registros, menos campos são mantidos, enquanto para alguns registros, muitos campos são mantidos.
  • Tabelas de origem que contêm campos de texto longos, como EDID4-SDATA, VARI-CLUSTID e REPOSRC-DATA.

Também é possível usar o tamanho de bloco dinâmico durante a fase de teste para identificar um tamanho de bloco ideal para uma tabela que você pode definir em seu sistema SAP de produção.

Para mais informações sobre como configurar o tamanho do bloco, consulte:

Transporte as configurações de transferência em massa para a produção

Para transportar as configurações da transferência em massa para a produção, primeiro exporte as configurações de um sistema de desenvolvimento e depois importe-as para o sistema de produção.

Opcionalmente, é possível importar três partes separadas das configurações de uma transferência de massa para produção:

  • As configurações avançadas de replicação, que podem ser acessadas usando a transação LTRS.
  • As configurações da chave de cliente da tabela /GOOG/CLIENT_KEY, que podem ser acessadas usando a transação SM30.
  • As configurações de transferência em massa do BigQuery Connector para SAP, que podem ser acessadas usando a transação /GOOG/SLT_SETTINGS.

Exportar configurações de transferência em massa de um sistema de desenvolvimento

No sistema de desenvolvimento do SAP LT Replication Server, exporte cada parte das configurações de transferência em massa:

  1. Exporte as configurações avançadas de replicação:

    1. Execute a transação LTRS.
    2. Selecione os registros de transferência em massa que você está transportando para a produção.
    3. No menu suspenso Arquivo, selecione Exportar todas as configurações.
    4. Na caixa de diálogo Exportar configurações, selecione um destino e clique em Salvar. As configurações são salvas em um arquivo compactado no formato CSV na estação de trabalho local.

  2. Exporte as configurações de transferência em massa do BigQuery Connector para SAP:

    1. Execute a transação /GOOG/SLT_SETTINGS:

      /n/GOOG/SLT_SETTINGS

    2. No campo Tabela de configurações, selecione Transferência em massa.

    3. Selecione os registros de transferência em massa que você está transportando para a produção.

    4. Clique em Transferência em massa de transporte.

    5. Em Solicitar solicitação do Workbench, insira o número da solicitação de transporte e clique no ícone Continuar. Para cada registro de transferência de massa selecionado, as configurações das tabelas de configuração personalizadas a seguir estão incluídas no transporte:

      • /GOOG/BQ_MASTR
      • /GOOG/BQ_TABLE
      • /GOOG/BQ_FIELD

    As configurações da transferência em massa são salvas em uma solicitação de transporte.

  3. Exporte as configurações da chave do cliente incluindo manualmente o conteúdo da tabela /GOOG/CLIENT_KEY na solicitação de transporte.

  4. Salve os arquivos na estação de trabalho local.

Importar configurações de transferência em massa para um sistema de produção

No sistema de produção do SAP LT Replication Server, importe cada parte das configurações de transferência em massa:

  1. Crie uma configuração de replicação do SAP LT Replication Server para as configurações de transferência em massa.

  2. Importe as configurações avançadas de replicação:

    1. Execute a transação LTRS.
    2. Selecione a transferência em massa que você criou na primeira etapa.
    3. No menu suspenso Arquivo, selecione Importar todas as configurações.
    4. Na caixa de diálogo Escolher arquivo, selecione o arquivo compactado na sua estação de trabalho local e clique em Abrir. As configurações são importadas como configurações para a transferência em massa.

  3. Importe a solicitação de transporte que contém as configurações da transferência em massa.

  4. Execute a transação SM30.

  5. Atualize as configurações da chave do cliente conforme necessário para o ambiente de produção.

  6. Execute a transação /GOOG/SLT_SETTINGS:

    /n/GOOG/SLT_SETTINGS

  7. Verifique se as transferências em massa corretas são exibidas na tela Transferências em massa.

  8. Na coluna Mass Transfer ID, substitua o ID de transferência em massa do sistema de desenvolvimento pelo ID de transferência em massa da configuração de replicação que você criou na primeira etapa.

  9. Nas telas de configurações Tabelas e Campos subsequentes, atualize outros valores para o mapeamento de tabela e campo conforme necessário para o ambiente de produção.

  10. Teste a configuração iniciando um carregamento inicial ou replicação. Para conferir informações sobre como iniciar um carregamento inicial ou uma replicação, consulte:

    • Se o SAP LT Replication Server estiver em execução em uma VM do Compute Engine, teste a replicação.
    • Se o SAP LT Replication Server estiver em execução em um host externo ao Google Cloud, teste a replicação.

Atualizar o BigQuery Connector para SAP

O Google Cloud oferece novas versões do conector do BigQuery para SAP como transportes SAP.

Os administradores do SAP podem atualizar o BigQuery Connector para SAP seguindo estas etapas:

  1. Se você aplicou os hotfixes para replicação de tabelas de cluster ou configurou o público-alvo padrão para a autenticação baseada em JWT, antes de atualizar o BigQuery Connector para SAP para a versão 2.6, será necessário excluir o hotfix. Para mais informações sobre como excluir um hotfix, consulte a página do SAP Criar, editar e excluir implementações de aprimoramento.
  2. Desative a configuração no SAP LT Replication Server.
  3. Importe a nova solicitação de transporte da SAP.
  4. Depois de validar a importação e a ativação do objeto, ative a configuração no SAP LT Replication Server.

Atualizar a CLI gcloud

É necessário manter a Google Cloud CLI atualizada no host do SAP LT Replication Server.

Para mais informações sobre como gerenciar a CLI gcloud, consulte Como gerenciar componentes da CLI gcloud.

Monitoring

É possível monitorar vários pontos diferentes ao longo do caminho de dados da fonte de dados SAP para a tabela de destino do BigQuery, incluindo:

  • Infraestrutura: rede, hardware e sistema operacional
  • Camada de banco de dados SAP
  • Camada de aplicativos SAP
  • Conector do BigQuery para SAP
  • BigQuery

Suas opções de monitoramento em cada um desses pontos são apresentadas nas subseções a seguir.

Como monitorar a infraestrutura

No Google Cloud, é possível instalar o agente de operações nas VMs do host para monitoramento e geração de registros avançados. O agente de operações envia os dados para o Cloud Monitoring no Console do Google Cloud.

Veja mais informações em:

No caso de sistemas que não estão em execução no Google Cloud, também é possível receber informações do servidor executando transações SAP, como a transação ST06.

Como monitorar a camada do banco de dados

Use códigos de transações padrão da SAP para monitorar a integridade do banco de dados.

O código da transação DBACOCKPIT é o mais comum para monitorar o banco de dados. Essa transação também fornece registros detalhados que podem ser usados para solucionar erros.

Para o SAP HANA, use o SAP HANA Studio para operações do SAP HANA. É possível instalar o SAP HANA Studio em qualquer máquina de front-end.

Ao solucionar problemas de desempenho ou outros problemas, verifique os seguintes itens no banco de dados de origem:

  • Instruções SQL caras
  • Fechaduras
  • Carregar histórico
  • Índices
  • Processos

Como monitorar a camada do aplicativo

Use as ferramentas de solução de problemas e monitoramento de aplicativos SAP para monitorar e solucionar problemas do BigQuery Connector para SAP, porque ele é executado na camada do aplicativo.

O monitoramento e a solução de problemas de aplicativos SAP podem ser ainda classificados no seguinte:

  • Monitoramento e solução de problemas padrão do SAP
  • Conector do BigQuery para monitoramento e solução de problemas SAP

Para cenários maiores, use o Gerenciador de soluções da SAP como uma ferramenta central de monitoramento.

Use os códigos de transação da SAP na lista a seguir para monitorar e diagnosticar problemas em sistemas de aplicativos individuais da SAP:

  • Status de configuração do SLT: LTRC
  • Erros e registros SLT: LTRO e SLG1
  • Gerente de comunicação da Internet (chamadas HTTP e HTTPS): SMICM
  • Segurança e certificados: STRUST
  • Transportes SAP: STMS
  • Conexões RFC: SM59
  • Comando do SO: SM69
  • Verificação do pacote: SE80
  • Verificações de autorização: SU53
  • Jobs em segundo plano: SM37
  • Registos do sistema: SM21

Como monitorar o BigQuery

Use o Cloud Monitoring para visualizar as métricas do BigQuery e criar gráficos e alertas. Cada métrica tem um tipo de recurso, bigquery_dataset, bigquery_project ou global, além de um conjunto de rótulos.

Use os tipos de recursos e os rótulos para criar consultas na Linguagem de consulta de monitoramento (MQL, na sigla em inglês).

É possível agrupar ou filtrar cada métrica usando esses rótulos.

Para mais informações sobre o Monitoring, consulte a documentação do Cloud Monitoring.

Consulte as configurações do BigQuery Connector para SAP

Para visualizar as configurações de transferência em massa do BigQuery Connector para SAP, execute a transação /GOOG/SLT_SETT_DISP na GUI do SAP.

Ferramenta Criar tabela

Para tabelas de origem vazias no SAP, o SAP SLT impede a criação de tabelas de destino no BigQuery. Se você precisar criar tabelas de destino no conjunto de dados do BigQuery para tabelas de origem vazias, poderá usar a ferramenta Criar tabela.

Para executar a ferramenta Criar tabela, siga estas etapas:

  1. Na GUI do SAP, execute a transação /GOOG/CREATE_BQ_TAB precedida por /n:

    /n/GOOG/CREATE_BQ_TAB

  2. Na tela Criar tabelas de destino a partir das configurações do BQ, forneça valores para os seguintes campos:

    • Chave de transferência em massa: a chave de transferência em massa que contém as tabelas do SAP.
    • Nome da tabela do SAP: os nomes das tabelas do SAP que você precisa criar.

  3. Clique no ícone Executar. As tabelas de destino são criadas no conjunto de dados do BigQuery.

  4. Se quiser, verifique no conjunto de dados do BigQuery se a tabela foi criada com o esquema correto.

Ferramenta de conversão de campo em massa

Embora o BigQuery Connector para SAP sugira automaticamente os tipos de dados do BigQuery para a maioria dos campos, pode ser necessário mapear os campos manualmente. Em vez de atribuir manualmente o tipo de dados a cada campo, é possível usar a ferramenta de conversão de campo em massa para mapear a atribuição de tipo de dados a todos os campos na tela de mapeamento de campos da transação /GOOG/SLT_SETTINGS. A ferramenta de conversão de campo em massa converte todos os mapeamentos de campos de uma tabela para o tipo STRING no BigQuery.

Se uma tabela já estiver sendo replicada ou tiver sido adicionada para o carregamento inicial na transação LTRC, não use a ferramenta de conversão de campos em massa para essas tabelas, porque isso pode resultar em problemas de incompatibilidade de esquema. Só é possível usar essa ferramenta para as tabelas do SAP em que o carregamento ou a replicação inicial não foi iniciado.

Para executar a ferramenta de conversão de campo em massa, siga estas etapas:

  1. Na GUI do SAP, execute a transação /GOOG/MASS_CNVT_FMAP precedida por /n:

    /n/GOOG/MASS_CNVT_FMAP

  2. Na tela Conversão de campo de massa, forneça valores para os seguintes campos:

    • Chave de transferência em massa: a chave de transferência em massa que contém as tabelas do SAP.
    • Nome da tabela do SAP: os nomes das tabelas do SAP as quais você precisa que todos os mapeamentos de campos sejam convertidos para o tipo STRING.

  3. Clique no ícone Executar. Para as tabelas selecionadas, todos os mapeamentos de campo são convertidos no tipo STRING.

Carregar ferramenta de simulação

Esta seção fornece uma visão geral da ferramenta de simulação de carga e o que você pode fazer com ela.

A ferramenta de simulação de carga é uma ferramenta de suporte para o BigQuery Connector para SAP que permite simular a replicação de dados do SAP no BigQuery. A ferramenta faz parte do transporte que o Google Cloud oferece para o BigQuery Connector para SAP. A ferramenta de simulação de carga é usada para replicar dados SAP de origem no BigQuery invocando diretamente o Business Add In (BAdI) do BigQuery Connector para SAP. Como a ferramenta de simulação de carga não usa o framework SLT subjacente, os gatilhos de SLT não são afetados. Não use a ferramenta de simulação de carga para replicação de dados em ambientes de produção.

A ferramenta de simulação de carga fornece um relatório que pode ser analisado para avaliar o desempenho da replicação, identificar possíveis problemas, entender a causa raiz dos problemas e resolvê-los antes da replicação real dos dados SAP no BigQuery usando o BigQuery Connector para SAP.

Veja a seguir alguns casos de uso comuns em que você pode usar a ferramenta de simulação de carga:

  • Reproduza e resolva problemas de conectividade de rede, autorização ou autenticação.
  • Gere registros aprimorados das chamadas da API BigQuery para solucionar problemas.
  • Para receber assistência na solução de problemas do Atendimento ao cliente do Cloud, execute a ferramenta de simulação de carga e forneça registros à equipe de atendimento ao cliente.
  • Meça as métricas de desempenho informando o tempo de cada etapa do processo de replicação.
  • Para o servidor de replicação de LT SAP em uma arquitetura incorporada, determine um tamanho de bloco ideal para as tabelas SAP.

Use um exemplo de configuração de transferência em massa com a ferramenta de simulação de carga que você cria usando a transação personalizada /GOOG/SLT_SETTINGS. Não use o conjunto de dados de produção e as tabelas do BigQuery para executar a ferramenta de simulação de carga.

Quando o servidor de replicação SAP LT está em uma arquitetura incorporada, você executa a ferramenta de simulação de carga com as tabelas padrão do SAP, como MARA e T001.

Quando o servidor de replicação SAP LT está em uma arquitetura autônoma, você executa a ferramenta de simulação de carga com a tabela de amostra /GOOG/TEST_REPL que o Google Cloud fornece com o BigQuery Connector para SAP. A ferramenta de simulação de carga não é compatível com a leitura de tabelas de origem de um sistema remoto.

Para mais informações sobre as arquiteturas das fontes de dados SAP no Google Cloud, consulte Arquitetura de instalação.

Pré-requisitos

Antes de executar a ferramenta de simulação de carga, verifique se os seguintes pré-requisitos são atendidos:

Como executar a ferramenta de simulação de carga

Para executar a ferramenta de simulação de carga, siga estas etapas:

  1. Na GUI do SAP, insira a transação /GOOG/LOAD_SIMULATE precedida por /n:

    /n/GOOG/LOAD_SIMULATE

  2. Clique no ícone Executar. A tela Simulação de carga SLT é exibida.

  3. Em Opções de processamento, verifique se a opção Executar simulação está selecionada.

  4. Na seção Opções de seleção, insira as seguintes especificações:

    • No menu suspenso, no campo Google Cloud Partner, selecione BigQuery.

    • No campo Chave de transferência em massa, insira a chave de transferência em massa da configuração de transferência em massa.

      Use um exemplo de configuração de transferência em massa com a ferramenta de simulação de carga. Não use o conjunto de dados de produção e as tabelas do BigQuery.

    • No campo Nome da tabela, insira o nome da tabela SAP de origem que você forneceu na configuração de transferência em massa de amostra.

    • Se quiser, no campo Condição "onde", insira uma condição para a seleção de dados da tabela de origem.

      Ela poderá ter no máximo 255 caracteres. Por exemplo, se você executar a ferramenta de simulação de carga para a tabela SAP MARA e precisar selecionar o número do material de um intervalo específico, em Condição "onde", especifique um valor como MATNR GE '000000000400000001' AND MATNR LE '000000000600000001'.

    • No campo Contagem de ciclos, insira o número de ciclos de processamento executados pela ferramenta de simulação de carga.

      Isso é útil quando você precisa comparar como o relatório de simulação é gerado em vários ciclos. O valor precisa ser maior que 1.

    • No campo Contagem de registros por ciclo, insira o número de registros que você quer enviar para o BigQuery em cada ciclo de processamento. O valor precisa ser maior que 1.

    • No campo Tamanho da parte, digite o número de registros da Contagem de registros por ciclo que o servidor de replicação SAP LT envia ao BAdI do BigQuery Connector para SAP em cada parte.

    • Selecione uma ou mais sinalizações conforme apropriado:

      • Contagem de registros exatos: indica que exatamente o mesmo número de registros fornecidos no campo Contagem de registros por ciclo é enviado ao BigQuery em cada ciclo de processamento. Se a tabela não tiver registros suficientes, a ferramenta de simulação de carga duplicará os registros atuais para alcançar a contagem necessária. Os registros são duplicados apenas para inserir dados no BigQuery, e não para inserir dados na tabela de origem.

      • Usar a estrutura de destino SLT: usa a estrutura da tabela de geração de registros SLT para receber os campos da tabela de origem. Se essa sinalização não estiver definida, os campos serão lidos diretamente da tabela de origem para gerar a estrutura de destino. Para mais informações sobre o fluxo de dados do servidor de replicação SAP LT, consulte Visualização arquitetônica detalhada do fluxo de dados.

      • Registro detalhado: indica que os registros de log são criados para todos os métodos definidos no BigQuery Connector para SAP. Se essa sinalização não estiver definida, apenas métodos importantes serão registrados.

      • Limpar resultados anteriores: limpa os registros de log criados anteriormente para a mesma transferência em massa e a tabela SAP. Se a sinalização não estiver definida, os registros serão anexados aos resultados anteriores.

  5. Para executar a ferramenta de simulação de carga, clique no ícone Executar.

  6. Depois que a simulação de carga for concluída, na seção Opções de processamento, selecione o botão de opção Exibir relatório.

  7. Na seção Opções de seleção, insira as seguintes especificações:

    • No menu suspenso, no campo Google Cloud Partner, selecione BigQuery.
    • No campo Chave de transferência em massa, insira a chave de transferência em massa da configuração de transferência em massa de amostra.
    • No campo Nome da tabela, insira o nome da tabela SAP de origem.
    • Para visualizar o relatório por data de execução da simulação de carga, especifique um período no campo Data do relatório.
    • Para visualizar o último relatório executado junto com o relatório atual, selecione a sinalização Apenas última execução.

  8. Para exibir o relatório, clique no ícone Executar.

A tabela a seguir descreve as colunas exibidas no relatório de simulação:

Nome Descrição
Chave de transferência A chave de transferência em massa para a configuração da transferência em massa.
Tabela SAP O nome da tabela SAP que está sendo replicada para o BigQuery.
Carimbo de data/hora de início da execução A hora em que a execução foi iniciada para um método do BigQuery Connector para SAP.
Carimbo de data/hora de conclusão A hora em que a execução foi concluída para um método do BigQuery Connector para SAP.
Número do job Número de job exclusivo para cada execução concluída que é gerada automaticamente sempre que a ferramenta de simulação de carga é executada.
Número do ciclo O número de sequência do ciclo de processamento em que o relatório é gerado. A contagem de registros por ciclo fornecida na entrada da simulação é transferida para o BigQuery em cada ciclo.
Número da parte É o número de sequência da parte. A Contagem de registros por ciclo fornecida na entrada da simulação é dividida em partes com base no tamanho especificado. O BAdI do BigQuery Connector para SAP é chamado para cada parte.
Nome da aula O nome da classe do método do BigQuery Connector para SAP.
Nome do método O nome do método do BigQuery Connector para SAP. Os métodos chamados pelo BigQuery Connector para SAP são registrados em uma sequência. Se a sinalização Registro detalhado for selecionada na entrada da simulação, todos os métodos serão registrados. Caso contrário, apenas os métodos importantes serão registrados.
Invocado pelo método O último método que invocou o método atual do BigQuery Connector para SAP.
Duração O tempo total gasto na execução de um método do BigQuery Connector para SAP.
Contagem de recomendações O número de registros transmitidos a um método do BigQuery Connector para SAP. Isso é mostrado apenas para os métodos aos quais os registros são transmitidos.
Método de URI O nome do método HTTP, caso o método ABAP faça uma chamada da API BigQuery.
String do URI O URL HTTP, caso o método ABAP faça uma chamada da API BigQuery.
Origem do token A origem do token de autenticação que a ferramenta de simulação de carga está usando. Isso será aplicável somente se o armazenamento em cache do token estiver ativado na tabela /GOOG/CLIENT_KEY. Os valores possíveis são:
  • A: valor estático de atributo de um processo específico.
  • M: valor de memória compartilhada da memória que é compartilhada entre vários processos.
  • L: novo valor com bloqueio de memória. Quando há um bloqueio de memória e não é possível ler o token em cache, um novo token é gerado.
  • N: novo valor sem bloqueio de memória. Se um token expirar ou não for encontrado na memória, um novo token será gerado.
Data de vencimento O prazo de validade do token de autenticação.
Aplicável apenas quando o armazenamento em cache de tokens está ativado na tabela /GOOG/CLIENT_KEY.
Valor do token Valor do token de autenticação usado pela ferramenta de simulação de carga para acessar o BigQuery.
Código de retorno O código de retorno da execução do método. Os valores possíveis são:
Texto do erro O título do erro, se houver.
Descrição do erro Informações detalhadas sobre o erro.
Tamanho de payload O tamanho do payload HTTP para a API BigQuery Insert. Se houver um erro na execução do método e o tamanho do payload for maior que 10 MB, será possível ajustar o tamanho do bloco para diminuir o tamanho do payload.
Texto de informação Todas as mensagens de informação relevantes geradas pelo BAdI do BigQuery Connector para SAP. Por exemplo, quando a fragmentação dinâmica é acionada, a seguinte mensagem de informação é exibida: Dynamic chunking triggered. Chunk size reduced from INITIAL_CHUNK_SIZE_VALUE to FINAL_REDUCED_CHUNK_SIZE_VALUE.
Status Status da execução do método. Se a execução de um método falhar, consulte o Guia de solução de problemas do BigQuery Connector para SAP para resolver o problema.

Como programar a ferramenta de simulação de carga

É possível programar a ferramenta de simulação de carga para que seja executada automaticamente como um job em segundo plano no servidor de replicação SAP LT usando o nome de programa /GOOG/R_LOAD_SIMULATION. Para mais informações da SAP sobre como programar jobs em segundo plano, consulte Como programar jobs em segundo plano.

Validação de replicação

Se você selecionar a Sinalização de campos extras ao criar a tabela de destino do BigQuery com a transação /GOOG/SLT_SETTINGS, as colunas serão adicionadas ao esquema da tabela para armazenar o tipo de alteração para cada registro que acionou a replicação e para um carimbo de data/hora que reflete a hora em que o servidor de replicação SAP LT recebeu a parte que continha o registro.

É possível usar os tipos de alteração e o carimbo de data/hora para consultar os seguintes tipos de contagem de registro:

  • O número de registros que são carregados em uma tabela do BigQuery durante um carregamento inicial.
  • O número de registros replicados em um dia especificado em uma tabela do BigQuery.
  • O número total de registros exclusivos em uma tabela do BigQuery.

Para receber essas contagens, é possível consultar a tabela do BigQuery diretamente enviando consultas SQL no Console do Google Cloud, ou executar a ferramenta de validação de replicação, que gera relatórios que comparam as contagens de registro do BigQuery com as estatísticas do servidor de replicação SAP LT ou as contagens de registro da tabela de origem.

Para uma visão geral da Sinalização de campos extras, consulte Campos extras para alterações de registro e consultas de contagem.

Para informações sobre como especificar a Sinalização de campos extras, consulte:

Consultas SQL de contagens de registro

Na página Editor do SQL do BigQuery no Console do Google Cloud, é possível executar consultas SQL para verificar as contagens de registros nas tabelas do BigQuery.

Em seguida, compare as contagens de registros do BigQuery com as contagens na tabela de origem ou nas estatísticas do servidor de replicação SAP LT.

Consulte a contagem de registros inseridos no modo de carregamento inicial

Quando um esquema de tabela do BigQuery inclui a coluna operation_flag opcional, os registros inseridos na tabela no modo de carregamento inicial incluem a sinalização de operação L.

Para ver a contagem de registros recebidos pelo BigQuery durante um carregamento inicial, execute a seguinte consulta:

SELECT COUNT(*)
  FROM
      `PROJECT.DATASET.TABLE`
  WHERE operation_flag = 'L'

Consulte o número de registros inseridos no modo de replicação

Quando um esquema de tabela do BigQuery inclui a coluna operation_flag opcional, os registros inseridos na tabela no modo de replicação incluem uma das sinalizações de operação a seguir:

  • I: o registro foi inserido na tabela de origem.
  • D: o registro foi excluído da tabela de origem.
  • U: o registro foi atualizado na tabela de origem.

Para saber o número de registros recebidos pelo BigQuery no modo de replicação, execute a seguinte consulta:

SELECT COUNT(*)
  FROM
      `PROJECT.DATASET.TABLE`
  WHERE operation_flag = 'I' | 'D' | 'U'

Consulte a contagem total de registros em uma tabela do BigQuery

Quando um esquema de tabela do BigQuery inclui a coluna recordstamp opcional, o campo recordstamp correspondente de cada registro inserido na tabela contém um carimbo de data/hora que indica quando o registro foi enviado pelo servidor de replicação SAP LT para o BigQuery.

Para ver uma contagem total dos registros em uma tabela do BigQuery que pode ser comparada com a contagem total dos registros em uma tabela de origem, use os campos recordstamp e is_deleted para contar os dados: registros exclusivos na tabela do BigQuery que não foram excluídos da tabela de origem.

Se a tabela de origem estiver sendo atualizada ou a replicação estiver ativa quando você consultar os registros, a contagem de registros nas tabelas de origem e de destino talvez não corresponda exatamente.

Para receber a contagem atual de registros exclusivos na tabela de destino do BigQuery, execute a seguinte consulta:

SELECT COUNT(*)
  FROM (
    SELECT
      *,
      ROW_NUMBER() OVER (PARTITION BY KEY_FIELD_1, ..., KEY_FIELD_N ORDER BY recordstamp DESC) row_num
    FROM
      `PROJECT.DATASET.TABLE` )
  WHERE row_num = 1 AND is_deleted = false

Ferramenta de validação de replicação

Nesta seção, você terá uma visão geral da ferramenta de validação de replicação e do que pode ser feito com ela.

A ferramenta de validação de replicação gera relatórios para comparar as contagens de registros na tabela do BigQuery com as estatísticas do servidor de replicação SAP LT e as contagens de registros na tabela de origem. Se as contagens não corresponderem exatamente, a ferramenta sinalizará o relatório com um círculo vermelho.

Para contar os registros no BigQuery, a ferramenta usa as consultas SQL mostradas na seção anterior, Consultas SQL para contagens de registros.

Execute a ferramenta de validação de replicação periodicamente para confirmar que o servidor de replicação SAP LT e o BigQuery Connector para SAP estão replicando registros para o BigQuery conforme esperado.

Para executar a ferramenta de Validação de replicação, insira a transação personalizada /GOOG/REPLIC_VALID precedida por /n na GUI do SAP. Para instruções passo a passo, consulte:

Relatórios de validação de replicação

É possível gerar os seguintes relatórios de validação com a ferramenta de validação de replicação:

  • Contagens de carregamento inicial: uma comparação do número de registros que foram enviados pelo servidor de replicação SAP LT no modo de carregamento e do número de registros que foram carregados no BigQuery.
  • Contagens de replicação: uma comparação do número de registros enviados pelo servidor de replicação SAP LT no modo de replicação e do número de registros inseridos no BigQuery em um dia específico.
  • Contagens atuais: uma comparação pontual do número de registros na tabela de origem e de registros exclusivos no BigQuery. A contagem atual na tabela de origem não pode exibir um número maior que o limite de números inteiros de 32 bits (-2.147.483.648 a 2.147.483.647).

Você pode gerar cada relatório individualmente ou selecionando Todas as verificações ao executar a ferramenta para gerar os três relatórios em uma única execução. Com o campo Nomes de tabela, é possível gerar os relatórios de validação da replicação para tabelas específicas na configuração da transferência em massa.

Como exibir relatórios de validação da replicação

Depois de gerar um relatório, é possível exibi-lo selecionando o botão de opção Exibir relatório na seção Opções de processamento da interface da ferramenta de validação de replicação.

As informações que a ferramenta de validação de replicação exibe em cada relatório são um pouco diferentes dependendo do tipo de relatório.

Todos os relatórios incluem os seguintes tipos de informação:

  • Contagens de registros de origem das estatísticas do servidor de replicação SAP LT e da tabela de origem.
  • Contagens de registro de destino da tabela de destino do BigQuery.
  • Qualquer diferença entre as duas contagens. A diferença é calculada subtraindo as contagens do BigQuery das contagens do registro de origem. Um valor positivo indica um problema provável, porque sugere que nem todos os registros de origem estão entrando no BigQuery.
  • A diferença nas contagens exibidas como uma porcentagem da contagem de registros de origem.
  • Um indicador visual das contagens de origem e destino que são iguais ou diferentes.

Contagens de registro desiguais

A ferramenta de validação de replicação inclui um campo de status com cada relatório exibido.

Um quadrado verde no campo de status significa que a contagem de registros de origem é igual à contagem de registros de destino no BigQuery.

Um círculo vermelho no campo de status significa que as contagens de registro não são iguais.

Uma contagem de registros desigual nem sempre indica um problema. Os seguintes indicadores sugerem um possível problema:

  • Para um relatório de contagens atuais, um valor desigual sempre indica um problema.

  • Em um relatório de contagens de carregamento inicial ou de replicação, um valor positivo indica um problema provável.

    Ter um valor negativo relativamente baixo não é um problema. A contagem em uma tabela de destino do BigQuery pode ser um pouco maior do que a contagem de registro de origem devido a eventos como interrupções de conectividade momentâneas que fazem com que o servidor de replicação SAP LT reenvie dados.

Se você vir uma contagem desigual, execute o relatório novamente para garantir que ele não foi causado por um problema temporário. Uma contagem de registros desigual pode ocorrer devido ao processamento de replicação no momento em que a ferramenta gerou o relatório.

Para uma tabela de origem muito grande ou uma tabela com filtros definidos no servidor de replicação SAP LT para carregamento inicial ou replicação, a ferramenta de validação de replicação pode não conseguir contar todos os registros necessários para uma contagem igual.

Como programar verificações de validação

É possível programar a ferramenta de validação de replicação para ser executada automaticamente em intervalos usando a funcionalidade do job de segundo plano do SAP.

Editar o mapa de campos do BigQuery em um arquivo CSV

As seções a seguir descrevem como exportar o mapeamento do campo padrão para que os engenheiros de dados ou administradores do BigQuery possam editar os valores do campo de destino sem precisar de acesso ao SAP LT Replication Server.

Criar uma planilha ou um arquivo de texto para os mapeamentos de campo padrão

Para criar um arquivo CSV para edição fora do SAP LT Replication Server:

  1. Execute a transação /GOOG/SLT_SETTINGS.

  2. Na tela Manutenção de configuração do SLT, especifique os seguintes valores:

    • No campo Tabela de configurações, especifique Campos.
    • No campo Chave de transferência em massa, especifique o ID da transferência em massa que você está atualizando.
    • No campo Nome da tabela, deixe em branco para trabalhar com todos os campos de todas as tabelas ou especifique um nome de tabela para trabalhar com uma tabela específica.
    • Não preencha os outros campos.

  3. Clique no ícone Executar. A tela Manutenção de configurações do BigQuery: campos é exibida.

  4. Na tela Manutenção de configurações do BigQuery: campos, oculte todas as colunas, exceto as que estejam na lista a seguir, clicando com o botão direito no título das colunas e selecionando Ocultar no menu suspenso:

    • Nome da tabela SAP
    • Nome do campo SAP
    • Elemento de dados externos
    • Nome do campo externo
    • Descrição do campo

  5. Com as cinco colunas restantes exibidas, clique no ícone Exportar.

  6. No menu Exportar, selecione uma das seguintes opções:

    • Planilha
    • Arquivo local. Para facilitar a conversão do conteúdo do arquivo no formato CSV, recomendamos que você salve o arquivo no formato Texto com guias.

  7. Clique no ícone de verificação para salvar os mapeamentos de campo padrão.

Converter a planilha ou o arquivo de texto no formato CSV

Para fazer upload dos mapeamentos de campo editados usando a transação personalizada /GOOG/SLT_SETTINGS, os mapeamentos de campo precisam estar no formato CSV.

Se você estiver usando uma planilha, salve a planilha como um arquivo CSV antes de fazer upload.

Se você estiver usando um arquivo local em um formato separado por tabulação ou qualquer outro formato, será necessário modificar o arquivo para ficar em formato CSV.

Exemplo:

SAP Table,SAP Field Name,External Data Element,External Field Name,Field Description
SAP_TABLE_NAME,SAP_FIELD_NAME1,BIGQUERY_DATA_TYPE,BIGQUERY_FIELD_NAME1,BIGQUERY_FIELD_DESCRIPTION1
SAP_TABLE_NAME,SAP_FIELD_NAME2,BIGQUERY_DATA_TYPE,BIGQUERY_FIELD_NAME2,BIGQUERY_FIELD_DESCRIPTION2
SAP_TABLE_NAME,SAP_FIELD_NAME3,BIGQUERY_DATA_TYPE,BIGQUERY_FIELD_NAME3,BIGQUERY_FIELD_DESCRIPTION3

Fazer o upload do arquivo CSV

Para fazer upload de um arquivo CSV editado:

  1. Execute a transação /GOOG/SLT_SETTINGS.

  2. Na tela Manutenção de configuração do SLT, especifique os seguintes valores:

    • No campo Tabela de configurações, especifique Campos.
    • No campo Chave de transferência em massa, especifique o ID da transferência em massa que você está atualizando.
    • Marque a caixa de seleção Fazer upload do arquivo.

  3. Clique no ícone Executar. A caixa de diálogo Selecionar arquivo para fazer upload será aberta.

  4. Na caixa de diálogo Selecionar arquivo para fazer upload, selecione o arquivo CSV que contém os valores do campo editado.

  5. Clique em Abrir.

  6. Se você receber um aviso de segurança, clique em Permitir. O arquivo é carregado, e os valores modificados no arquivo aparecem nas linhas aplicáveis na tela Manutenção de configurações do BigQuery: campos.

  7. Clique no ícone Salvar.

  8. Para confirmar que os valores foram aplicados, compare os valores no arquivo CSV com os exibidos pelo SAP LT Replication Server.

Como corrigir erros nos dados de origem

Ao receber uma parte dos registros do BigQuery Connector para SAP, a API de streaming do BigQuery verifica se há erros de dados antes de inserir qualquer registro na tabela do BigQuery.

É possível controlar como a API do BigQuery e o BigQuery Connector para SAP respondem quando erros de dados são encontrados. Para isso, especifique as sinalizações a seguir nas configurações de transferência em massa:

  • A sinalização Skip Invalid Records (SKIP)
  • A sinalização Break at First Error Flag (BREAK)

A sinalização SKIP

Se você especificar a sinalização SKIP, quando a API do BigQuery receber um bloco de registros e encontrar um registro com um erro de dados, a API do BigQuery descartará ou pulará, o registro com o erro e continua inserindo todos os outros registros do bloco na tabela do BigQuery.

Se você não especificar a sinalização SKIP, quando o BigQuery encontrar um registro com um erro de dados, ele descartará todo o bloco sem inserir qualquer registro dele na tabela do BigQuery. Esse é o comportamento padrão.

Especificar a sinalização SKIP é melhor para ambientes de desenvolvimento e controle de qualidade, e não é recomendado para ambientes de produção.

É possível especificar a sinalização SKIP na transação /GOOG/SLT_SETTINGS ao configurar a replicação. A especificação é armazenada na tabela de configuração /GOOG/BQ_MASTR.

Para ver como as especificações de SKIP interagem com as de BREAK, consulte a Tabela de matrizes para interações de SKIP e BREAK.

A sinalização BREAK

Se você especificar a sinalização BREAK, quando o BigQuery Connector para SAP for notificado pela API BigQuery de que um erro de dados foi encontrado em um registro, o BigQuery Connector para SAP deixará de enviar registros para o BigQuery e encerra o job de replicação.

Se você não especificar a sinalização BREAK, quando o BigQuery Connector para SAP for notificado pelo BigQuery de que um erro de dados foi encontrado em um registro, o BigQuery Connector para SAP continuará enviando registros ao BigQuery por envio do próximo bloco, e o job de replicação continuará. Esse é o comportamento padrão.

Especifique a sinalização BREAK em ambientes de produção.

É possível especificar a sinalização BREAK na transação //GOOG/SLT_SETTINGS ao configurar a replicação. Quando você cria uma nova chave de transferência em massa, a flag BREAK é ativada por padrão.

A especificação é armazenada na tabela de configuração /GOOG/BQ_MASTR.

Para ver como as especificações de BREAK interagem com as de SKIP, consulte a Tabela de matrizes para interações de SKIP e BREAK.

Tabela de matrizes para interações de SKIP e BREAK

É possível configurar o BigQuery Connector para SAP para processar erros de dados das seguintes maneiras:

Sinalização SKIP Sinalização BREAK Comportamento
FALSO VERDADEIRO.

O BigQuery descarta a parte atual dos registros sem inserir nenhum registro da parte atual na tabela do BigQuery.

O BigQuery Connector para SAP não envia mais blocos de registros da parte atual e instrui o SAP LT Replication Server a encerrar o job de replicação.

Essa é a configuração recomendada.

FALSO FALSO

O BigQuery descarta a parte atual dos registros sem inserir nenhum registro da parte atual na tabela do BigQuery.

O BigQuery Connector para SAP envia os blocos restantes de registros da parte atual e recupera a próxima parte. O BigQuery Connector para SAP não informa ao SAP LT Replication Server para encerrar o job de replicação.

Esse é o padrão.

VERDADEIRO. VERDADEIRO.

O BigQuery descarta somente o registro que contém o erro e insere o restante dos registros no bloco atual na tabela do BigQuery.

O BigQuery Connector para SAP não envia mais blocos de registros da parte atual e informa ao SAP LT Replication Server para encerrar o job de replicação.

VERDADEIRO FALSO

O BigQuery descarta somente o registro que contém o erro e insere o restante dos registros no bloco atual na tabela do BigQuery.

O BigQuery Connector para SAP envia os blocos restantes de registros da parte atual e recupera a próxima parte. O BigQuery Connector para SAP não informa ao SAP LT Replication Server para encerrar o job de replicação.

Mudanças na estrutura da tabela

Nesta seção, explicamos como modificar a estrutura da tabela de origem SAP para a qual uma replicação LTRC existente está em andamento.

Adicionar uma coluna a uma tabela de origem

Para adicionar uma nova coluna a uma tabela de origem, siga estas etapas:

  1. Adicione uma nova coluna à tabela de origem. Como resultado dessa etapa, o status de replicação é alterado para Load/Replication blocked.

  2. No sistema SLT, redefina o status de replicação usando a transação LTRC. Para mais informações da SAP sobre como redefinir o status de replicação, consulte a Nota SAP 2204955 - As tabelas SLT estão no status "Carregamento /Replicação bloqueada".

  3. Adicione, atualize ou exclua uma entrada na tabela de origem.

  4. Valide o resultado da replicação no BigQuery.

Excluir uma coluna de uma tabela de origem

Para excluir uma coluna de uma tabela de origem, siga estas etapas:

  1. No sistema SLT, suspenda a replicação usando a transação LTRC.

  2. Exclua uma coluna da tabela de origem. Como resultado dessa etapa, os gatilhos de SLT atuais são excluídos ou alterados para um estado inconsistente.

  3. No BigQuery, exclua a coluna da tabela de destino do BigQuery. Para mais informações sobre as etapas para excluir uma coluna de uma tabela existente, consulte a documentação do BigQuery.

  4. No sistema SLT, retome a replicação usando a transação LTRC.

  5. No sistema SLT, recrie os gatilhos SLT. Para mais informações sobre a SAP sobre como recriar acionadores SLT, consulte a Nota SAP 2254376 - Acionadores SLT em um estado inconsistente.

  6. Se o status de replicação for Load /Replication blocked, redefina-o usando a transação LTRC. Para mais informações da SAP sobre como redefinir o status de replicação, consulte a Nota SAP 2204955 - As tabelas SLT estão no status "Carregamento/replicação bloqueada".

  7. Limpe os registros, se houver.

  8. Adicione, atualize ou exclua uma entrada na tabela de origem.

  9. Valide o resultado da replicação no BigQuery.

Alterar o tipo de dados de uma coluna existente

Ao alterar o tipo de dados de uma coluna existente na tabela de origem SAP, é necessário seguir etapas específicas caso você esteja alterando o tipo de dados para um tipo de dados compatível ou não compatível com a tabela de destino do BigQuery.

Um tipo de dados é compatível com o tipo de dados na tabela de destino do BigQuery quando o tipo de dados atual e o novo tipo de dados de uma coluna existente mapeiam para o mesmo tipo de dados na tabela de destino do BigQuery. Por exemplo, se o tipo de dados de uma coluna for alterado de INT1 para INT2 em uma tabela de origem, os dois tipos de dados serão compatíveis com o tipo INTEGER na tabela do BigQuery de destino.

Para mais informações sobre o mapeamento de tipos de dados no BigQuery Connector para SAP, consulte Mapeamento de tipo de dados.

Mudar o tipo de dados para um tipo de dados compatível

Para alterar o tipo de dados de uma coluna existente para um tipo de dados compatível, siga estas etapas:

  1. Mude o tipo de dados para um tipo compatível no sistema de origem. Como resultado dessa etapa, os gatilhos de SLT atuais são excluídos ou alterados para um estado inconsistente.

  2. No sistema SLT, recrie os gatilhos SLT. Para mais informações sobre a SAP sobre como recriar acionadores SLT, consulte a Nota SAP 2254376 - Acionadores SLT em um estado inconsistente.

  3. Se o status de replicação for Load /Replication blocked, redefina-o usando a transação LTRC. Para mais informações da SAP sobre como redefinir o status de replicação, consulte a Nota SAP 2204955 - As tabelas SLT estão no status "Carregamento/replicação bloqueada".

  4. Limpe os registros, se houver.

  5. Adicione, atualize ou exclua uma entrada na tabela de origem.

  6. Valide o resultado da replicação no BigQuery.

Mudar o tipo de dados para um tipo não compatível

Para alterar o tipo de dados de uma coluna atual para um tipo de dados não compatível, siga estas etapas:

  1. No sistema SLT, interrompa a replicação usando a transação LTRC.
  2. No BigQuery, exclua a tabela de destino.
  3. Mudar o tipo de dados no sistema de origem.
  4. No sistema SLT, inicie a replicação usando a transação LTRC.

Para mais informações sobre alterações na estrutura da tabela, consulte o BigQuery Connector para SAP: lidar com alterações na estrutura da tabela como um profissional.

Saídas de aprimoramento

O BigQuery Connector para SAP fornece vários pontos de melhoria no código, em que um desenvolvedor do ABAP pode inserir código para adicionar uma funcionalidade personalizada.

A tabela a seguir lista as funções compatíveis com os pontos de aprimoramento, os métodos e a classe que contém o ponto de aprimoramento.

Função Aula Método Spot Opção
Atualize o mapeamento de um campo, como o nome do campo externo, o tipo de dados e assim por diante. /GOOG/CL_IUUC_REPL_RUNTIME CREATE_FLD_MAPPINGS /GOOG/ES_IUUC_REPL_RUNTIME /GOOG/UPDATE_FIELD_MAPPING
Atualize ou mapeie campos de tabela para adicionar ou remover campos. /GOOG/CL_IUUC_REPL_RUNTIME CREATE_FLD_MAPPINGS /GOOG/ES_IUUC_REPL_RUNTIME /GOOG/UPDATE_FIELD_MAPPINGS
Altere o valor de um campo de origem antes de ele ser convertido em um campo de destino. /GOOG/CL_IUUC_REPL_RUNTIME_BQ FILL_TARGET_RECORDS /GOOG/ES_IUUC_REPL_RUNTIME_BQ /GOOG/CHANGE_SOURCE_FIELD
Depois que um campo de origem for convertido em um campo de destino na tabela de destino, altere o valor do campo de destino. /GOOG/CL_IUUC_REPL_RUNTIME_BQ FILL_TARGET_RECORDS /GOOG/ES_IUUC_REPL_RUNTIME_BQ /GOOG/FILL_TARGET_FIELD
Adicione um campo à tabela de destino que não existe nela durante a conversão da tabela de origem para destino. /GOOG/CL_IUUC_REPL_RUNTIME_BQ FILL_TARGET_RECORDS /GOOG/ES_IUUC_REPL_RUNTIME_BQ /GOOG/FILL_EXTRA_FIELD
Prepare um campo de esquema do BigQuery antes de criar a tabela do BigQuery. /GOOG/CL_GCP_CLIENT_BQ PREP_BQ_TABLE_SCHEMA /GOOG/ES_GCP_CLIENT_BQ /GOOG/PREPARE_SCHEMA_FIELD
No caso de erros HTTP, colete dados de registro após as chamadas HTTP para a API BigQuery para resolver o problema. /GOOG/CL_GCP_CLIENT_BQ_SLT INSERT_TABLEDATA /GOOG/ES_GCP_CLIENT_BQ_SLT /GOOG/LOG_INSERT_ERROR

Configurações avançadas

Também é possível modificar as configurações avançadas do BigQuery Connector para SAP. O Google Cloud recomenda que você modifique os parâmetros das configurações avançadas somente após uma análise abrangente do impacto dos novos valores no desempenho. Você é responsável por garantir que as novas configurações avançadas do BigQuery Connector para SAP não causem falhas e problemas de desempenho.

As configurações avançadas do BigQuery Connector para SAP são aplicadas no nível do sistema e são comuns a todas as chaves de transferência em massa. Se os parâmetros das configurações avançadas não forem modificados, o BigQuery Connector para SAP funcionará com as configurações padrão.

Para modificar os parâmetros das configurações avançadas, siga estas etapas:

  1. Na GUI do SAP, insira a transação /GOOG/SLT_SETTINGS precedida por /n:

    /n/GOOG/SLT_SETTINGS

  2. No menu suspenso Tabela de configurações na tela de inicialização da transação /GOOG/SLT_SETTINGS, selecione Parâmetros.

  3. Clique no ícone Executar. A tela Manutenção de configurações do BigQuery: parâmetros é exibida.

  4. Clique no ícone Inserir linha.

  5. Na linha exibida, especifique as seguintes configurações:

    1. No campo Nome do parâmetro, insira o nome dele. A descrição do parâmetro é preenchida automaticamente.

    2. No campo Valor do parâmetro, insira um valor.

      Para saber mais sobre os parâmetros de configurações avançadas, consulte Parâmetros de configurações avançadas.

  6. Clique em Save.

    As configurações avançadas são armazenados como um registro na tabela de configuração /GOOG/BQ_PARAM e os campos Alterado por, Alterado em e Alterado às são preenchidos automaticamente.

Parâmetros de configurações avançadas

A tabela a seguir mostra os parâmetros de configurações avançadas do BigQuery Connector para SAP.

Nome do parâmetro Descrição Valor padrão Valor válido
CHUNK_SIZE_DEF Esse é o tamanho de bloco padrão compatível com o BigQuery Connector para SAP.
Se o tamanho de um bloco não for mantido nas configurações, o tamanho padrão será usado.		 10.000 O valor precisa estar dentro dos limites de cota do BigQuery.
PERC_REDUC_DEF A redução percentual do tamanho do bloco.
Se o tamanho dinâmico do bloco for ativado, ele será reduzido por essa porcentagem até que um tamanho ideal seja alcançado e os dados no bloco sejam transferidos para o BigQuery.		 50 O valor precisa ser de 1 a 99.
CMD_EXEC_TRIES Para sistemas SAP que não estão sendo executados no Google Cloud, se o comando do sistema operacional que você criou na transação SM69 não recuperar um token de acesso do Google Cloud, esse é o número de vezes que o BigQuery Connector para SAP repete a recuperação do token. 5 O valor mínimo que pode ser atribuído a esse parâmetro é 1. Para facilitar pelo menos uma nova tentativa, defina o valor como 2. O valor máximo desse parâmetro precisa ser definido depois de analisar o impacto das novas tentativas de recuperação do token no desempenho da replicação.
CMD_SECS_DEFLT Se você ativou o armazenamento em cache do token, essa é a duração em segundos após a expiração do token em cache. 3500 O valor precisa estar entre 1 e 3.599.