Instalar e configurar o BigQuery Toolkit para SAP

Neste documento, descrevemos como instalar e configurar o BigQuery Toolkit para SAP.

Instalar o BigQuery Toolkit para SAP

Quando você instala a versão 1.9 do SDK do ABAP para Google Cloud no local ou em qualquer edição na nuvem, o BigQuery Toolkit para SAP é instalado por padrão. Para informações sobre as etapas de instalação, consulte Instalar e configurar a edição local ou de qualquer nuvem do SDK do ABAP para Google Cloud.

Se você já estiver usando a versão 1.8 ou anterior do ABAP SDK for Google Cloud no local ou em qualquer edição na nuvem, atualize o SDK para a versão mais recente e receba o BigQuery Toolkit para SAP. Para mais informações, consulte Atualizar o SDK ABAP para Google Cloud.

Ative a API BigQuery

Ative a API BigQuery no seu projeto do Google Cloud. Para informações sobre como ativar Google Cloud APIs, consulte Como ativar APIs.

Configurar a autenticação

Depois de configurar a autenticação para acessar Google Cloud APIs na edição local ou na nuvem do SDK do ABAP para Google Cloud, o BigQuery Toolkit para SAP usa o mesmo método de autenticação para acessar a API BigQuery. Para saber como configurar a autenticação no local ou em qualquer edição na nuvem do SDK do ABAP para Google Cloud, consulte Visão geral da autenticação.

Verifique se a conta de serviço configurada na configuração da chave do cliente do ABAP SDK for Google Cloud tem os seguintes papéis:

  • Editor de dados do BigQuery
  • Usuário de jobs do BigQuery

Anote a chave do cliente que você criou como parte da configuração de autenticação. Use essa chave de cliente ao configurar o módulo de configuração da transferência de dados do BigQuery do BigQuery Toolkit para SAP no seu sistema SAP.

Criar um conjunto de dados do BigQuery

Para criar um conjunto de dados do BigQuery, sua conta de usuário precisa ter as permissões de IAM adequadas para o BigQuery. Para mais informações, consulte Permissões necessárias.

Para criar um conjunto de dados do BigQuery, faça o seguinte:

  1. No Console do Google Cloud, acesse a página do BigQuery:

    Ir para o BigQuery

  2. Ao lado do ID do projeto, clique no ícone Ver ações, e, em seguida, clique em Criar conjunto de dados.

    Criar conjunto de dados

  3. No campo ID do conjunto de dados, insira um nome exclusivo. Para mais informações, consulte Nomear conjuntos de dados.

Para mais informações sobre como criar conjuntos de dados do BigQuery, consulte Como criar conjuntos de dados.

Configurar o módulo de transferência de dados do BigQuery

O módulo de transferência de dados do BigQuery do BigQuery Toolkit para SAP permite criar um pipeline de dados do seu sistema SAP para o BigQuery. Nesse processo, você cria uma configuração de transferência em massa, em que pode especificar quais fontes de dados do SAP replicar, mapear campos entre as tabelas do SAP e do BigQuery e otimizar o desempenho ao configurar as configurações de replicação de dados.

Selecionar as opções iniciais de transferência em massa

Selecione a parte da configuração de transferência em massa que você precisa editar.

Para selecionar a parte da configuração de transferência em massa, faça o seguinte:

  1. Na GUI do SAP, execute o código de transação /GOOG/SDK_IMG.

    Como alternativa, execute o código da transação SPRO e clique em IMG de referência do SAP.

  2. Clique em ABAP SDK for Google Cloud > Configurações básicas > Transferência de dados do BigQuery: manutenção de configurações.

  3. No menu suspenso Configurações da tabela, selecione Transferências em massa.

    Para uma nova configuração de transferência em massa, deixe o campo Chave de transferência em massa em branco.

  4. Clique no ícone Executar. A tela Manutenção de configurações de transferência de dados do BigQuery: transferências em massa é exibida.

Especificar a criação de tabelas e outros atributos gerais

Na seção inicial de uma configuração de transferência em massa do BigQuery, identifique a configuração da transferência em massa e especifique a chave do cliente associada, além de determinadas propriedades relacionadas à criação da tabela de destino do BigQuery.

O servidor SAP salva a configuração de transferência em massa como um registro na tabela de configuração personalizada /GOOG/BQTR_MASTR.

Os campos especificados nas etapas a seguir são necessários para uma configuração de transferência em massa.

Para especificar os atributos da tabela, faça o seguinte:

  1. Na tela Manutenção de configurações de transferência de dados do BigQuery: transferências em massa, clique no ícone Anexar linha.

  2. Na linha exibida, especifique as seguintes configurações:

    1. No campo Chave da transferência em massa, defina um nome para esta transferência. Esse nome se torna a chave primária da transferência em massa.
    2. Para usar os rótulos ou as descrições curtas dos campos de origem como nomes para os campos de destino no BigQuery, clique na caixa de seleção Usar sinalização de nomes personalizados. Para mais informações sobre nomes de campos, consulte Opções de nomenclatura padrão para campos.

    3. Para armazenar o tipo de alteração que acionou uma inserção e ativar a validação das contagens de registros entre a tabela de origem, as estatísticas do servidor SAP e a tabela do BigQuery, selecione a caixa de seleção Sinalização de campos extras.

      Quando essa flag é definida, o BigQuery Toolkit para SAP adiciona colunas ao esquema da tabela do BigQuery. Para mais informações, consulte Campos extras para alterações de registro e consultas de contagem.

    4. Para interromper o envio de dados quando um registro com um erro de dados é encontrado, a caixa de seleção Break at First Error Flag fica marcada por padrão. Recomendamos deixar essa opção marcada. Para mais informações, consulte A sinalização BREAK.

    5. Para reduzir automaticamente o tamanho do bloco quando o tamanho de bytes de um bloco excede o tamanho máximo de bytes para solicitações HTTP aceitas pelo BigQuery, clique na caixas de seleção Flag de tamanho dinâmico do bloco. Para ver mais informações sobre o tamanho dinâmico de blocos, consulte Tamanho dinâmico de blocos.

    6. Quando um registro com um erro de dados é encontrado, para ignorar o registro e continuar inserindo registros na tabela do BigQuery, clique na caixa de seleção Pular sinalização de registros inválidos. Recomendamos deixar esta opção desmarcada. Para mais informações, consulte Sinalização do SKIP.

    7. No campo Nome da chave do Google Cloud, insira o nome da configuração da chave do cliente correspondente.

      O BigQuery Toolkit para SAP recupera o identificador do projeto Google Cloud da configuração da chave do cliente.

    8. No campo Conjunto de dados do BigQuery, insira o nome do conjunto de dados de destino do BigQuery que você criou na seção Criar um conjunto de dados do BigQuery.

    9. No campo É configurar a sinalização ativa, clique na caixa de seleção para ativar a configuração da transferência em massa.

    10. Clique em Salvar.

      Um registro de transferência em massa é anexado à tabela /GOOG/BQTR_MASTR e os campos Changed by, Changed On e Changed At são preenchidos automaticamente.

    11. Clique em Exibir tabela.

      O novo registro de transferência em massa é exibido seguido pelo painel de entrada do atributo da tabela.

Especificar atributos de tabela

É possível especificar os atributos da tabela, como o nome e o particionamento, bem como o número de registros a serem incluídos em cada transmissão ou bloco enviado ao BigQuery.

As configurações especificadas são armazenadas como um registro na tabela de configuração /GOOG/BQTR_TABLE.

Essas configurações são opcionais para uma configuração de transferência em massa.

Para especificar os atributos da tabela, faça o seguinte:

  1. Clique no ícone Anexar linha.

  2. No campo SAP Data Source Name, insira o nome dos objetos de dicionário SAP de origem, como tabelas, visualizações de dicionário, visualizações do CDS ou entidades do CDS.

  3. No campo Nome da tabela externa, insira o nome da tabela de destino do BigQuery. Se a tabela de destino ainda não existir, o BigQuery Toolkit para SAP vai criar a tabela com esse nome. Para saber mais sobre as convenções de nomenclatura do BigQuery nas tabelas, consulte Nomenclatura de tabelas.

  4. Para enviar dados não compactados para todos os campos de uma tabela, selecione Send Uncompressed Flag. Com essa configuração ativada, o BigQuery Toolkit para SAP replica todos os campos vazios nos registros de origem com os valores com que os campos são inicializados na tabela de origem. Para melhorar o desempenho, não selecione essa flag.

    Se você precisar enviar dados não compactados apenas para campos específicos, não selecione Send Uncompressed Flag no nível da tabela. Em vez disso, selecione Send Uncompressed Flag para esses campos específicos no nível do campo. Essa opção permite reter os valores iniciais de campos específicos ao replicar dados no BigQuery, mesmo que você esteja comprimindo o restante dos dados da tabela. Para saber como modificar a compactação de registros no nível do campo, consulte Mudar a compactação de registros no nível do campo.

    Para mais informações sobre o comportamento de compactação de registros, consulte Compactação de registros.

  5. Opcionalmente, no campo Chunk Size, especifique o número máximo de registros a serem incluídos em cada bloco enviado para o BigQuery. Recomendamos que você use o tamanho de bloco padrão com o BigQuery Toolkit para SAP, que é de 10.000 registros. Se necessário, é possível aumentar o tamanho do bloco para até 50.000 registros, que é o tamanho máximo permitido pelo BigQuery Toolkit para SAP.

    Se os registros de origem tiverem um grande número de campos, o número de campos poderá aumentar o tamanho geral dos bytes dos blocos, o que pode causar erros nos blocos. Se isso ocorrer, tente reduzir o tamanho do bloco para diminuir o tamanho do byte. Para mais informações, consulte Tamanho do bloco de transferência de dados. Como alternativa, para ajustar automaticamente o tamanho do bloco, ative o tamanho dinâmico do bloco. Para ver mais informações, consulte Tamanho dinâmico do bloco.

  6. Opcionalmente, no campo Tipo de partição, especifique um incremento de tempo a ser usado para particionamento. Os valores válidos são HOUR, DAYMONTH ou YEAR. Para mais informações, consulte Particionamento de tabelas.

  7. Opcionalmente, no campo Partition Field, especifique o nome de um campo na tabela de destino do BigQuery que contém um carimbo de data/hora para uso no particionamento. Ao especificar o Campo de partição, especifique também o Tipo de partição. Para mais informações, consulte Particionamento de tabelas.

  8. No campo É configurar sinalização ativa, ative os atributos da tabela clicando na caixa de seleção. Se a caixa É configurar sinalização ativa não estiver marcada, o BigQuery Toolkit para SAP vai criar a tabela do BigQuery com o nome da tabela de origem da SAP, o tamanho padrão de bloco e nenhum particionamento.

  9. Clique em Salvar.

    Os atributos são armazenados como um registro no/GOOG/BQTR_TABLE tabela de configuração e asAlterada por ,Alterado em eAlterado em são preenchidos automaticamente.

  10. Clique em Campos de exibição.

    O novo registro de atributo da tabela é exibido seguido pelo painel de entrada do mapeamento de campo.

Personalizar o mapeamento de campos padrão

Se a tabela SAP de origem contiver campos de booleanos ou booleanos, altere o mapeamento do tipo de dados padrão para refletir com precisão o tipo de dados na tabela de destino do BigQuery.

Também é possível alterar outros tipos de dados, bem como os nomes usados para campos de destino.

É possível editar o mapeamento padrão diretamente na GUI do SAP ou exportar o mapeamento padrão para uma planilha ou um arquivo de texto para que outras pessoas possam editar os valores sem precisar de acesso ao servidor SAP.

Para mais informações sobre o mapeamento de campos padrão e as alterações que podem ser feitas, consulte Mapeamento de campos.

Para personalizar o mapeamento padrão dos campos de destino do BigQuery:

  1. Na tela Manutenção de configurações de transferência de dados do BigQuery: campos, mostre os mapeamentos de campo padrão para a transferência em massa que você está configurando.

  2. Edite os tipos de dados de destino padrão na coluna External Data Element conforme necessário. Especificamente, altere o tipo de dados de destino para os seguintes tipos de dados:

    • Carimbos de data/hora. Altere o tipo de dados de destino padrão de NUMERIC para TIMESTAMP ou TIMESTAMP (LONG).
    • Booleanos. Altere o tipo de dados de destino padrão de STRING para BOOLEAN.
    • Hexadecimal. Altere o tipo de dados de destino padrão de STRING para BYTES.

    Para editar o mapeamento do tipo de dados padrão:

    1. Na linha do campo que você precisa editar, clique no campo External Data Element.
    2. Na caixa de diálogo para tipos de dados, selecione o tipo de dados do BigQuery que você precisa.
    3. Confirme as alterações e clique em Salvar.

  3. Se você especificou a flag Nomes personalizados na tela Manutenção das configurações de transferência de dados do BigQuery, edite os nomes padrão dos campos de destino na coluna Nome de campo temporário conforme necessário.

    Os valores especificados modificam os nomes padrão mostrados na coluna Nome do campo externo.

  4. Edite as descrições de campo de destino padrão na coluna Descrição do campo conforme necessário.

  5. Como opção, exporte o mapa de campos para edição externa. Para mais instruções, consulte Editar o mapa de campos do BigQuery em um arquivo CSV.

  6. Depois que todas as alterações forem concluídas e todos os valores editados externamente forem enviados, confirme se a caixa de seleção É configurar sinalização ativa está marcada. Se a opção É configurar sinalização ativa não estiver selecionada, o BigQuery Toolkit para SAP criará tabelas de destino com os valores padrão.

  7. Clique em Salvar.

    As alterações são armazenadas na tabela de configuração /GOOG/BQTR_FIELD e nos campos Changed by, Changed On e Changed at são preenchidos automaticamente.

Mudar a compactação de registros no nível do campo

Para melhorar o desempenho da replicação, o BigQuery Toolkit para SAP compacta registros omitindo todos os campos vazios no registro de origem, que são inicializados com null na tabela de destino no BigQuery. No entanto, se você precisar replicar alguns campos vazios com os valores iniciais no BigQuery enquanto ainda usa a compactação de registros, selecione Enviar sinalização não compactada para esses campos específicos.

Para mais informações sobre o comportamento de compactação de registros, consulte Compactação de registros.

Para mudar a compactação de registros no nível do campo, faça o seguinte:

  1. Na tela Manutenção de configurações de transferência de dados do BigQuery: campos, mostre a lista de campos da tabela cuja transferência em massa você está configurando.

  2. Para enviar dados não compactados de um campo, selecione Send Uncompressed Flag correspondente ao campo.

  3. Clique em Salvar.

Receber suporte

Google Cloud oferece suporte para problemas e dúvidas relacionados à instalação, configuração, operação e manutenção do BigQuery Toolkit para SAP. No entanto, o suporte é limitado ao próprio kit de ferramentas.

Google Cloud não oferece suporte a outros componentes do ambiente, como infraestrutura de rede, bancos de dados, sistemas operacionais ou softwares de terceiros. Para problemas relacionados a componentes de ambiente que não sejam o BigQuery Toolkit para SAP, entre em contato com o fornecedor ou provedor de suporte apropriado.

Para funcionalidades fornecidas pela SAP, como o provisionamento de dados operacionais (ODP, na sigla em inglês) e a transformação de paisagem do SAP (SLT, na sigla em inglês), entre em contato com o suporte da SAP para receber ajuda.

Para resolver problemas com o BigQuery Toolkit para SAP, consulte Solução de problemas do BigQuery Toolkit para SAP.

Se você precisar de ajuda para resolver problemas com o ABAP SDK for Google Cloud, faça o seguinte: