Fonte em lote de tabelas SAP

Esta página descreve como configurar extrações em massa de dados de aplicativos SAP.

O plug-in de origem de lote da tabela SAP (plug-in da tabela SAP) permite ler dados de tabelas ou visualizações padrão e personalizadas do SAP. Ele permite a ingestão de dados em massa de aplicativos SAP no BigQuery ou em qualquer outro sistema de destino compatível usando o Cloud Data Fusion. O plugin tem os seguintes recursos principais:

  • Usa o SAP ECC, SAP S/4HANA ou SAP BW como sistema de origem
  • Não usa SAP CDC (captura de dados alterados) para acompanhar e extrair dados novos e delta nas fontes de dados
  • Usa o modo de extração em lote
  • Oferece suporte a tabelas do SAP e visualizações do CDS ABAP como fontes de dados
  • Acessa dados do SAP por meio da camada do aplicativo

É possível ler dados de:

  • Tabelas transparentes
  • Tabelas de cluster
  • Mesas de sinuca
  • Visualizações de CDS ABAP
  • Objetos ADSO do SAP BW

Versões de software com suporte

Software Versões
SAP S4/HANA SAP S4/HANA 1909 e versões mais recentes
SAP ECC SAP ERP6 NW 7.31 SP16 e posterior
SAP JCo SAP JCo versão 3.0.20 e mais recentes
Cloud Data Fusion 6.3 e superior

Para mais informações sobre o SAP no Google Cloud, consulte a Visão geral do SAP no Google Cloud.

Antes de começar

Configure os seguintes sistemas e serviços usados pelo plug-in SAP Table:

  1. Configure o sistema ERP da SAP. Esse processo inclui as seguintes etapas:
    • Instale os arquivos de transporte SAP.
    • Configure as autorizações e os papéis SAP necessários.
    • Configure o conector Java do SAP.

  2. Implante o plug-in no Cloud Data Fusion.

    • Importante: escolha uma versão do plug-in compatível com a Versão do Cloud Data Fusion.
    • Se você fizer upgrade da versão da instância ou do plug-in do Cloud Data Fusion, avalie o impacto das mudanças no escopo funcional e no desempenho do pipeline.

  3. Estabeleça a conectividade RFC entre o Cloud Data Fusion e o SAP.

    • Certifique-se de que a comunicação entre os instância do Cloud Data Fusion e do servidor SAP.
    • Para instâncias particulares, configure Peering de rede VPC.
    • O sistema SAP e a instância do Cloud Data Fusion precisam no mesmo projeto.

Configurar o plug-in

  1. Acesse a interface da Web do Cloud Data Fusion e clique em Studio.
  2. Verifique se Pipeline de dados - Lote está selecionado (não Tempo real).
  3. No menu Origem, clique em Tabela SAP. O nó "SAP Table" aparece no seu pipeline.
  4. Para configurar a origem, acesse o nó da tabela SAP e clique em Propriedades:

  5. Insira as seguintes propriedades. Para uma lista completa, consulte Propriedades.

    1. Insira um Rótulo para o nó da tabela SAP: exemplo: SAP tables.

    2. Insira os detalhes da conexão. É possível configurar uma nova conexão única ou uma conexão existente e reutilizável.

      Nova conexão

      Para adicionar uma conexão única ao SAP, siga estas instruções etapas:

      1. Mantenha a opção Usar conexão desativada.

      2. Na seção Conexão, insira as seguintes informações da conta da SAP nestes campos:

        1. No campo Nome de referência, insira um nome para a conexão que identifica essa origem para a linhagem.
        2. No campo SAP client, insira o nome do cliente de uma instância ou ambiente específico no SAP. Um administrador do SAP pode fornecer o nome do cliente.
        3. No campo SAP language, insira uma linguagem de logon da SAP. O padrão é EN (inglês).

        4. Selecione um dos seguintes Tipos de conexão.

          • Direto (via SAP Application Server). Se você escolher este tipo padrão, insira as informações no seguinte Campos: host do servidor de aplicativos SAP, sistema SAP número e roteador SAP.
          • Carga balanceada (via SAP Message Server). Se você escolher esse tipo, insira informações nos seguintes campos: Host do SAP Message Server, Serviço ou número da porta do SAP Message Server, ID do sistema SAP (SID) e Nome do grupo de logon do SAP.

        5. No campo Nome da tabela/visualização SAP, insira o nome do tabela ou visualização de seu sistema SAP.

        6. Forneça as credenciais SAP: solicite ao seu administrador SAP Nome de usuário de logon SAP e senha.

        7. No campo Caminho do Cloud Storage da biblioteca JCo, insira o caminho do SAP Java Connector (SAP JCo) no Cloud Storage que contém os arquivos da biblioteca SAP JCo enviados.

        8. Para gerar um esquema com base nos metadados da SAP que mapeia os tipos de dados da SAP para os tipos de dados correspondentes do Cloud Data Fusion, clique em Get schema. Para mais informações, consulte Dados mapeamentos de tipos.

        9. Opcional: para otimizar a carga de transferência do SAP, insira informações nos seguintes campos:

          1. O uso das Opções de filtro permite extrair registros com base em condições de seleção, como colunas com um conjunto definido de valores. Defina as condições na sintaxe do OpenSQL em uma cláusula WHERE. Por exemplo, esta consulta retorna todas as linhas da tabela Roster em que a coluna SchoolID tem o valor SchoolID > 52:

            SELECT * FROM Roster WHERE SchoolID > 52;

            Para mais informações, consulte Filtros compatíveis.

          2. No campo Número de linhas a serem buscadas, é possível limitar os dados extraídos fornecendo um número inteiro positivo de linhas.

          3. No campo Número de divisões, é possível criar partições diferentes para extrair registros de dados em paralelo, melhora o desempenho. O número de divisões pode afetar o SAP processos de trabalho e precisam ser selecionados com cuidado.

          4. No campo Package size, especifique o número de registros sejam extraídos em uma única chamada de rede SAP. O tamanho do pacote afeta a performance e os recursos disponíveis e precisa ser selecionado com cuidado.

      Conexão reutilizável

      Para reutilizar uma conexão, siga estas etapas:

      1. Ative a opção Usar conexão.
      2. Clique em Procurar conexões.

      3. Clique no nome da conexão.

      Se não existir uma conexão, para criar uma conexão reutilizável, siga estas etapas:

      1. Clique em Add Connection > SapTable.
      2. Na página Criar uma conexão SapTable que é aberta, insira um nome e uma descrição da conexão.
      3. No campo SAP client, insira o nome do cliente de uma instância ou ambiente específico no SAP. um SAP administrador pode fornecer o nome do cliente.
      4. No campo SAP language, insira uma linguagem de logon da SAP. O padrão é EN (inglês).

      5. Selecione um dos seguintes tipos de conexão.

        • Direto (via SAP Application Server). Se você escolher esse tipo padrão, insira informações nos seguintes campos: Host do servidor de aplicativos SAP, Número do sistema SAP e Roteador SAP.
        • Carga balanceada (via SAP Message Server). Se você escolher esse tipo, insira informações nos seguintes campos: Host do SAP Message Server, Serviço ou número da porta do SAP Message Server, ID do sistema SAP (SID) e Nome do grupo de logon da SAP.

      6. Forneça as credenciais do SAP: peça ao administrador do SAP os valores de nome de usuário de logon do SAP e senha.

      7. No campo Caminho do Cloud Storage da biblioteca JCo, insira o caminho do conector SAP Java (SAP JCo) no Cloud Storage que contém os arquivos da biblioteca SAP JCo que você enviou.

      8. Opcional: em Outras propriedades de conexão do SAP, , insira os pares de chave-valor que devem substituir o campo SAP JCo padrão.

      9. Clique em Criar.

Propriedades

Propriedade Macro ativada Propriedade obrigatória Descrição
Rótulo Não Sim O nome do nó no pipeline de dados.
Usar conexão Não Não Use uma conexão reutilizável. Se uma conexão for usada, você não precisa forneça as credenciais. Para mais informações, consulte Gerenciar conexões.
Nome de referência Não Sim Se a opção Usar conexão não estiver ativada, este campo será exibido. O nome da conexão a ser usada para a linhagem.
Nome Não Sim Se a opção Usar conexão estiver ativada, esse campo vai aparecer. O nome da conexão reutilizável.
Cliente SAP Sim Sim A instância ou o ambiente em um sistema SAP.
Criar snapshot Sim Sim Ativar snapshots de dados no SAP.
Quando ativar snapshots:
  • Extração de dados de tabelas transacionais ativas
  • Extrair nas tabelas em que as consultas de dados são mais lentas e consomem mais memória para cada chamada de extração.

Quando desativar os snapshots: você está executando várias extrações de dados de grande volume em paralelo. Os snapshots usam tabelas de buffer no SAP, o que pode levar a problemas de out of memory no SAP. No entanto, após a extração de dados, a tabela de buffer é limpa.
Linguagem SAP Sim Sim O idioma em que a interface do usuário e os dados do SAP são exibidos e processados.
Tipo de conexão Não Sim O tipo de conexão SAP: Direct ou Load equilibrado.
Host do servidor de aplicativos SAP Sim Não Para o tipo de conexão Direto, esse nome de host é do servidor de aplicativos SAP, que funciona como uma camada middleware entre clientes SAP (como a interface da Web SAP, navegadores da Web ou apps para dispositivos móveis) e o banco de dados subjacente.
Número do sistema SAP Sim Não Para o tipo de conexão Direta, esse número é o identificador exclusivo atribuído a cada sistema SAP. Por exemplo: 00:
Roteador SAP Sim Não Para o tipo de conexão Direto, essa é a string do roteador para o servidor proxy, que fornece um canal seguro para a comunicação entre sistemas SAP e clientes ou parceiros externos.
Host do servidor de mensagens do SAP Sim Não Para o tipo de conexão Balanced load, esse é o nome do host, que facilita o balanceamento de carga em vários servidores de aplicativos no SAP.
Número da porta ou do serviço do servidor de mensagens SAP Sim Não Apenas para o tipo de conexão Balanceamento de carga, este é o porta de rede em que o SAP Message Server detecta conexões de entrada de clientes SAP e servidores de aplicativos no SAP.
ID do sistema SAP (SID) Sim Não Apenas para o tipo de conexão Balanceamento de carga, este ID é atribuídos a cada sistema SAP.
Nome do grupo de logons da SAP Sim Não O nome do agrupamento lógico ou da configuração de vários servidores de aplicativos SAP. O padrão é PUBLIC.
Nome da tabela/visualização da SAP Sim Sim Um nome de tabela ou visualização válido, que não diferencia maiúsculas de minúsculas, em que todas as colunas podem ser extraídas.
Nome de usuário de logon SAP Sim Sim Nome de usuário para SAP
Recomendado: se o nome de usuário mudar periodicamente, use uma macro.
Senha de logon da SAP Sim Sim senha SAP.
Recomendado: use macros seguras.
ID do projeto do GCP Sim Sim ID do projeto do Google Cloud.
Caminho do GCS da biblioteca SAP JCo Sim Sim O caminho para o Cloud Storage em que você fez upload do SAP JCo arquivos de biblioteca.
Receber esquema N/A N/A O plug-in gera um esquema com base nos metadados do SAP, que Mapeia os tipos de dados do SAP aos dados correspondentes do Cloud Data Fusion tipos Consulte Mapeamento do tipo de dados.
Propriedades adicionais de conexão SAP Sim Não Defina outras propriedades do SAP JCo para substituir os padrões do SAP JCo. Por exemplo, definir jco.destination.pool_capacity = 10 substitui a capacidade padrão do pool de conexões.
Filtros Sim Não Condições especificadas na sintaxe do Open SQL que filtram com SQL cláusula WHERE. Extraia registros com base em condições, como aqueles em colunas com um conjunto definido de valores ou um intervalo de valores.
Para mais informações, consulte Compatível filtros.
Número de linhas a serem buscadas Sim Não Limita o número de registros extraídos.
  • Insira um número inteiro positivo.
  • Se o valor for 0 ou for deixado em branco, o Cloud Data Fusion extrai todos os registros da tabela.
  • Se você inserir um valor positivo maior que o número de registros selecionados (com base nos outros valores do filtro), o Cloud Data Fusion vai extrair apenas os registros selecionados.
Número de divisões a serem geradas Sim Não Cria partições para extrair registros em paralelo.
O mecanismo do ambiente de execução cria o número especificado de partições (e conexões SAP) enquanto extrai os registros.
Tenha cuidado ao aumentar esse valor, pois ele aumenta o conexões simultâneas com o SAP.
Recomendado: planeje ter conexões SAP para cada pipeline e o número total de pipelines em execução simultaneamente.
Se o valor for 0 ou for deixado em branco, o Cloud Data Fusion vai escolher um valor apropriado com base no número de executores disponíveis, nos registros a serem extraídos e no tamanho do pacote.
Tamanho do pacote Sim Não O número de registros a serem extraídos em uma única chamada de rede SAP. É o número de registros que o SAP armazena em buffer na memória durante cada chamada de extração de rede.
Tenha cuidado ao definir essa propriedade. Vários pipelines de dados a extração de dados pode aumentar o uso da memória, causando falhas Out of memory erro.
  • Insira um número inteiro positivo.
  • Se for 0 ou deixado em branco, o plug-in usará um valor padrão de 70000 ou um valor calculado adequadamente.
  • Se o pipeline de dados falhar devido a erros Out of memory, diminua o tamanho do pacote ou aumente a memória disponível para os processos de trabalho do SAP.

Filtros compatíveis

As condições de filtro a seguir são compatíveis.

Filtro que contém um operador de comparação

Use operadores de comparação para realizar filtragem mais complexa com base em comparações entre valores.

Sintaxe
    SELECT * FROM table_name WHERE column_name > value; \
    SELECT * FROM table_name WHERE column_name BETWEEN value1 AND value2;
Exemplo
AUDAT GT '20230914'

Filtro que contém um operador LIKE

Use operadores LIKE para correspondência de padrões. Para corresponder a qualquer use o símbolo % como curinga.

Sintaxe
    SELECT * FROM table_name WHERE column_name LIKE 'pattern%';
Exemplo
ERNAM LIKE 'KIRAN%'

Filtro que contém um operador IN

Usar operadores IN para especificar uma lista de valores a serem correspondidos contra.

Sintaxe
    SELECT * FROM table_name WHERE column_name \
      IN ('value1', 'value2', 'value3');
Exemplo
ERNAM IN ( 'LEE' , 'KIRAN' )

Filtro que contém um operador lógico

Use operadores lógicos para especificar uma lista de valores a serem comparados.

Sintaxe
    SELECT * FROM table_name WHERE condition1 AND condition2; \
      SELECT * FROM table_name WHERE condition1 OR condition2; \
      SELECT * FROM table_name WHERE NOT condition;
Exemplos
  • ( AUDAT EQ '20220615' ) AND ( ERNAM LIKE 'LEE%' )
  • ( AUDAT EQ '20220615' ) OR ( AUDAT EQ '20220617' )

Filtro que contém um período

Use períodos para recuperar linhas em que uma coluna de data e hora se enquadra em um período específico.

Sintaxe
    SELECT * FROM table_name \
      WHERE datetime_column >= 'start_date' AND datetime_column <= 'end_date';
Exemplo
AUDAT GE '20230910' AND AUDAT LE '20230914'

Filtro que contém uma comparação de datas

Use comparações de data para recuperar linhas em que a data/hora é usada.

Sintaxe
    SELECT * FROM table_name WHERE datetime_column > 'target_date';
Exemplo
AUDAT GE '20230910' AND AUDAT LE '20230914'

Data e hora de combinação do filtro

Se a coluna de data/hora incluir data e hora, você poderá filtrar de acordo com isso.

Sintaxe
    SELECT * FROM table_name \
      WHERE datetime_column >= 'target_datetime' \
      AND datetime_column <= 'target_datetime';
Exemplo
TIMESTAMP GE '20210602144800' AND TIMESTAMP LE '20210624080836'

(Formato de carimbo de data/hora: AAAAMMDDHHMMSS)

Filtrar combinando várias condições com operadores lógicos

É possível recuperar linhas que atendam a várias condições usando operadores, como AND e OR.

Sintaxe
    SELECT * FROM table_name \
      WHERE (column1 = 'value1' AND column2 > value2) \
      OR (column3 = 'value3' AND column4 < value4);
Exemplo
    ( ERNAM EQ 'LEE' AND AUDAT GT '20220722' ) \
      OR ( BSTNK EQ 'PO54321065' AND BSTDK LT '20220714' )

Filtrar combinando condições aninhadas

É possível combinar condições de maneira aninhada para criar filtros.

Sintaxe
    SELECT * FROM table_name \
      WHERE (column1 = 'value1' OR (column2 = 'value2' AND column3 > value3)) \
      AND column4 = 'value4';
Exemplo
    ( ERDAT EQ '20220722' OR ( ERNAM EQ 'LEE' AND VDATU GT '20210623' ) ) \
      AND FMBDAT EQ '20220722'

Filtro que usa subconsultas

É possível usar subconsultas para filtrar com base nos resultados de outra consulta.

Sintaxe
    SELECT * FROM table_name \
      WHERE column1 IN (SELECT related_column FROM other_table WHERE condition);
Exemplo
VBELN IN ( SELECT VBELN FROM VBAK WHERE ERNAM = 'LEE' )

Filtrar combinando condições de data e valor

É possível combinar condições com base na data e no valor em um filtro.

Sintaxe
    SELECT * FROM table_name \
      WHERE (column1 = 'value1' OR column2 = 'value2') \
      AND datetime_column > 'target_datetime';
Exemplo
    ( ERDAT EQ '20220722' OR ERNAM EQ 'LEE' ) AND VDATU GT '20210623'

Filtro que contém datas de formatação

No SAP, os campos de data e hora são sempre salvos sem - ou : no nível do banco de dados.

Sintaxe
    SELECT * FROM table_name \
      WHERE datetime_column >= 'YYYY-MM-DD HH:MM:SS' \
      AND datetime_column <= 'YYYY-M

Incompatível: filtro que contém funções e operadores de comparação

No SAP, não há suporte para funções na cláusula WHERE da QUERY.

Sem suporte: filtro que contém intervalos

No SAP, a função NOW() não é compatível.

Sintaxe
    SELECT * FROM table_name \
      WHERE datetime_column >= NOW() - INTERVAL X DAY;

Sem suporte: filtro que extrai o componente de data

No SAP, a filtragem de deslocamento não é compatível.

Exemplo
    WHERE YEAR+0(4) = 2023

Mapeamentos de tipo de dados

A tabela a seguir é uma lista de tipos de dados SAP com os tipos correspondentes do Cloud Data Fusion.

Tipo de dados do SAP Tipo ABAP SAP description Tipo de dados do Cloud Data Fusion
INT1 (numérico) b Inteiro de 1 byte int
INT2 (numérico) s Inteiro de 2 bytes int
INT4 (numérico) i Inteiro de 4 bytes int
INT8 (numérico) 8 Inteiro de 8 bytes long
DEC (numérico) p Número no pacote no formato BCD (DEC) decimal
DF16_DEC, DF16_RAW (numérico) a Ponto flutuante decimal de 8 bytes IEEE 754r double
DF34_DEC, DF34_RAW (numérico) e Ponto flutuante decimal de 16 bytes IEEE 754r double
FLTP (numérico) f Número de ponto flutuante binário double
CHAR, LCHR (caractere) c String de caracteres string
SSTRING, GEOM_EWKB (caractere) string String de caracteres string
STRING (caractere) string CLOB de string de caracteres bytes
NUMC, ACCP (caractere) n Texto numérico string
RAW, LRAW (byte) x Dados binários bytes
RAWSTRING (byte) xstring String de bytes BLOB bytes
DATS (data/hora) d Data data
TIMS (data/hora) t Hora tempo
TIMS (data/hora) utcl (Utclong), TimeStamp timestamp

Casos de uso

Há suporte para dois contextos de extração:

  • Tabelas e visualizações do banco de dados SAP
  • CDS do SAP ABAP

Em cada um dos contextos, o plug-in SAP Table dá suporte a padrões e tabelas tabelas e visualizações de bancos de dados.

Limitações

O plug-in SAP Table tem as seguintes limitações:

  • Não é possível mesclar tabelas.
  • Ele não oferece suporte a visualizações do CDS com parâmetros.
  • Não há suporte para o recurso sem campos de chave.
  • Se o recurso "Snapshots" estiver ativado, com um tamanho de pacote maior que 30.000 pode causar falhas em pipelines. Esse tamanho de pacote pode variar, dependendo número de colunas na tabela SAP. É possível calcular o tamanho ideal de um pacote para uma tabela usando esta fórmula: tamanho da linha (em número de caracteres) * 5.
  • O Gerenciador de conexões permite procurar no máximo 1.000 nomes de tabelas SAP.
  • Quando ocorre um erro no pipeline, como um erro no sink, o plug-in da tabela SAP tenta limpar todos os processos ativos do lado do SAP relacionados à extração chamando o RFM personalizado destinado à limpeza: /GOOG/RFC_READ_TABLE_CLEANUP.

A seguir