Fonte em lote do SAP ODP

Esta página oferece orientações sobre como configurar o plug-in SAP ODP no Cloud Data Fusion.

O plug-in SAP ODP permite a integração de dados em massa de aplicativos SAP com o BigQuery ou outros sistemas de destino com suporte usando o Cloud Data Fusion. O plug-in tem os seguintes recursos principais:

Versões de software com suporte

Software Versões
SAP S/4HANA SAP S4/HANA 1909 e versões mais recentes
SAP ECC SAP ERP6 NW 7.31 SP16 e posterior
SAP JCo SAP JCo versão 3.0.20 e mais recentes
Cloud Data Fusion 6.3 e versões mais recentes

Para mais informações sobre o SAP no Google Cloud, consulte a Visão geral do SAP no Google Cloud.

Antes de começar

Configure os seguintes sistemas e serviços usados pelo plug-in SAP ODP:

  1. Configure o sistema ERP da SAP. Esse processo inclui as seguintes etapas:
    • Instale os arquivos de transporte SAP.
    • Configure as autorizações e funções SAP necessárias.
    • Configure o conector Java do SAP.

  2. Implante o plug-in do ODP no Cloud Data Fusion.

    • Importante: escolha uma versão do plug-in compatível com a versão do Cloud Data Fusion.
    • Se você fizer upgrade da versão da instância ou do plug-in do Cloud Data Fusion, avalie o impacto das mudanças no escopo funcional e no desempenho do pipeline.

  3. Estabeleça a conectividade RFC entre o Cloud Data Fusion e o SAP.

    • Verifique se a comunicação está ativada entre a instância do Cloud Data Fusion e o servidor SAP.
    • Para instâncias particulares, configure o peering de rede VPC.
    • O sistema SAP e a instância do Cloud Data Fusion precisam estar no mesmo projeto.

Configurar o plug-in

  1. Acesse a interface da Web do Cloud Data Fusion e clique em Studio.
  2. Verifique se a opção Pipeline de dados – lote está selecionada (não Tempo real).
  3. No menu Origem, clique em SapODP. O nó do SAP ODP aparece no pipeline.
  4. Para configurar a origem, acesse o nó do SAP ODP e clique em Propriedades.

  5. Insira as seguintes propriedades. Para uma lista completa, consulte Propriedades.

    1. Insira um rótulo para o nó do SAP ODP, por exemplo, SAP ODP tables.

    2. Insira os detalhes da conexão. É possível configurar uma nova conexão única ou uma conexão existente e reutilizável.

      Nova conexão

      Para adicionar uma conexão única ao SAP, siga estas etapas:

      1. Mantenha a opção Usar conexão desativada.

      2. Na seção Conexão, insira as seguintes informações da conta da SAP nestes campos:

        1. No campo Nome da referência, insira um nome para a conexão que identifica essa origem para a linhagem.
        2. No campo SAP client, insira o nome do cliente de uma instância ou ambiente específico no SAP. Um administrador do SAP pode fornecer o nome do cliente.
        3. No campo SAP language, insira uma linguagem de logon da SAP. O padrão é EN (inglês).

        4. Selecione um dos seguintes tipos de conexão.

          • Direto (via servidor de aplicativos SAP). Se você escolher esse tipo padrão, insira informações nos seguintes campos: Host do servidor de aplicativos SAP, Número do sistema SAP e Roteador SAP.
          • Balanceado de carga (via SAP Message Server). Se você escolher esse tipo, insira informações nos seguintes campos: Host do SAP Message Server, Serviço ou número da porta do SAP Message Server, ID do sistema SAP (SID) e Nome do grupo de logon do SAP.

        5. No campo Contexto, selecione o tipo de fonte de dados que você está usando.

        6. No campo SAP ODP source name, insira o nome da origem de dados que você está usando.

        7. No campo Tipo de extração, selecione o tipo de extração de dados. O padrão é Completo (todos os dados).

        8. Forneça as credenciais do SAP: peça ao administrador do SAP o nome de usuário de logon do SAP e a senha.

        9. No campo Caminho do Cloud Storage da biblioteca JCo, insira o caminho do SAP Java Connector (SAP JCo) no Cloud Storage que contém os arquivos da biblioteca SAP JCo que você enviou.

        10. Para gerar um esquema com base nos metadados da SAP que mapeia os tipos de dados da SAP para os tipos de dados correspondentes do Cloud Data Fusion, clique em Get schema. Para mais informações, consulte Mapeamentos de tipo de dados.

        11. Opcional: para otimizar a carga de transferência do SAP, insira informações nos seguintes campos:

          1. No campo SAP ODP subscriber name, identifique o assinante para a extração de dados de um DataSource válido.
          2. O uso das Opções de filtro permite extrair registros com base nas condições de seleção.
          3. No campo Número de divisões, é possível criar partições para extrair registros de dados em paralelo, o que melhora a performance. O número de divisões pode afetar os processos de trabalho do SAP e precisa ser selecionado com cuidado.
          4. No campo Tamanho do pacote, especifique o número de registros a serem extraídos em uma única chamada de rede SAP. O tamanho do pacote afeta a performance e os recursos disponíveis e precisa ser selecionado com cuidado.

      Conexão reutilizável

      Para reutilizar uma conexão existente, siga estas etapas:

      1. Ative a opção Usar conexão.
      2. Clique em Procurar conexões.

      3. Clique no nome da conexão.

      Se não houver uma conexão, siga estas etapas para criar uma conexão reutilizável:

      1. Clique em Adicionar conexão > SapOdp.
      2. Na página Criar uma conexão SapOdp que é aberta, insira um nome e uma descrição da conexão.
      3. No campo SAP client, insira o nome do cliente de uma instância ou ambiente específico no SAP. Um administrador do SAP pode fornecer o nome do cliente.
      4. No campo SAP language, insira uma linguagem de logon da SAP. O padrão é EN (inglês).

      5. Selecione um dos seguintes tipos de conexão.
        • Direto (via servidor de aplicativos SAP). Se você escolher esse tipo padrão, insira informações nos seguintes campos: Host do servidor de aplicativos SAP, Número do sistema SAP e Roteador SAP.
        • Balanceado de carga (via SAP Message Server). Se você escolher esse tipo, insira informações nos seguintes campos: Host do SAP Message Server, Serviço ou número da porta do SAP Message Server, ID do sistema SAP (SID) e Nome do grupo de logon da SAP.

      6. No nome da origem do SAP ODP, insira o nome da origem de dados do ODP do SAP.

      7. Forneça as credenciais do SAP: peça ao administrador do SAP os valores de nome de usuário de logon do SAP e senha.

      8. No campo Caminho do Cloud Storage da biblioteca JCo, insira o caminho do conector SAP Java (SAP JCo) no Cloud Storage que contém os arquivos da biblioteca SAP JCo que você enviou.

      9. No campo Tempo de espera, insira um tempo de espera (em segundos) antes da próxima tentativa. Por exemplo, 60.

      10. No campo Contagem de novas tentativas, insira o número máximo de novas tentativas, por exemplo, 3.

      11. Opcional: no campo Propriedades adicionais de conexão SAP, insira pares de chave-valor que precisam substituir os padrões do JCo da SAP.

      12. Clique em Criar.

Propriedades

Propriedade Macro ativada Propriedade obrigatória Descrição
Rótulo Não Sim O nome do nó no pipeline de dados.
Usar conexão Não Não Use uma conexão reutilizável. Se uma conexão for usada, não será necessário fornecer as credenciais. Para mais informações, consulte Gerenciar conexões.
Nome Não Sim O nome da conexão reutilizável.
Cliente SAP Sim Sim A instância ou o ambiente específico em um sistema SAP.
Linguagem SAP Sim Sim O idioma em que a interface do usuário e os dados do SAP são exibidos e processados.
Tipo de conexão Não Sim O tipo de conexão SAP: Direta ou Balanceada de carga.
Host do servidor de aplicativos SAP Sim Não Para o tipo de conexão Direto, esse nome de host é do servidor de aplicativos SAP, que funciona como uma camada de middleware entre clientes SAP (como a interface da Web SAP, navegadores da Web ou apps para dispositivos móveis) e o banco de dados subjacente.
Número do sistema SAP Sim Não Para o tipo de conexão Direta, esse número é o identificador exclusivo atribuído a cada sistema SAP. Por exemplo, 00.
Roteador SAP Sim Não Para o tipo de conexão Direto, essa é a string do roteador para o servidor proxy, que fornece um canal seguro para a comunicação entre sistemas SAP e clientes ou parceiros externos.
Host do servidor de mensagens SAP Sim Não Para o tipo de conexão Balanced load, esse é o nome do host, que facilita o balanceamento de carga em vários servidores de aplicativos no SAP.
Serviço ou número da porta do SAP Message Server Sim Não Para o tipo de conexão Balanced load, essa é a porta de rede em que o SAP Message Server detecta conexões recebidas de clientes SAP e servidores de aplicativos do SAP.
ID do sistema SAP (SID) Sim Não Para o tipo de conexão Balanced, esse ID é atribuído a cada sistema SAP.
Nome do grupo de logons da SAP Sim Não O nome do agrupamento lógico ou da configuração de vários servidores de aplicativos SAP. O padrão é PUBLIC.
Tipo de objeto N/A N/A Os tipos de objeto com suporte: DataSources/Extractors ou ABAP Core Data Services.
Nome da origem do SAP ODP Sim Sim O nome da visualização de CDS ou SAP DataSources (por exemplo, 2LIS_02_ITM).
Tipo de extração Sim Sim O plug-in é compatível com os dois tipos de extração de dados a seguir:
  • Completo (todos os dados): extrai todos os dados disponíveis.
  • Sincronização (seleção automática com base na execução anterior): determina se o modo completo, delta (incremental) ou de recuperação (recuperar dados da última execução) precisa ser executado com base no tipo de execução anterior e no status disponível no SAP. Ele extrai dados completos na execução inicial do pipeline (modo ODP F) e os altera nas execuções subsequentes do pipeline (modos ODP D, R).
Nome de usuário de logon SAP Sim Sim Nome de usuário para SAP
Recomendado: se o nome de usuário mudar periodicamente, use uma macro.
Senha de logon da SAP Sim Sim Senha do SAP.
Recomendado: use macros seguras.
ID do projeto do GCP Sim Sim ID do projetoGoogle Cloud .
Caminho do GCS da biblioteca SAP JCo Sim Sim O caminho para o Cloud Storage em que você fez upload dos arquivos da biblioteca SAP JCo.
Receber esquema N/A N/A O plug-in gera um esquema com base nos metadados da SAP, que mapeia os tipos de dados da SAP para os tipos de dados correspondentes do Cloud Data Fusion. Consulte Mapeamento de tipo de dados.
Nome do assinante do ODP do SAP Sim Sim Assinante do ODP para a extração de dados de uma visualização de DataSource ou CDS válida do SAP. Ele precisa ter o seguinte:
  • Máximo de 32 caracteres, sem espaços
  • Conter apenas a a z, A a Z, 0 a 9, _ ou /
  • Exclusivo para diferentes pipelines que extraem dados do mesmo DataSource do SAP
Se o campo for deixado em branco, o Cloud Data Fusion vai gerar um ID usando uma combinação do ID do projeto, do namespace e dos nomes do pipeline. É possível reutilizar uma assinatura anterior, como uma criada por uma ferramenta de terceiros.
Tempo de espera Sim Não Essa propriedade permite que os engenheiros de dados selecionem um tempo de espera adequado após cada chamada de rede do Cloud Data Fusion para a SAP.
Contagem de repetições Sim Não O número de tentativas de nova tentativa enquanto aguarda a conclusão da chamada de rede.
Filtrar opções (igual) Sim Não O valor que um campo precisa ter para ser lido.
As opções de filtro são listas de nomes de campos de metadados e pares de valores. Elas definem a condição do filtro a ser aplicada ao ler dados de uma origem de dados do SAP. Somente os registros que atendem às condições são extraídos.
A chave de filtro corresponde a um campo no esquema. Ele precisa ser de um tipo simples (não ARRAY, RECORD ou UNION). Exemplo de uso:
Nome do campo: MTART
Valor: FERT
Opções de filtro (intervalo) Sim Não Os limites baixo e alto do valor que um campo precisa ter para ser lido.
As opções de filtro são listas de nomes de campos de metadados e pares de valores. Elas definem a condição do filtro a ser aplicada ao ler dados de uma origem de dados do SAP. Somente os registros que atendem às condições são extraídos.
A chave de filtro corresponde a um campo no esquema. Ele tem o formato baixo E alto. Exemplo de uso:
Nome do campo: ERDAT
Valor mínimo: 2023-11-01
Valor máximo: 2023-11-30
Opções de filtro (menor ou igual) Sim Não O valor que um campo precisa ser menor ou igual a.
As opções de filtro são listas de nomes de campos de metadados e pares de valores. Elas definem a condição do filtro a ser aplicada ao ler dados de uma origem de dados do SAP. Somente os registros que atendem às condições são extraídos.
A chave de filtro corresponde a um campo no esquema. Ele precisa ser de um tipo simples (não ARRAY, RECORD ou UNION). Exemplo de uso:
Nome do campo: MATNR
Valor: 10008
Opções de filtro (maior ou igual) Sim Não O valor que um campo precisa ser maior que para ser lido.
As opções de filtro são listas de nomes de campos de metadados e pares de valores. Elas definem a condição do filtro a ser aplicada ao ler dados de uma origem de dados do SAP. Somente os registros que atendem às condições são extraídos.
A chave de filtro corresponde a um campo no esquema. Ele precisa ser de um tipo simples (não ARRAY, RECORD ou UNION). Exemplo de uso:
Nome do campo: MATNR
Valor: 10008
Filtrar opções (não iguais) Sim Não Define o valor que um campo não pode ser igual para ser lido.
As opções de filtro são listas de nomes de campos de metadados e pares de valores. Elas definem a condição do filtro a ser aplicada ao ler dados de uma origem de dados do SAP. Somente os registros que atendem às condições são extraídos.
A chave de filtro corresponde a um campo no esquema. Ele precisa ser de um tipo simples (não ARRAY, RECORD ou UNION). Exemplo de uso:
Nome do campo: MTART
Valor: FERT
Número de divisões a serem geradas Sim Não Cria partições para extrair registros em paralelo.
O mecanismo do ambiente de execução cria o número especificado de partições (e conexões SAP) enquanto extrai os registros.
Tenha cuidado ao aumentar esse valor, porque ele aumenta as conexões simultâneas com o SAP.
Recomendado: planeje as conexões SAP para cada pipeline e o número total de pipelines em execução simultaneamente.
Se o valor for 0 ou for deixado em branco, o Cloud Data Fusion vai escolher um valor apropriado com base no número de executores disponíveis, nos registros a serem extraídos e no tamanho do pacote.
Tamanho do pacote (em KB) Sim Não O número de registros a serem extraídos em uma única chamada de rede SAP. É o número de registros que o SAP armazena em buffer na memória durante cada chamada de extração de rede.
Tenha cuidado ao definir essa propriedade. Vários pipelines de dados que extraem dados podem atingir o pico de uso de memória, causando falhas devido a erros Out of memory.
  • Insira um número inteiro positivo.
  • Se 0 ou deixado em branco, o plug-in usará um valor padrão de 70000 ou um valor calculado corretamente.
  • Se o pipeline de dados falhar devido a erros Out of memory, diminua o tamanho do pacote ou aumente a memória disponível para os processos de trabalho do SAP.
Propriedades adicionais de conexão SAP Sim Não Defina outras propriedades do SAP JCo para substituir os valores padrão. Por exemplo, definir jco.destination.pool_capacity = 10 substitui a capacidade padrão do pool de conexões.

Mapeamentos de tipo de dados

A tabela a seguir é uma lista de tipos de dados SAP com os tipos correspondentes do Cloud Data Fusion.

Tipo de dados do SAP Tipo ABAP SAP description Tipo de dados do Cloud Data Fusion
INT1 (numérico) b Inteiro de 1 byte int
INT2 (numérico) s Inteiro de 2 bytes int
INT4 (numérico) i Inteiro de 4 bytes int
INT8 (numérico) 8 Inteiro de 8 bytes long
DEC (numérico) p Número no pacote no formato BCD (DEC) decimal
DF16_DEC, DF16_RAW (numérico) a Ponto flutuante decimal de 8 bytes IEEE 754r double
DF34_DEC, DF34_RAW (numérico) e Ponto flutuante decimal de 16 bytes IEEE 754r double
FLTP (numérico) f Número de ponto flutuante binário double
CHAR, LCHR (caractere) c String de caracteres string
SSTRING, GEOM_EWKB (caractere) string String de caracteres string
STRING (caractere) string CLOB de string de caracteres bytes
NUMC, ACCP (caractere) n Texto numérico string
RAW, LRAW (Byte) x Dados binários bytes
RAWSTRING (byte) xstring String de bytes BLOB bytes
DATS (data/hora) d Data data
TIMS (data/hora) t Hora tempo
TIMS (data/hora) utcl Utclong), TimeStamp timestamp

Limitações

Para garantir que os pipelines sejam definidos e executados corretamente, consulte as seguintes limitações do plug-in:

  • Pacotes maiores que 50 mil não são aceitos.
  • As fontes de dados que não oferecem suporte à extração Delta falham no modo de sincronização.
  • Em uma fonte de dados personalizada, se o tamanho do pacote não for processado, o pipeline vai falhar em extrações de dados grandes.

Casos de uso

Há suporte para dois contextos de extração:

  • DataSources ou extratores (SAPI)
  • Contexto do ODP ABAP CDS (ABAP_CDS)

O plug-in ODP oferece suporte às seguintes origens de dados padrão e personalizadas para os dois contextos:

Origem de dados do ODP Contexto Extração completa Extração delta
SAP Standard pré-entregue SAPI Compatível Compatível
Personalizado (Z*) SAPI Compatível Compatível
SAP Standard pré-entregue ABAP_CDS Compatível Compatível
Personalizado (Z*) ABAP_CDS Compatível Compatível

A seguir