Origem de lotes SAP ODP

Esta página fornece orientações sobre a configuração do plug-in SAP ODP no Cloud Data Fusion.

O plug-in SAP ODP permite a integração de dados em massa de aplicações SAP com o BigQuery ou outros sistemas de destino suportados através do Cloud Data Fusion. O plug-in tem as seguintes funcionalidades principais:

Versões de software compatíveis

Software Versões
SAP S4/HANA SAP S4/HANA 1909 e posterior
SAP ECC SAP ERP6 NW 7.31 SP16 e posteriores
SAP JCo Versão 3.0.20 e posterior do SAP JCo
Cloud Data Fusion 6.3 e posteriores

Para mais informações sobre o SAP no Google Cloud, consulte a vista geral do SAP no Google Cloud.

Antes de começar

Configure os seguintes sistemas e serviços usados pelo plug-in SAP ODP:

  1. Configure o sistema SAP ERP. Este processo inclui os seguintes passos:
    • Instale os ficheiros de transporte do SAP.
    • Configure as autorizações e as funções SAP necessárias.
    • Configure o SAP Java Connector.

  2. Implemente o plug-in do ODP no Cloud Data Fusion.

    • Importante: escolha uma versão do plug-in compatível com a versão do Cloud Data Fusion.
    • Se atualizar a versão da instância ou do plug-in do Cloud Data Fusion, avalie o impacto das alterações no âmbito funcional e no desempenho do pipeline.

  3. Estabeleça a conetividade RFC entre o Cloud Data Fusion e o SAP.

    • Certifique-se de que a comunicação está ativada entre a instância do Cloud Data Fusion e o servidor SAP.
    • Para instâncias privadas, configure o intercâmbio da rede da VPC.
    • Tanto o sistema SAP como a instância do Cloud Data Fusion têm de estar no mesmo projeto.

Configure o plug-in

  1. Aceda à interface Web do Cloud Data Fusion e clique em Studio.
  2. Verifique se a opção Data Pipeline - Batch está selecionada (e não Tempo Real).
  3. No menu Origem, clique em SapODP. O nó SAP ODP é apresentado no pipeline.
  4. Para configurar a origem, aceda ao nó SAP ODP e clique em Propriedades.

  5. Introduza as seguintes propriedades. Para ver uma lista completa, consulte as Propriedades.

    1. Introduza uma etiqueta para o nó ODP do SAP, por exemplo, SAP ODP tables.

    2. Introduza os detalhes da associação. Pode configurar uma nova associação única ou uma associação existente reutilizável.

      Nova associação

      Para adicionar uma associação única ao SAP, siga estes passos:

      1. Mantenha a opção Usar ligação desativada.

      2. Na secção Ligação, introduza as seguintes informações da conta SAP nestes campos:

        1. No campo Nome de referência, introduza um nome para a ligação que identifica esta origem para a linhagem.
        2. No campo Cliente SAP, introduza o nome do cliente de uma instância ou um ambiente específico no SAP. Um administrador do SAP pode indicar o nome do cliente.
        3. No campo Idioma do SAP, introduza um idioma de início de sessão do SAP. A predefinição é EN (inglês).

        4. Selecione um dos seguintes Tipos de associação.

          • Direta (através do servidor de aplicações SAP). Se escolher este tipo predefinido, introduza informações nos seguintes campos: Anfitrião do servidor de aplicações SAP, Número do sistema SAP e Router SAP.
          • Equilibrado de carga (através do servidor de mensagens SAP). Se escolher este tipo, introduza informações nos seguintes campos: Anfitrião do servidor de mensagens SAP, Serviço do servidor de mensagens SAP ou número da porta, ID do sistema SAP (SID) e Nome do grupo de início de sessão SAP.

        5. No campo Contexto, selecione o tipo de origem de dados que está a usar.

        6. No campo Nome da origem do SAP ODP, introduza o nome da origem de dados que está a usar.

        7. No campo Tipo de extração, selecione o tipo de extração de dados. A predefinição é Completo (todos os dados).

        8. Faculte as credenciais da SAP: peça ao administrador da SAP o nome de utilizador de início de sessão da SAP e a palavra-passe.

        9. No campo Caminho do Cloud Storage da biblioteca JCo, introduza o caminho do SAP Java Connector (SAP JCo) no Cloud Storage que contém os ficheiros da biblioteca SAP JCo que carregou.

        10. Para gerar um esquema com base nos metadados do SAP que mapeiam os tipos de dados do SAP para os tipos de dados do Cloud Data Fusion correspondentes, clique em Obter esquema. Para mais informações, consulte o artigo Mapeamentos de tipos de dados.

        11. Opcional: para otimizar a carga de ingestão do SAP, introduza informações nos seguintes campos:

          1. No campo Nome do subscritor do SAP ODP, identifique o subscritor para a extração de dados de uma origem de dados válida.
          2. As Opções de filtro permitem-lhe extrair registos com base em condições de seleção.
          3. No campo Número de divisões, pode criar partições para extrair registos de dados em paralelo, o que melhora o desempenho. O número de divisões pode afetar os processos de trabalho do SAP e tem de ser selecionado cuidadosamente.
          4. No campo Tamanho do pacote, especifique o número de registos a extrair numa única chamada de rede SAP. O tamanho do pacote afeta o desempenho e os recursos disponíveis e tem de ser selecionado cuidadosamente.

      Ligação reutilizável

      Para reutilizar uma associação existente, siga estes passos:

      1. Ative a opção Usar ligação.
      2. Clique em Procurar associações.

      3. Clique no nome da associação.

      Se não existir uma associação, para criar uma associação reutilizável, siga estes passos:

      1. Clique em Adicionar associação > SapOdp.
      2. Na página Crie uma associação SapOdp que é aberta, introduza um nome e uma descrição da associação.
      3. No campo Cliente SAP, introduza o nome do cliente de uma instância ou um ambiente específico no SAP. Um administrador do SAP pode indicar o nome do cliente.
      4. No campo Idioma do SAP, introduza um idioma de início de sessão do SAP. A predefinição é EN (inglês).

      5. Selecione um dos seguintes Tipos de associação.

        • Direta (através do servidor de aplicações SAP). Se escolher este tipo predefinido, introduza informações nos seguintes campos: Anfitrião do servidor de aplicações SAP, Número do sistema SAP e Router SAP.
        • Equilibrado de carga (através do servidor de mensagens SAP). Se escolher este tipo, introduza informações nos seguintes campos: Anfitrião do servidor de mensagens SAP, Serviço do servidor de mensagens SAP ou número da porta, ID do sistema SAP (SID) e Nome do grupo de início de sessão SAP.

      6. No nome da origem do SAP ODP, introduza o nome do ODP DataSource do SAP.

      7. Faculte as credenciais da SAP: peça ao administrador da SAP os valores do nome de utilizador de início de sessão da SAP e da palavra-passe.

      8. No campo Caminho do Cloud Storage da biblioteca JCo, introduza o caminho do conetor Java (SAP JCo) do SAP no Cloud Storage que contém os ficheiros da biblioteca SAP JCo que carregou.

      9. No campo Tempo de espera, introduza um tempo de espera (em segundos) antes da próxima nova tentativa, por exemplo, 60.

      10. No campo Contagem de novas tentativas, introduza o número máximo de tentativas. Por exemplo, 3.

      11. Opcional: no campo Propriedades de ligação SAP adicionais, introduza pares de chave-valor que têm de substituir as predefinições do SAP JCo.

      12. Clique em Criar.

Propriedades

Propriedade O modo macro está ativado Propriedade obrigatória Descrição
Etiqueta Não Sim O nome do nó no pipeline de dados.
Usar ligação Não Não Use uma ligação reutilizável. Se for usada uma associação, não tem de fornecer as credenciais. Para mais informações, consulte o artigo Faça a gestão das associações.
Nome Não Sim O nome da associação reutilizável.
Cliente SAP Sim Sim A instância ou o ambiente específico num sistema SAP.
Idioma do SAP Sim Sim O idioma em que a interface do utilizador e os dados do SAP são apresentados e processados.
Tipo de ligação Não Sim O tipo de ligação SAP: direta ou com equilíbrio de carga.
Anfitrião do servidor de aplicações SAP Sim Não Apenas para o tipo de ligação Direta, este nome do anfitrião é do servidor de aplicações SAP, que funciona como uma camada de software intermédio entre clientes SAP (como a interface Web SAP, navegadores de Internet ou apps para dispositivos móveis) e a base de dados subjacente.
Número do sistema SAP Sim Não Apenas para o tipo de ligação Direta, este número é o identificador exclusivo atribuído a cada sistema SAP. Por exemplo, 00.
Router SAP Sim Não Apenas para o tipo de ligação Direta, esta é a string do router para o servidor proxy, que fornece um canal seguro para a comunicação entre os sistemas SAP e os clientes ou os parceiros externos.
Anfitrião do servidor de mensagens SAP Sim Não Apenas para o tipo de ligação Equilibrado por carga, este é o nome do anfitrião, que facilita o equilíbrio de carga em vários servidores de aplicações no SAP.
Serviço ou número da porta do servidor de mensagens SAP Sim Não Apenas para o tipo de ligação Equilibrado por carga, esta é a porta de rede onde o servidor de mensagens SAP escuta as ligações recebidas de clientes SAP e servidores de aplicações no SAP.
ID do sistema SAP (SID) Sim Não Apenas para o tipo de ligação Equilibrado por carga, este ID é atribuído a cada sistema SAP.
Nome do grupo de início de sessão da SAP Sim Não O nome do agrupamento lógico ou da configuração de vários servidores de aplicações SAP. A predefinição é PUBLIC.
Tipo de objeto N/A N/A Os tipos de objetos suportados: DataSources/Extractors ou ABAP Core Data Services.
Nome da origem do ODP da SAP Sim Sim O nome das origens de dados SAP ou da vista CDS (por exemplo, 2LIS_02_ITM).
Tipo de extrato Sim Sim O plug-in suporta os dois seguintes tipos de extração de dados:
  • Completa (todos os dados): extrai todos os dados disponíveis.
  • Sincronização (seleção automática com base na execução anterior): determina se deve ser executado o modo completo, delta (incremental) ou de recuperação (recuperar dados da última execução), com base no tipo de execução e no estado anteriores disponíveis no SAP. Extrai dados completos na execução inicial do pipeline (modo ODP F) e altera os dados nas execuções subsequentes do pipeline (modos ODP D e R).
Nome de utilizador de início de sessão da SAP Sim Sim Nome de utilizador para o SAP
Recomendado: se o nome de utilizador mudar periodicamente, use uma macro.
Palavra-passe de início de sessão da SAP Sim Sim Palavra-passe da SAP.
Recomendado: use macros seguras.
ID do projeto da GCP Sim Sim Google Cloud ID do projeto.
Caminho do GCS da biblioteca SAP JCo Sim Sim O caminho para o Cloud Storage onde carregou os ficheiros da biblioteca SAP JCo.
Obter esquema N/A N/A O plug-in gera um esquema com base nos metadados do SAP, que mapeia os tipos de dados do SAP para os tipos de dados do Cloud Data Fusion correspondentes. Consulte o artigo Mapeamento de tipos de dados.
Nome do subscritor do SAP ODP Sim Sim O subscritor do ODP para a extração de dados de uma origem de dados SAP válida ou uma vista CDS. Tem de ter o seguinte:
  • Um máximo de 32 carateres, sem espaços
  • Contêm apenas a a z, A a Z, 0 a 9, _ ou /
  • Único para diferentes pipelines que extraem dados da mesma origem de dados do SAP
Se o campo for deixado em branco, o Cloud Data Fusion gera um ID através de uma combinação do ID do projeto, do espaço de nomes e dos nomes dos pipelines. Pode reutilizar uma subscrição anterior, como uma criada por uma ferramenta de terceiros.
Tempo de espera Sim Não Esta propriedade permite que os engenheiros de dados selecionem um tempo de espera adequado após cada chamada de rede do Cloud Data Fusion para o SAP.
Número de novas tentativas Sim Não O número de tentativas de repetição enquanto aguarda a conclusão da chamada de rede.
Opções de filtro (igual) Sim Não O valor que um campo tem de ter para ser lido.
As opções de filtro são listas de nomes de campos de metadados e os respetivos pares de valores. Definem a condição de filtro a aplicar quando lêem dados de uma SAP DataSource. Apenas são extraídos os registos que satisfazem as condições.
A chave do filtro corresponde a um campo no esquema. Tem de ser de um tipo simples (não ARRAY, RECORD nem UNION). Exemplo de utilização:
Nome do campo: MTART
Valor: FERT
Opções de filtro (intervalo) Sim Não Os limites inferior e superior do valor que um campo tem de ter para ser lido.
As opções de filtro são listas de nomes de campos de metadados e os respetivos pares de valores. Definem a condição de filtro a aplicar quando lêem dados de uma SAP DataSource. Apenas são extraídos os registos que satisfazem as condições.
A chave do filtro corresponde a um campo no esquema. Tem o formato baixo E alto. Exemplo de utilização:
Nome do campo: ERDAT
Valor baixo: 2023-11-01
Valor elevado: 2023-11-30
Opções de filtro (menor ou igual) Sim Não O valor que um campo tem de ser inferior ou igual a.
As opções de filtro são listas de nomes de campos de metadados e os respetivos pares de valores. Definem a condição de filtro a aplicar quando lêem dados de uma SAP DataSource. Apenas são extraídos os registos que satisfazem as condições.
A chave do filtro corresponde a um campo no esquema. Tem de ser de um tipo simples (não ARRAY, RECORD nem UNION). Exemplo de utilização:
Nome do campo: MATNR
Valor: 10008
Opções de filtro (maior ou igual) Sim Não O valor que um campo tem de ser superior para ser lido.
As opções de filtro são listas de nomes de campos de metadados e os respetivos pares de valores. Definem a condição de filtro a aplicar quando lêem dados de uma SAP DataSource. Apenas são extraídos os registos que satisfazem as condições.
A chave do filtro corresponde a um campo no esquema. Tem de ser de um tipo simples (não ARRAY, RECORD nem UNION). Exemplo de utilização:
Nome do campo: MATNR
Valor: 10008
Opções de filtro (não é igual) Sim Não Define o valor ao qual um campo não deve ser igual para ser lido.
As opções de filtro são listas de nomes de campos de metadados e os respetivos pares de valores. Definem a condição de filtro a aplicar quando lêem dados de uma SAP DataSource. Apenas são extraídos os registos que satisfazem as condições.
A chave do filtro corresponde a um campo no esquema. Tem de ser de um tipo simples (não ARRAY, RECORD nem UNION). Exemplo de utilização:
Nome do campo: MTART
Valor: FERT
Número de divisões a gerar Sim Não Cria partições para extrair registos em paralelo.
O motor de tempo de execução cria o número especificado de partições (e ligações SAP) enquanto extrai os registos.
Tenha cuidado ao aumentar este valor, uma vez que aumenta as ligações simultâneas com o SAP.
Recomendado: planeie as ligações SAP para cada pipeline e o número total de pipelines em execução em simultâneo.
Se o valor for 0 ou for deixado em branco, o Cloud Data Fusion escolhe um valor adequado, com base no número de executores disponíveis, nos registos a extrair e no tamanho do pacote.
Tamanho do pacote (em KB) Sim Não O número de registos a extrair numa única chamada de rede SAP. É o número de registos que o SAP armazena em buffer na memória durante cada chamada de extração de rede.
Tenha cuidado ao definir esta propriedade. Vários pipelines de dados que extraem dados podem aumentar o uso de memória, o que provoca falhas devido a erros Out of memory.
  • Introduza um número inteiro positivo.
  • Se for 0 ou ficar em branco, o plug-in usa um valor padrão de 70 000 ou um valor calculado adequadamente.
  • Se o pipeline de dados falhar devido a erros, diminua o tamanho do pacote ou aumente a memória disponível para os processos de trabalho do SAP.Out of memory
Propriedades de associação SAP adicionais Sim Não Defina propriedades SAP JCo adicionais para substituir as predefinições do SAP JCo. Por exemplo, a definição de jco.destination.pool_capacity = 10 substitui a capacidade predefinida do conjunto de ligações.

Mapeamentos de tipos de dados

A tabela seguinte é uma lista de tipos de dados SAP com os tipos de dados do Cloud Data Fusion correspondentes.

Tipo de dados SAP Tipo ABAP Descrição do SAP Tipo de dados do Cloud Data Fusion
INT1 (numérico) b Número inteiro de 1 byte int
INT2 (numérico) s Número inteiro de 2 bytes int
INT4 (numérico) i Número inteiro de 4 bytes int
INT8 (numérico) 8 Número inteiro de 8 bytes longo
DEC (numérico) p Número compactado no formato BCD (DEC) decimal
DF16_DEC, DF16_RAW (numérico) a Vírgula flutuante decimal de 8 bytes IEEE 754r dupla
DF34_DEC, DF34_RAW (numérico) e Vírgula flutuante decimal de 16 bytes IEEE 754r dupla
FLTP (numérico) f Número de vírgula flutuante binário dupla
CHAR, LCHR (personagem) c String de carateres de string
SSTRING, GEOM_EWKB (personagem) de string String de carateres de string
STRING (Caráter) de string CLOB de string de carateres bytes
NUMC, ACCP (personagem) n Texto numérico de string
RAW, LRAW (byte) x Dados binários bytes
RAWSTRING (byte) xstring BLOB de string de bytes bytes
DATS (data/hora) d Data data
TIMS (data/hora) t Hora tempo
TIMS (data/hora) utcl Utclong), TimeStamp timestamp

Limitações

Para garantir que os pipelines estão corretamente definidos e executados, reveja as seguintes limitações dos plug-ins:

  • Os tamanhos de pacotes superiores a 50 mil não são suportados.
  • As origens de dados que não suportam a extração delta falham no modo de sincronização.
  • Numa origem de dados personalizada, se o tamanho do pacote não for processado, o pipeline falha em extrações de dados grandes.

Exemplos de utilização

São suportados dois contextos de extração:

  • Fontes de dados ou extratores (SAPI)
  • Contexto ODP ABAP CDS (ABAP_CDS)

O plug-in de ODP suporta as seguintes origens de dados padrão e personalizadas para ambos os contextos:

Origem de dados da ODP Contexto Extração completa Extração delta
SAP Standard pré-entregue SAPI Suportado Suportado
Personalizado (Z*) SAPI Suportado Suportado
SAP Standard pré-entregue ABAP_CDS Suportado Suportado
Personalizado (Z*) ABAP_CDS Suportado Suportado

O que se segue?