Fonte em lote OData do SAP

Este guia descreve como implantar, configurar e executar pipelines de dados que usam plug-in SAP OData.

É possível usar o SAP como fonte para extração de dados baseada em lote no Cloud Data Fusion usando o Open Data Protocol (OData). O plug-in SAP OData ajuda você a configurar e executar dados de dados do SAP OData Catalog Services sem precisar de programação.

Para mais informações sobre os serviços e o Data Catalog do SAP OData compatíveis Para fontes de dados, consulte os detalhes de suporte. Para mais informações sobre o SAP no Google Cloud, consulte a Visão geral do SAP no Google Cloud.

Objetivos

  • Configurar o sistema SAP ERP (ativar DataSources no SAP).
  • Implante o plug-in no ambiente do Cloud Data Fusion.
  • Faça o download do transporte SAP do Cloud Data Fusion e instale-o no SAP.
  • Usar o Cloud Data Fusion e o SAP OData para criar pipelines de dados para integrar dados SAP.

Antes de começar

Para usar esse plug-in, é necessário ter conhecimento dos domínios nas seguintes áreas:

  • Como criar pipelines no Cloud Data Fusion
  • Gerenciamento de acesso com o IAM
  • Como configurar sistemas SAP Cloud e de planejamento de recursos empresariais (ERP) no local

Papéis do usuário

As tarefas nesta página são realizadas por pessoas com os seguintes papéis no Google Cloud ou no sistema SAP:

Tipo de usuário descrição;
Administrador do Google Cloud Os usuários atribuídos a esse papel são administradores de contas do Google Cloud.
Usuário do Cloud Data Fusion Os usuários atribuídos a esse papel estão autorizados a projetar e executar pipelines de dados. Eles recebem, no mínimo, o papel de leitor do Data Fusion ( roles/datafusion.viewer). Se estiver usando o controle de acesso baseado em papéis, talvez sejam necessários outros papéis.
Administrador do SAP Os usuários atribuídos a essa função são administradores do sistema SAP. Eles têm acesso para fazer o download de softwares do site de serviços da SAP. Não é um papel do IAM.
Usuário SAP Os usuários atribuídos a esse papel estão autorizados a se conectar a um sistema SAP. Não é um papel do IAM.

Pré-requisitos para extração OData

  1. O serviço OData Catalog precisa ser ativado no sistema SAP (em inglês).

  2. Os dados devem ser preenchidos no serviço OData.

Pré-requisitos para o sistema SAP

  • No SAP NetWeaver 7.02 para SAP NetWeaver versão 7.31, os ambientes OData e SAP As funcionalidades de gateway são fornecidas com os seguintes softwares SAP componentes:

    • IW_FND
    • GW_CORE
    • IW_BEP

  • No SAP NetWeaver versão 7.40 e posterior, todas as funcionalidades são disponível no componente SAP_GWFND, que precisa ser disponibilizado em SAP. NetWeaver.

Opcional: instalar arquivos de transporte SAP

Os componentes do SAP necessários para chamadas de balanceamento de carga para o SAP são entregues. como arquivos de transporte SAP arquivados como arquivo zip (uma solicitação de transporte, que consiste em um coarquivo e um arquivo de dados). Use esta etapa para limitar várias chamadas paralelas para o SAP, com base nos processos de trabalho disponíveis no SAP.

O download do arquivo ZIP fica disponível quando você Implante o plug-in no hub do Cloud Data Fusion.

Fazer o download do arquivo ZIP de transporte SAP ODATA

Os IDs de solicitação de transporte SAP e os arquivos associados são fornecidos abaixo tabela:

ID do transporte Cofile Arquivo de dados Conteúdo
ED1K900360 K900360.ED1 R900360.ED1 Módulos de função RFC expostos por meio do OData

Quando você importa os arquivos de transporte para o SAP, os seguintes projetos OData do SAP são criados:

  • Projetos OData

    • /GOOG/GET_STATISTIC
    • /GOOG/TH_WPINFO

  • Nó de serviço CIF: GOOG

Para instalar o transporte SAP, siga estas etapas:

Etapa 1: fazer upload dos arquivos de solicitação de transporte

  1. Faça login no sistema operacional da instância SAP.
  2. Use o código de transação SAP AL11 para ver o caminho da pasta DIR_TRANS. Normalmente, o caminho é /usr/sap/trans/.
  3. Copie os arquivos compartilhados para a pasta DIR_TRANS/cofiles.
  4. Copie os arquivos de dados para a pasta DIR_TRANS/data.
  5. Defina o usuário e o grupo de dados e o coarquivo como <sid>adm e sapsys.

Etapa 2: importar os arquivos de solicitação de transporte

O administrador da SAP pode importar os arquivos de solicitação de transporte usando uma das seguintes opções:

Opção 1: importar os arquivos de solicitação de transporte usando o sistema de gerenciamento de transporte SAP
  1. Faça login no sistema SAP como administrador da SAP.
  2. Digite o STMS da transação.
  3. Clique em Visão geral > Importações.
  4. Na coluna Fila, clique duas vezes no SID atual.
  5. Clique em Extras > Outras solicitações > Adicionar.
  6. Selecione o ID da solicitação de transporte e clique em Continuar.
  7. Selecione a solicitação de transporte na fila de importação e clique em Solicitar > Importar.
  8. Digite o número do cliente.

  9. Na guia Opções, selecione Substituir originais e Ignorar versão inválida do componente (se disponível).

    (Opcional) Para programar uma reimportação dos transportes para mais tarde, selecione Deixar solicitações de transporte na fila para importação posterior e Importar solicitações de transporte novamente. Isso é útil para upgrades do sistema SAP e restaurações de backup.

  10. Clique em Continuar.

  11. Para verificar a importação, use transações, como SE80 e SU01.

Opção 2: importar os arquivos de solicitações de transporte no nível do sistema operacional
  1. Faça login no sistema SAP como administrador do sistema.

  2. Adicione as solicitações apropriadas ao buffer de importação executando o seguinte comando:

    tp addtobuffer TRANSPORT_REQUEST_ID SID

    Por exemplo: tp addtobuffer IB1K903958 DD1

  3. Importe as solicitações de transporte executando o seguinte comando:

    tp import TRANSPORT_REQUEST_ID SID client=NNN U1238

    Substitua NNN pelo número do cliente. Por exemplo: tp import IB1K903958 DD1 client=800 U1238

  4. Verifique se o módulo da função e os papéis de autorização foram importados com êxito usando as transações apropriadas, como SE80 e SU01.

Receber uma lista de colunas filtráveis para um serviço de catálogo do SAP

Somente algumas colunas da DataSource podem ser usadas para condições de filtro. Essa é uma limitação do SAP por padrão.

Para receber uma lista de colunas filtráveis de um serviço de catálogo do SAP, siga estas instruções etapas:

  1. Faça login no sistema SAP.
  2. Acesse o código t SEGW.

  3. Digite o nome do projeto OData, que é uma substring do nome do serviço. Exemplo:

    • Nome do serviço: MM_PUR_POITEMS_MONI_SRV
    • Nome do projeto: MM_PUR_POITEMS_MONI

  4. Clique em Enter.

  5. Acesse a entidade que você quer filtrar e selecione Propriedades.

    Você pode usar os campos em Propriedades como filtros. As operações aceitas são Igual e Entre (intervalo).

    Propriedades no SAP

Para uma lista de operadores suportados na linguagem de expressão, consulte a documentação aberta do OData documentação de origem: URI Conventions (OData versão 2.0).

Exemplo de URI com filtros:

/sap/opu/odata/sap/MM_PUR_POITEMS_MONI_SRV/C_PurchaseOrderItemMoni(P_DisplayCurrency='USD')/Results/?$filter=(PurchaseOrder eq '4500000000')

Configurar o sistema SAP ERP

O plug-in SAP OData usa um serviço OData que é ativado cada servidor SAP de onde os dados são extraídos. Esse serviço OData pode ser um fornecido pela SAP ou um serviço OData personalizado desenvolvido no seu sistema SAP.

Etapa 1: instalar o SAP Gateway 2.0

O administrador do SAP (Basis) precisa verificar se o SAP Gateway 2.0 estão disponíveis no sistema de origem SAP, dependendo da lançamento. Para mais informações sobre como instalar o SAP Gateway 2.0, faça login em SAP ONE Support Launchpad e consultar a Observação 1569624 (link em inglês) (necessário fazer login) .

Etapa 2: ativar o serviço OData

Ative o serviço OData necessário no sistema de origem. Para mais informações, consulte Servidor de front-end: ativar serviços OData.

Etapa 3: criar um papel de autorização

Para se conectar ao DataSource, crie um papel de autorização com o autorizações no SAP e concedê-las ao usuário SAP.

Para criar o papel de autorização no SAP, siga estas etapas:

  1. Na GUI do SAP, digite o código da transação PFCG para abrir a janela Manutenção de papéis.

  2. No campo Papel, insira um nome para o papel.

    Por exemplo: ZODATA_AUTH

  3. Clique em Papel único.

    A janela Criar papéis é aberta.

  4. No campo Descrição, insira uma descrição e clique em Salvar.

    Por exemplo, Authorizations for SAP OData plugin.

  5. Clique na guia Autorizações. O título da janela muda para Alterar papéis.

  6. Em Editar dados de autorização e gerar perfis, clique em Alterar dados de autorização.

    A janela Choose Template será aberta.

  7. Clique em Não selecionar modelos.

    A janela Alterar papel: autorizações é aberta.

  8. Clique em Manualmente.

  9. Forneça as autorizações mostradas na tabela de autorização da SAP a seguir.

  10. Clique em Save.

  11. Para ativar o papel de autorização, clique no ícone Gerar.

Autorizações do SAP (em inglês)

Classe de objeto Texto de classe do objeto Objeto de autorização Texto do objeto de autorização Autorização Texto Valor
AAAB Objetos de autorização entre aplicativos S_SERVICE Verificar no início dos serviços externos SRV_NAME Nome do módulo de programa, transação ou função *
AAAB Objetos de autorização entre aplicativos S_SERVICE Verificar no início dos serviços externos SRV_TYPE Tipo de sinalização de verificação e valores padrão de autorização HT
Finlândia Contabilidade financeira F_UNI_HIER Acesso de hierarquia universal ACTVT. Atividade 03
Finlândia Contabilidade financeira F_UNI_HIER Acesso de hierarquia universal HRYTYPE Tipo de hierarquia *
Finlândia Contabilidade financeira F_UNI_HIER Acesso de hierarquia universal HRYID ID da hierarquia *

Projetar e executar um pipeline de dados no Cloud Data Fusion (como usuário do Cloud Data Fusion), é preciso ter credenciais de usuário SAP (nome de usuário e senha) para configurar o plug-in para se conectar à DataSource.

O usuário SAP precisa ser dos tipos Communications ou Dialog. Para evitar o uso recursos de caixa de diálogo SAP, o tipo Communications é recomendado. Os usuários podem ser criado usando o código de transação SU01 da SAP.

Opcional: etapa 4: proteger a conexão

É possível proteger a comunicação entre redes privadas instância do Cloud Data Fusion e SAP.

Para proteger a conexão, siga estas etapas:

  1. O administrador do SAP precisa gerar um certificado X509. Para gerar o consulte Como criar um PSE do servidor SSL.
  2. O administrador do Google Cloud precisa copiar o arquivo X509 em um formato do bucket do Cloud Storage no mesmo projeto que o instância do Cloud Data Fusion e forneça o caminho do bucket para Usuário do Cloud Data Fusion, que o insere ao configurar o plug-in.
  3. O administrador do Google Cloud precisa conceder acesso de leitura do arquivo X509 à Usuário do Cloud Data Fusion que projeta e executa pipelines.

Opcional: etapa 5: criar serviços OData personalizados

Você pode personalizar como os dados são extraídos criando serviços OData personalizados no SAP:

Configurar o Cloud Data Fusion

Verifique se a comunicação está ativada entre a instância do Cloud Data Fusion e o servidor SAP. Para instâncias particulares, configure o peering de rede. Depois que o peering de rede é estabelecido com o projeto em que os sistemas SAP estão hospedados, nenhuma configuração adicional é necessária para se conectar à instância do Cloud Data Fusion. O sistema SAP e a instância do Cloud Data Fusion precisam estar dentro do mesmo projeto.

Etapa 1: configurar o ambiente do Cloud Data Fusion

Para configurar o ambiente do Cloud Data Fusion para o plug-in, siga estas etapas:

  1. Acesse os detalhes da instância:

    1. No console do Google Cloud, acesse a página do Cloud Data Fusion.

    2. Clique em Instâncias e no nome da instância para acessar a página Detalhes da instância.

      Acesse "Instâncias"

  2. Verifique se a instância foi atualizada para a versão 6.4.0 ou posterior. Se a instância estiver em uma versão anterior, será necessário fazer upgrade dela.

  3. Clique em Visualizar instância. Quando a interface do Cloud Data Fusion abrir, clique em Hub

  4. Selecione a guia SAP &gt; SAP OData.

    Se a guia "SAP" não for exibida, consulte Solução de problemas de integrações do SAP.

  5. Clique em Deploy SAP OData Plugin.

    O plug-in agora será exibido no menu Origem na página do Studio.

    OData no menu &quot;Origem&quot; da página do Data Fusion Studio

Etapa 2: configurar o plug-in

O plug-in SAP OData lê o conteúdo de uma DataSource do SAP.

Para filtrar os registros, configure as seguintes propriedades na página Propriedades do SAP OData.

Nome da propriedade Descrição
Básico
Nome de referência Nome usado para identificar exclusivamente essa origem para a linhagem. como anotar metadados etc.
URL base do OData da SAP URL de base OData do gateway SAP (use o caminho completo do URL, semelhante a https://ADDRESS:PORT/sap/opu/odata/sap/).
Versão do OData Versão compatível do SAP OData.
Nome do serviço Nome do serviço SAP OData de onde você quer extrair uma com uma entidade conhecida.
Nome da entidade Nome da entidade que está sendo extraída, como Results. É possível usar um prefixo, como C_PurchaseOrderItemMoni/Results. Esse campo é compatível com os parâmetros "Category" e "Entity". Exemplos:
  • Um parâmetro para a categoria: C_PurchaseOrderItemMoni(P_DisplayCurrency='USD')/Results
  • Um parâmetro para a Entidade: C_PurchaseOrderItemMoni/Results('.1~4500000000.2~00010-PUSD')
  • Um parâmetro para categoria e entidade: C_PurchaseOrderItemMoni('USD')/Results('.1~4500000000.2~00010-PUSD')
Botão Ver esquema Gera um esquema baseado nos metadados da SAP, com mapeamento de tipos de dados SAP aos dados correspondentes do Cloud Data Fusion; (mesma funcionalidade que o botão Validar).
Credenciais*
Tipo SAP Básico (usando nome de usuário e senha).
Nome de usuário de logon SAP Nome de usuário SAP
Recomendado: se o nome de usuário de logon do SAP mudanças periódicas, use uma .
Senha de logon SAP Senha de usuário SAP
Recomendado: use macros seguras para valores sensíveis, como senhas.
Certificado de cliente SAP X.509
(consulte Como usar certificados de cliente X.509 no SAP NetWeaver Servidor de aplicativos para ABAP.
ID do projeto do GCP Um identificador globalmente exclusivo do projeto. Este campo é obrigatório se o Caminho do Cloud Storage do certificado X.509 não contém um valor de macro.
Caminho do GCS O caminho do bucket do Cloud Storage que contém o arquivo certificado X.509, que corresponde ao servidor de aplicativos SAP do chamadas seguras com base nos seus requisitos (consulte a etapa Proteger a conexão).
Senha longa Senha longa correspondente ao certificado X.509 fornecido.
Avançado
Opções de filtro Indica o valor que um campo precisa ter para ser lido. Usar este filtro para restringir o volume de dados de saída. Por exemplo: "Preço Gt 200" seleciona os registros com um valor de campo "Price" maior que "200". Consulte Receba uma lista de colunas filtráveis para uma solicitação SAP serviço de catálogo.
Selecionar campos Campos a serem preservados nos dados extraídos (por exemplo: Categoria, Preço, nome, fornecedor/endereço).
Expandir campos Lista de campos complexos a serem expandidos nos dados de saída extraídos (por exemplo: produtos/fornecedores).
Número de linhas a serem ignoradas Número total de linhas a serem ignoradas (por exemplo: 10).
Número de linhas a serem buscadas Número total de linhas a serem extraídas.
Número de divisões para gerar O número de divisões usadas para particionar os dados de entrada. Mais partições aumentar o nível de paralelismo, mas exigir mais recursos e sobrecarga.
Se for deixado em branco, o plug-in escolherá um valor ideal (recomendado).
Tamanho do lote Número de linhas a serem buscadas em cada chamada de rede para o SAP. Um tamanho pequeno faz com que chamadas de rede frequentes que repetem a sobrecarga associada. Um tamanho grande pode atrasar a recuperação de dados e causar o uso excessivo de recursos no SAP. Se o valor for definido como 0, o valor padrão será 2500, e o limite de linhas a serem buscadas em cada lote é 5000

* Macros são compatíveis com a credencial propriedades. É possível usá-los para gerenciar centralmente suas conexões SAP. Para exemplo, é possível definir valores no tempo de execução usando parâmetros de tempo de execução ou uma Plug-in Argument Setter.

Tipos OData com suporte

A tabela a seguir mostra o mapeamento entre Tipos de dados OData v2 usadas em aplicativos SAP e tipos de dados do Cloud Data Fusion.

Tipo OData Descrição (SAP) Tipo de dados do Cloud Data Fusion
Numérico
SByte Valor inteiro de 8 bits assinado int
Byte Valor inteiro de 8 bits não assinado int
Int16 Valor inteiro de 16 bits assinado int
Int32 Valor inteiro de 32 bits assinado int
Int64 Valor inteiro de 64 bits assinado anexado com o caractere: 'L'
Exemplos: 64L, -352L		 long
Cluster único Número de ponto flutuante com precisão de sete dígitos que pode representar valores com um intervalo aproximado de ± 1,18e -38 a ± 3,40e +38, anexado com o caractere: 'f'
Exemplo: 2.0f		 float
Duplo Número de ponto flutuante com precisão de 15 dígitos que pode representar valores com intervalos aproximados de ± 2,23e -308 a ± 1,79e +308, anexado com o caractere: 'd'
Exemplos: 1E+10d, 2.029d, 2.0d		 double
Decimal Valores numéricos com precisão e escala fixa que descrevem um valor numérico variando de -10^255 + 1 a 10^255 -1 positivos, com o prefixo caractere: 'M' ou "m"
Exemplo: 2.345M		 decimal
Caractere
Guia Um valor de identificador exclusivo de 16 bytes (128 bits), começando com o caractere: 'guid'
Exemplo: guid'12345678-aaaa-bbbb-cccc-ddddeeeeffff'		 string
String Dados de caracteres fixos ou de comprimento variável codificados em UTF-8 string
Byte
Binário Dados binários fixos ou de comprimento variável, começando com "X" ou "binário" (ambas diferenciam maiúsculas de minúsculas)
Exemplo: X'23AB' e binary'23ABFF'		 bytes
Lógica
Booleano Conceito matemático de lógica de valor binário boolean
Data/hora
Data/hora Data e hora com valores variando de 00:00:00 em 1o de janeiro de 1753 a 23:59:59 de 31 de dezembro de 9999 timestamp
Hora Hora do dia com valores que variam de 0:00:00.x a 23:59:59.y, em que "x" e "y" dependem da precisão time
DateTimeOffset Data e hora como uma diferença, em minutos a partir do GMT, com valores variando de 00:00:00 de 1o de janeiro de 1753 às 23:59:59 de 31 de dezembro de 9999 timestamp
Complexa
Propriedades de navegação e não navegação (multiplicidade = *) Coleções de um tipo simples, com uma multiplicidade de um para muitos. array,
string,
int etc.
Propriedades (multiplicidade = 0,1) Referências a outros tipos complexos com multiplicidade de um para um record

Validação

Clique em Validate no canto superior direito ou em Get Schema.

O plug-in valida as propriedades e gera um esquema com base nos metadados da SAP. Ele mapeia automaticamente os tipos de dados da SAP para os tipos de dados correspondentes do Cloud Data Fusion.

Executar um pipeline de dados

  1. Depois de implantar o pipeline, clique em Configurar no painel central superior.
  2. Selecione Recursos.
  3. Se necessário, altere a CPU do Executor e a Memória com base no tamanho geral dos dados e no número de transformações usadas no pipeline.
  4. Clique em Save.
  5. Para iniciar o pipeline de dados, clique em Executar.

Desempenho

Os plug-ins usam os recursos de carregamento em paralelo do Cloud Data Fusion. As diretrizes a seguir ajudarão a configurar o ambiente de execução para que você forneça recursos suficientes ao mecanismo para atingir o grau de paralelismo e desempenho desejado.

Otimizar a configuração do plug-in

Recomendado:a menos que você tenha familiaridade com nas configurações de memória do sistema SAP, deixe a coluna Number of Splits to Generate e Tamanho do lote em branco (não especificado).

Para um melhor desempenho ao executar o pipeline, use o comando a seguir de configuração:

  • Número de divisões para gerar: os valores entre 8 e 16 são recomendado. Mas eles podem aumentar para 32, ou até mesmo 64, com as configurações apropriadas no lado do SAP (alocação de memória apropriada recursos para os processos de trabalho no SAP). Essa configuração melhora paralelismo no Cloud Data Fusion. O mecanismo de execução cria o número especificado de partições (e conexões SAP) ao extrair os registros.

    • Se o serviço de configuração (incluído no plug-in quando você importa o arquivo de transporte SAP) estiver disponível, o plug-in usará como padrão a configuração do sistema SAP. As divisões representam 50% dos processos de trabalho de diálogo disponíveis no SAP. Observação: o serviço de configuração só pode ser importado de sistemas S4HANA.

    • Se o Serviço de configuração não estiver disponível, o padrão será divisões 7.

    • Em ambos os casos, se você especificar um valor diferente, o valor fornecido prevalecerá sobre o valor de divisão padrão,exceto que ele será limitado pelos processos de caixa de diálogo disponíveis no SAP, menos duas divisões.

    • Se o número de registros extração for menor que 2500, o número de divisões será 1.

  • Tamanho do lote: é a contagem de registros a serem buscados em cada rede. chamada para a SAP. Um tamanho de lote menor gera chamadas de rede frequentes, o overhead associado. Por padrão, a contagem mínima é 1000 e o o máximo é 50000.

Para mais informações, consulte Limites de entidades OData.

Configurações de recursos do Cloud Data Fusion

Recomendado: Use 1 CPU e 4 GB de memória por executor (esse valor se aplica a cada processo Executor). Faça isso na caixa de diálogo Configurar > Recursos.

Otimizar as configurações de recursos na janela de configuração do Cloud Data Fusion

Configurações de cluster do Dataproc

Recomendado: No mínimo, aloque um total de CPUs (entre workers) maior do que o pretendido o número de divisões (consulte Configuração de plug-ins).

Cada worker precisa ter 6,5 GB ou mais de memória alocada por CPU na Configurações do Dataproc (isso significa 4 GB ou mais disponíveis por executor do Cloud Data Fusion). Outras configurações podem ser mantidas no padrão valores.

Recomendado: Use um cluster permanente do Dataproc para reduzir a ambiente de execução do pipeline de dados. Isso elimina a etapa de provisionamento, que pode alguns minutos ou mais). Faça isso na seção de configuração do Compute Engine.

Exemplos de configurações e capacidade de processamento

Exemplos de configurações de desenvolvimento e teste

  • Cluster do Dataproc com oito workers, cada um com quatro CPUs e 26 GB de memória. Gere até 28 divisões.
  • Cluster do Dataproc com dois workers, cada um com oito CPUs e 52 GB de memória. Gere até 12 divisões.

Exemplos de configurações e capacidade de produção

  • Cluster do Dataproc com 8 workers, cada um com 8 CPUs e 32 GB de memória. Gere até 32 divisões (metade do número disponível e CPUs).
  • Cluster do Dataproc com 16 workers, cada um com 8 CPUs e 32 GB de memória. gerar até 64 divisões (metade das CPUs disponíveis).

Capacidade de amostragem de um sistema de origem de produção SAP S4HANA 1909

A tabela a seguir mostra uma capacidade de processamento de amostra. A capacidade de processamento exibida não tem filtro a menos que especificado de outra forma. Ao usar as opções de filtro, a capacidade de processamento reduzidos.

Tamanho do lote Divisões Serviço OData Total de linhas Linhas extraídas Capacidade (linhas por segundo)
1000 4 ZACDOCA_CDS 5,37 mi 5,37 mi 1069
2500 10 ZACDOCA_CDS 5,37 mi 5,37 mi 3384
5000 8 ZACDOCA_CDS 5,37 mi 5,37 mi 4.630
5000 9 ZACDOCA_CDS 5,37 mi 5,37 mi 4817

Capacidade de amostragem de um sistema de origem de produção em nuvem SAP S4HANA

Tamanho do lote Divisões Serviço OData Total de linhas Linhas extraídas Capacidade (GB/hora)
2500 40 TEST_04_UOM_ODATA_CDS/ 201 mi 10 mi 25,48
5000 50 TEST_04_UOM_ODATA_CDS/ 201 mi 10 mi 26,78

Detalhes do suporte

Produtos e versões compatíveis da SAP

  • As fontes com suporte incluem SAP S4/HANA 1909 e posteriores, S4/HANA na nuvem SAP e qualquer aplicativo SAP capaz de expor OData Services.

  • O arquivo de transporte que contém o serviço OData personalizado para fazer o balanceamento de carga das chamadas para SAP precisa ser importado no S4/HANA 1909 e posterior. O serviço ajuda a calcular o número de divisões (partições de dados) que o plug-in pode ler em paralelo. Consulte Número de divisões.

  • Há suporte para a versão 2 do OData.

  • O plug-in foi testado com servidores SAP S/4HANA implantados no Google Cloud.

O SAP OData Catalog Services tem suporte para extração

O plug-in é compatível com os seguintes tipos de DataSource:

  • Dados de transações
  • Visualizações do CDS expostas pelo OData

  • Dados principais

    • Atributos
    • Textos
    • hierarquias
.

Notas SAP

Nenhuma nota SAP é necessária antes da extração, mas o sistema SAP precisa ter o gateway SAP disponível. Para mais informações, consulte nota 1560585 (este site externo requer um login do SAP).

Limites no volume de dados ou na largura do registro

Não há limite definido para o volume de dados extraídos. Nós testamos com até 6 milhões de linhas extraídas em uma chamada, com um registro de largura de 1 KB. Para SAP S4/HANA na nuvem, testamos com até 10 milhões linhas extraídas em uma chamada, com um registro de largura de 1 KB.

Capacidade esperada do plug-in

Para um ambiente configurado de acordo com as diretrizes na Performance, o plug-in pode extrair cerca de 38 GB por hora. O desempenho real pode variar com o Cloud Data Fusion e o SAP cargas do sistema ou tráfego de rede.

Extração delta (dados alterados)

Não há suporte para a extração de delta.

Cenários de erro

No ambiente de execução, o plug-in grava entradas de registro no pipeline de dados do Cloud Data Fusion de registro. Essas entradas têm o prefixo CDF_SAP para facilitar a identificação.

No momento do design, quando você valida as configurações do plug-in, as mensagens são exibidas guia Properties e ficam destacadas em vermelho.

A tabela a seguir lista algumas mensagens de erro comuns (o texto em será substituídos por valores reais no momento da execução):

ID da mensagem Mensagem Ação recomendada
Nenhum Propriedade obrigatória "" para conexão Digite ''. Insira um valor real ou uma variável de macro.
Nenhum O valor da propriedade "" é inválido. Insira um número inteiro não negativo (0 ou maior, sem decimal) ou macro.
CDF_SAP_ODATA_01505 Falha ao preparar o esquema de saída do Cloud Data Fusion. Verifique o valor fornecido das macros de ambiente de execução. Verifique se os valores de macro fornecidos estão corretos.
N/A Certificado SAP X509 "<Entrada de interface no GCS Path>" está ausente. Não se esqueça certifique-se de que o certificado X509 necessário seja enviado ao Bucket do Google Cloud Storage '<nome do bucket do GCS>'. Verifique se o caminho do Cloud Storage fornecido está correto.
CDF_SAP_ODATA_01532 Código de erro genérico qualquer coisa relacionada a problemas de conectividade OData do SAP
Falha ao chamar o serviço SAP OData fornecido. Causa raiz: <SAP OData mensagem da causa raiz do serviço>		 Verifique a causa raiz exibida na mensagem e tome as medidas adequadas à ação.
CDF_SAP_ODATA_01534 Código de erro genérico qualquer coisa relacionada ao erro do serviço SAP OData.
Falha na validação do serviço. Causa raiz: <sraiz do serviço OData do AP causar mensagem></s		 Verifique a causa raiz exibida na mensagem e tome as medidas adequadas à ação.
CDF_SAP_ODATA_01503 Falha ao buscar a contagem total de registros disponível do <serviço SAP OData nome da entidade>. Causa raiz: <causa raiz do serviço SAP Odata mensagem> Verifique a causa raiz exibida na mensagem e tome as medidas adequadas à ação.
CDF_SAP_ODATA_01506 Nenhum registro foi encontrado para extração em <nome da entidade de serviço do SAP OData>. Verifique se a entidade informada contém registros. Verifique a causa raiz exibida na mensagem e tome as medidas adequadas à ação.
CDF_SAP_ODATA_01537 Falha ao processar registros para <nome da entidade de serviço do SAP OData>. Causa raiz: <mensagem de causa raiz do serviço OData SAP> Verifique a causa raiz exibida na mensagem e tome as medidas adequadas à ação.
CDF_SAP_ODATA_01536 Falha ao extrair registros de <nome da entidade de serviço do SAP OData>. Raiz Causa: <mensagem de causa raiz do serviço OData SAP> Verifique a causa raiz exibida na mensagem e tome as medidas adequadas à ação.
CDF_SAP_ODATA_01504 Falha ao gerar a string de metadados codificada para o serviço OData especificado <nome do serviço do SAP OData>. Causa raiz: <raiz do serviço OData do SAP causa mensagem> Verifique a causa raiz exibida na mensagem e tome as medidas adequadas à ação.
CDF_SAP_ODATA_01533 Falha ao decodificar os metadados da string de metadados codificada fornecida para serviço <nome do serviço do SAP OData>. Causa raiz: <SAP OData mensagem da causa raiz do serviço> Verifique a causa raiz exibida na mensagem e tome as medidas adequadas à ação.

A seguir