Origem em lote do SAP OData

Neste guia, descrevemos como implantar, configurar e executar pipelines de dados que usam o plug-in SAP OData.

É possível usar o SAP como fonte para extração de dados baseada em lote no Cloud Data Fusion usando o Open Data Protocol (OData). O plug-in SAP OData ajuda a configurar e executar transferências de dados do SAP OData Catalog Services sem precisar de programação.

Para mais informações sobre os serviços e as fontes de catálogo de dados do SAP OData Catalog compatíveis, consulte os detalhes de suporte. Para mais informações sobre o SAP no Google Cloud, consulte a Visão geral do SAP no Google Cloud.

Objetivos

• Configurar o sistema SAP ERP (ativar DataSources no SAP).
• Implante o plug-in no ambiente do Cloud Data Fusion.
• Faça o download do transporte SAP do Cloud Data Fusion e instale-o no SAP.

• Use o Cloud Data Fusion e o SAP OData para criar pipelines de dados e integrar dados SAP.

Antes de começar

Para usar esse plug-in, é necessário ter conhecimento dos domínios nas seguintes áreas:

• Como criar pipelines no Cloud Data Fusion
• Gerenciamento de acesso com o IAM
• Como configurar sistemas SAP Cloud e de planejamento de recursos empresariais (ERP) no local

Papéis do usuário

As tarefas nesta página são realizadas por pessoas com os seguintes papéis no Google Cloud ou no sistema SAP:

Tipo de usuário	descrição;
Administrador do Google Cloud	Os usuários atribuídos a esse papel são administradores de contas do Google Cloud.
Usuário do Cloud Data Fusion	Os usuários atribuídos a esse papel estão autorizados a projetar e executar pipelines de dados. Eles recebem, no mínimo, o papel de leitor do Data Fusion ( roles/datafusion.viewer). Se estiver usando o controle de acesso baseado em papéis, talvez sejam necessários outros papéis.
Administrador do SAP	Os usuários atribuídos a essa função são administradores do sistema SAP. Eles têm acesso para fazer o download de softwares do site de serviços da SAP. Não é um papel do IAM.
Usuário SAP	Os usuários atribuídos a esse papel estão autorizados a se conectar a um sistema SAP. Não é um papel do IAM.

Pré-requisitos para extração OData

1. O serviço OData Catalog precisa ser ativado no sistema SAP (em inglês).

2. Os dados devem ser preenchidos no serviço OData.

Pré-requisitos do sistema SAP

• Do SAP NetWeaver 7.02 a SAP NetWeaver versão 7.31, as funcionalidades de OData e SAP Gateway são entregues com os seguintes componentes de software SAP:

  • IW_FND
  • GW_CORE
  • IW_BEP

• No SAP NetWeaver versão 7.40 e mais recentes, todas as funcionalidades estão disponíveis no componente SAP_GWFND, que precisa ser disponibilizado no SAP NetWeaver.

Opcional: instalar arquivos de transporte SAP

Os componentes SAP necessários para chamadas de balanceamento de carga para a SAP são entregues como arquivos de transporte SAP arquivados como um arquivo ZIP (uma solicitação de transporte, que consiste em um coarquivo e um arquivo de dados). É possível usar esta etapa para limitar várias chamadas paralelas ao SAP, com base nos processos de trabalho disponíveis no SAP.

O download do arquivo ZIP está disponível quando você implanta o plug-in no Hub do Cloud Data Fusion.

Faça o download do arquivo ZIP de transporte SAP ODATA

Os IDs de solicitação de transporte SAP e os arquivos associados são fornecidos na tabela a seguir:

ID do transporte	Cofile	Arquivo de dados	Conteúdo
ED1K900360	K900360.ED1	R900360.ED1	módulos de função RFC expostos por OData;

Quando você importa os arquivos de transporte para o SAP, os seguintes projetos do SAP OData são criados:

• Projetos OData

  • /GOOG/GET_STATISTIC
  • /GOOG/TH_WPINFO

• Nó de serviço do ICS:GOOG

Para instalar o transporte SAP, siga estas etapas:

Etapa 1: fazer upload dos arquivos de solicitação de transporte

1. Faça login no sistema operacional da instância SAP.
2. Use o código de transação SAP AL11 para ver o caminho da pasta DIR_TRANS. Normalmente, o caminho é /usr/sap/trans/.
3. Copie os arquivos compartilhados para a pasta DIR_TRANS/cofiles.
4. Copie os arquivos de dados para a pasta DIR_TRANS/data.
5. Defina o usuário e o grupo de dados e o coarquivo como <sid>adm e sapsys.

Etapa 2: importar os arquivos de solicitação de transporte

O administrador da SAP pode importar os arquivos de solicitação de transporte usando uma das seguintes opções:

Opção 1: importar os arquivos de solicitação de transporte usando o sistema de gerenciamento de transporte SAP

1. Faça login no sistema SAP como administrador da SAP.
2. Digite o STMS da transação.
3. Clique em Visão geral > Importações.
4. Na coluna Fila, clique duas vezes no SID atual.
5. Clique em Extras > Outras solicitações > Adicionar.
6. Selecione o ID da solicitação de transporte e clique em Continuar.
7. Selecione a solicitação de transporte na fila de importação e clique em Solicitar > Importar.
8. Digite o número do cliente.

9. Na guia Opções, selecione Substituir originais e Ignorar versão do componente inválido (se disponível).

   (Opcional) Para programar uma reimportação dos transportes para uma hora posterior, selecione Deixar solicitações de transporte na fila para importação posterior e Importar solicitações de transporte novamente. Isso é útil para upgrades do sistema SAP e restaurações de backup.

10. Clique em Continuar.

11. Para verificar a importação, use transações, como SE80 e SU01.

Opção 2: importar os arquivos de solicitações de transporte no nível do sistema operacional

1. Faça login no sistema SAP como administrador do sistema.

2. Adicione as solicitações apropriadas ao buffer de importação executando o seguinte comando:

   tp addtobuffer TRANSPORT_REQUEST_ID SID
   

   Por exemplo: tp addtobuffer IB1K903958 DD1

3. Importe as solicitações de transporte executando o seguinte comando:

   tp import TRANSPORT_REQUEST_ID SID client=NNN U1238
   

   Substitua NNN pelo número do cliente. Por exemplo: tp import IB1K903958 DD1 client=800 U1238

   Observação: U1238 indica a definição das opções descritas nas etapas de 9 a 10 na Opção 1. Os números indicam o número da ordem de opções correspondente na GUI do SAP, que pode variar de acordo com o sistema. Os números precisam ser ajustados pelo administrador da SAP.

4. Verifique se o módulo da função e os papéis de autorização foram importados com êxito usando as transações apropriadas, como SE80 e SU01.

Acessar uma lista de colunas filtráveis para um serviço de catálogo do SAP

Somente algumas colunas da DataSource podem ser usadas para condições de filtro. Essa é uma limitação do SAP por padrão.

Para consultar uma lista de colunas filtráveis para um serviço de catálogo do SAP, siga estas etapas:

1. Faça login no sistema SAP.
2. Acesse o t-code SEGW.

3. Digite o nome do projeto OData, que é uma substring do nome do serviço. Exemplo:

   • Nome do serviço: MM_PUR_POITEMS_MONI_SRV
   • Nome do projeto: MM_PUR_POITEMS_MONI

4. Pressione Enter.

5. Acesse a entidade que você quer filtrar e selecione Propriedades.

   É possível usar os campos mostrados em Properties como filtros. As operações aceitas são Igual e Entre (intervalo).

   

Para ver uma lista de operadores compatíveis com a linguagem de expressão, consulte a documentação de código aberto OData: Convenções URI (OData versão 2.0) (em inglês).

Exemplo de URI com filtros:

/sap/opu/odata/sap/MM_PUR_POITEMS_MONI_SRV/C_PurchaseOrderItemMoni(P_DisplayCurrency='USD')/Results/?$filter=(PurchaseOrder eq '4500000000')

Configurar o sistema SAP ERP

O administrador do SAP (em inglês) executa as tarefas nesta seção.

O plug-in SAP OData usa um serviço OData que é ativado em cada servidor SAP do qual os dados são extraídos. Esse serviço OData pode ser um padrão fornecido pela SAP ou um serviço OData personalizado desenvolvido no seu sistema SAP.

Etapa 1: instalar o SAP Gateway 2.0

O administrador do SAP (Basis) precisa verificar se os componentes do SAP Gateway 2.0 estão disponíveis no sistema de origem SAP, dependendo da versão do NetWeaver. Para mais informações sobre como instalar o SAP Gateway 2.0, faça login no SAP ONE Support Launchpad e consulte a Nota 1569624 (login obrigatório) .

Etapa 2: ativar o serviço OData

Ative o serviço OData necessário no sistema de origem. Para mais informações, consulte Servidor front-end: ativar serviços OData.

Etapa 3: criar um papel de autorização

Para se conectar à fonte de dados, crie um papel de autorização com as autorizações necessárias no SAP e conceda-o ao usuário SAP.

Para criar o papel de autorização no SAP, siga estas etapas:

1. Na GUI do SAP, digite o código da transação PFCG para abrir a janela Manutenção de papéis.

2. No campo Papel, insira um nome para o papel.

   Por exemplo: ZODATA_AUTH

3. Clique em Papel único.

   A janela Criar papéis é aberta.

4. No campo Descrição, insira uma descrição e clique em Salvar.

   Por exemplo, Authorizations for SAP OData plugin.

5. Clique na guia Autorizações. O título da janela muda para Alterar papéis.

6. Em Editar dados de autorização e gerar perfis, clique em Alterar dados de autorização.

   A janela Choose Template será aberta.

7. Clique em Não selecionar modelos.

   A janela Alterar papel: autorizações é aberta.

8. Clique em Manualmente.

9. Forneça as autorizações mostradas na tabela de autorização da SAP a seguir.

10. Clique em Salvar.

11. Para ativar o papel de autorização, clique no ícone Gerar.

Autorizações SAP (em inglês)

Classe de objeto	Texto de classe do objeto	Objeto de autorização	Texto do objeto de autorização	Autorização	Texto	Valor
AAAB	Objetos de autorização entre aplicativos	S_SERVICE	Verificação no início dos serviços externos	SRV_NAME	Nome do módulo do programa, da transação ou da função	*
AAAB	Objetos de autorização entre aplicativos	S_SERVICE	Verificação no início dos serviços externos	SRV_TYPE	Tipo de sinalização de verificação e valores padrão de autorização	HT
FI	Contabilidade	F_UNI_HIER	Acesso à hierarquia universal	ACTVT.	Atividade	03
FI	Contabilidade	F_UNI_HIER	Acesso à hierarquia universal	HRYTYPE	Tipo de hierarquia	*
FI	Contabilidade	F_UNI_HIER	Acesso à hierarquia universal	HYID	ID da hierarquia	*

Para projetar e executar um pipeline de dados no Cloud Data Fusion (como usuário do Cloud Data Fusion), é preciso ter credenciais de usuário SAP (nome de usuário e senha) para configurar o plug-in e se conectar à Fonte de dados.

O usuário SAP precisa ser dos tipos Communications ou Dialog. Para evitar o uso dos recursos da caixa de diálogo SAP, o tipo Communications é recomendado. Os usuários podem ser criados usando o código de transação SU01 da SAP.

Opcional: etapa 4: proteger a conexão

É possível proteger a comunicação na rede entre sua instância privada do Cloud Data Fusion e o SAP.

Observação:um certificado X.509 é necessário para esta tarefa.

Para proteger a conexão, siga estas etapas:

1. O administrador do SAP precisa gerar um certificado X509. Para gerar o certificado, consulte Como criar um PSE de servidor SSL.
2. O administrador do Google Cloud precisa copiar o arquivo X509 para um bucket legível do Cloud Storage no mesmo projeto que a instância do Cloud Data Fusion. Além disso, é necessário informar o caminho do bucket para o usuário do Cloud Data Fusion, que o insere quando configura o plug-in.
3. O administrador do Google Cloud precisa conceder acesso de leitura do arquivo X509 ao usuário do Cloud Data Fusion que projeta e executa pipelines.

Opcional: etapa 5: criar serviços de OData personalizados

É possível personalizar como os dados são extraídos criando serviços OData personalizados no SAP:

• Para criar serviços OData personalizados, consulte Criação de serviços OData para iniciantes.
• Para criar serviços de OData personalizados usando visualizações dos serviços de dados principais (CDS), consulte Como criar um serviço de OData e como expor visualizações de CDS como um serviço de OData.
• Qualquer serviço OData personalizado precisa ser compatível com as consultas $top, $skip e $count. Essas consultas permitem que o plug-in particiona os dados para extração sequencial e paralela. Se usadas, as consultas $filter, $expand ou $select também precisam ser compatíveis.

Configurar o Cloud Data Fusion

O usuário do Cloud Data Fusion executa as tarefas nesta seção.

Verifique se a comunicação está ativada entre a instância do Cloud Data Fusion e o servidor SAP. Para instâncias particulares, configure o peering de rede. Depois que o peering de rede é estabelecido com o projeto em que os sistemas SAP estão hospedados, nenhuma configuração adicional é necessária para se conectar à instância do Cloud Data Fusion. O sistema SAP e a instância do Cloud Data Fusion precisam estar dentro do mesmo projeto.

Etapa 1: configurar o ambiente do Cloud Data Fusion

Para configurar o ambiente do Cloud Data Fusion para o plug-in, siga estas etapas:

1. Acesse os detalhes da instância:

   1. No console do Google Cloud, acesse a página do Cloud Data Fusion.

   2. Clique em Instâncias e no nome da instância para acessar a página Detalhes da instância.

      Acesse "Instâncias"

2. Verifique se a instância foi atualizada para a versão 6.4.0 ou posterior. Se a instância estiver em uma versão anterior, será necessário fazer upgrade dela.

3. Clique em Visualizar instância. Quando a interface do Cloud Data Fusion abrir, clique em Hub.

4. Selecione a guia SAP > OData SAP.

   Se a guia "SAP" não for exibida, consulte Solução de problemas de integrações do SAP.

5. Clique em Deploy SAP OData Plugin.

   O plug-in agora será exibido no menu Origem na página do Studio.

   

Etapa 2: configurar o plug-in

O plug-in SAP OData lê o conteúdo de um SAP DataSource.

Para filtrar os registros, configure as propriedades a seguir na página "Propriedades do SAP OData".

Nome da propriedade	Descrição
Básico
Nome de referência	Nome usado para identificar exclusivamente essa fonte para linhagem, anotação de metadados etc.
URL do banco de dados do SAP OData	URL de base OData do SAP Gateway (use o caminho do URL completo, semelhante a https://ADDRESS:PORT/sap/opu/odata/sap/).
Versão do OData	Versão do SAP OData compatível.
Nome do serviço	Nome do serviço SAP OData do qual você quer extrair uma entidade.
Nome da entidade	Nome da entidade que está sendo extraída, como Results. É possível usar um prefixo, como C_PurchaseOrderItemMoni/Results. Esse campo é compatível com os parâmetros "Category" e "Entity". Exemplos: Um parâmetro para a categoria: C_PurchaseOrderItemMoni(P_DisplayCurrency='USD')/Results Um parâmetro para a entidade: C_PurchaseOrderItemMoni/Results('.1~4500000000.2~00010-PUSD') Um parâmetro para categoria e entidade: C_PurchaseOrderItemMoni('USD')/Results('.1~4500000000.2~00010-PUSD')
Botão Ver esquema	Gera um esquema com base nos metadados do SAP, com mapeamento automático dos tipos de dados SAP para os tipos de dados correspondentes do Cloud Data Fusion (mesma funcionalidade que o botão Validar).
Credenciais^*
Tipo SAP	Básico (via nome de usuário e senha).
Nome de usuário de logon do SAP	Nome de usuário SAP Recomendado: se o nome de usuário de logon do SAP for alterado periodicamente, use uma macro.
Senha de logon SAP	Senha de usuário SAP Recomendado: use macros seguras para valores confidenciais, como senhas.
Certificado do cliente SAP X.509 (consulte Como usar certificados de cliente X.509 no servidor de aplicativos SAP NetWeaver para ABAP).
ID do projeto do GCP	Um identificador globalmente exclusivo para seu projeto. Este campo será obrigatório se o campo Caminho do Cloud Storage do certificado X.509 não tiver um valor de macro.
Caminho do GCS	O caminho do bucket do Cloud Storage que contém o certificado X.509 enviado pelo usuário, que corresponde ao servidor de aplicativos SAP para chamadas seguras com base nos seus requisitos (consulte a etapa Proteger a conexão).
Senha longa	Senha correspondente ao certificado X.509 fornecido.
Avançado
Opções de filtro	Indica o valor que um campo precisa ter para ser lido. Use esta condição de filtro para restringir o volume de dados de saída. Por exemplo: "Price Gt 200" seleciona os registros com um valor de campo "Price" maior que "200". Consulte Acessar uma lista de colunas filtráveis para um serviço de catálogo da SAP (em inglês).
Selecionar campos	Campos a serem preservados nos dados extraídos (por exemplo: "Categoria", "Preço", "Nome", "Fornecedor/Endereço").
Expandir campos	Lista de campos complexos a serem expandidos nos dados de saída extraídos (por exemplo: Produtos/Fornecedores).
Número de linhas a serem ignoradas	Número total de linhas a serem ignoradas (por exemplo: 10).
Número de linhas a serem buscadas	Número total de linhas a serem extraídas.
Número de divisões a serem geradas	O número de divisões usadas para particionar os dados de entrada. Mais partições aumentam o nível de paralelismo, mas exigem mais recursos e sobrecarga. Se deixado em branco, o plug-in escolherá um valor ideal (recomendado).
Tamanho do lote	Número de linhas a serem buscadas em cada chamada de rede para o SAP. Um tamanho pequeno faz com que chamadas de rede frequentes repitam a sobrecarga associada. Um tamanho grande pode retardar a recuperação de dados e causar o uso excessivo de recursos no SAP. Se o valor for definido como 0, o valor padrão será 2500 e o limite de linhas a serem buscadas em cada lote será 5000.

^* As macros são compatíveis com as propriedades da credencial. Eles podem ser usados para gerenciar centralmente suas conexões SAP. Por exemplo, é possível definir valores no ambiente de execução usando parâmetros de ambiente de execução ou um plug-in Argument Setter.

Tipos de OData compatíveis

A tabela a seguir mostra o mapeamento entre os tipos de dados OData v2 usados em aplicativos SAP e os tipos de dados do Cloud Data Fusion.

Tipo OData	Descrição (SAP)	Tipo de dados do Cloud Data Fusion
Numérico
SByte	Valor inteiro de 8 bits assinado	int
Byte	Valor inteiro de 8 bits não assinado	int
Int16	Valor inteiro de 16 bits assinado	int
Int32	Valor inteiro de 32 bits assinado	int
Int64	Valor inteiro de 64 bits assinado com o caractere: "L" Exemplos: 64L, -352L	long
Cluster único	Número de ponto flutuante com precisão de sete dígitos que pode representar valores com um intervalo aproximado de ± 1,18e -38 a ± 3.40e +38, acompanhado do caractere: 'f' Exemplo: 2.0f	float
Duplo	Número de ponto flutuante com precisão de 15 dígitos que pode representar valores com intervalos aproximados de ± 2,23e -308 a ± 1,79e +308, acompanhados do caractere 'd' Exemplos: 1E+10d, 2.029d, 2.0d	double
Decimal	Valores numéricos com precisão e escala fixas que descrevem um valor numérico que varia de 10^255 + 1 a 10^255 -1 positivo, anexado com o caractere: "M" ou "m" Exemplo: 2.345M	decimal
Caractere
Orientação	Um valor identificador exclusivo de 16 bytes (128 bits) que começa com o caractere: "guid" Exemplo: guid'12345678-aaaa-bbbb-cccc-ddddeeeeffff'	string
String	Dados de caracteres de comprimento variável ou fixos codificados em UTF-8	string
Byte
Binário	Dados binários fixos ou de comprimento variável, começando com "X" ou "binário" (ambos diferenciam maiúsculas de minúsculas) Exemplo: X'23AB', binary'23ABFF'	bytes
Lógica
Booleano	Conce matemático da lógica de valor binário	boolean
Data/hora
Data/hora	Data e hora com valores que variam de 00:00:00 em 1o de janeiro de 1753 a 23:59:59 de 31 de dezembro de 9999	timestamp
Tempo	Hora do dia com valores que variam de 0:00:00.x a 23:59:59.y, em que "x" e "y" dependem da precisão	time
DateTimeOffset	Data e hora como um deslocamento, em minutos em relação ao GMT, com valores que variam de 0h em 1o de janeiro de 1753 às 23h59min59s, 31 de dezembro de 9999	timestamp
Complexa
Propriedades de navegação e que não são de navegação (multiplicidade = *)	Coleções de um tipo simples, com uma multiplicidade de um para muitos.	array, string, int etc.
Propriedades (multiplicidade = 0,1)	Referências a outros tipos complexos com uma multiplicidade de um para um	record

Validação

Clique em Validate no canto superior direito ou em Get Schema.

O plug-in valida as propriedades e gera um esquema com base nos metadados da SAP. Ele mapeia automaticamente os tipos de dados da SAP para os tipos de dados correspondentes do Cloud Data Fusion.

Executar um pipeline de dados

1. Depois de implantar o pipeline, clique em Configurar no painel central superior.
2. Selecione Recursos.
3. Se necessário, altere a CPU do Executor e a Memória com base no tamanho geral dos dados e no número de transformações usadas no pipeline.
4. Clique em Salvar.
5. Para iniciar o pipeline de dados, clique em Executar.

Desempenho

Os plug-ins usam os recursos de carregamento em paralelo do Cloud Data Fusion. As diretrizes a seguir ajudarão a configurar o ambiente de execução para que você forneça recursos suficientes ao mecanismo para atingir o grau de paralelismo e desempenho desejado.

Observação: no ambiente de execução, o plug-in lê o número de processos de trabalho SAP disponíveis e memória alocada por processo de trabalho SAP para ajustar automaticamente o Número de divisões e o Tamanho do lote se você não tiver especificado esses valores.

Otimizar a configuração do plug-in

Recomendado: a menos que você conheça as configurações de memória do sistema SAP, deixe os campos Número de divisões a serem geradas e Tamanho do lote em branco (não especificado).

Para um melhor desempenho ao executar o pipeline, use as seguintes configurações:

• Número de divisões para gerar: valores entre 8 e 16 são recomendados. Mas eles podem aumentar para 32 ou até mesmo 64, com configurações apropriadas no lado do SAP (alocando recursos de memória apropriados para os processos de trabalho no SAP). Essa configuração melhora o paralelismo no Cloud Data Fusion. O mecanismo de ambiente de execução cria o número especificado de partições (e conexões SAP) ao extrair os registros.

  • Se o serviço de configuração (que acompanha o plug-in na importação do arquivo de transporte SAP) estiver disponível, o plug-in usará como padrão a configuração do sistema SAP. As divisões representam 50% dos processos de trabalho de diálogo disponíveis no SAP. Observação: o serviço de configuração só pode ser importado de sistemas S4HANA.

  • Se o serviço de configuração não estiver disponível, o padrão serão divisões 7.

  • Em ambos os casos, se você especificar um valor diferente, o valor fornecido prevalece sobre o valor de divisão padrão,exceto que ele é limitado pelos processos de caixa de diálogo disponíveis no SAP, menos duas divisões.

  • Se o número de registros a serem extraídos for menor que 2500, o número de divisões será 1.

• Tamanho do lote: é a contagem de registros a serem buscados em cada chamada de rede para o SAP. Um tamanho de lote menor causa chamadas de rede frequentes, repetindo a sobrecarga associada. Por padrão, a contagem mínima é 1000 e o máximo é 50000.

Para mais informações, consulte Limites de entidades OData.

Configurações de recursos do Cloud Data Fusion

Recomendado:use 1 CPU e 4 GB de memória por Executor. Esse valor se aplica a cada processo do Executor. Faça isso na caixa de diálogo Configurar > Recursos.

Configurações de cluster do Dataproc

Recomendado: aloque pelo menos um total de CPUs (entre workers) maior do que o número pretendido de divisões. Consulte Configuração do plug-in.

Cada worker precisa ter 6,5 GB ou mais de memória alocada por CPU nas configurações do Dataproc significa 4 GB ou mais disponíveis por executor do Cloud Data Fusion. Outras configurações podem ser mantidas nos valores padrão.

Recomendado: use um cluster permanente do Dataproc para reduzir o ambiente de execução do pipeline de dados. Isso elimina a etapa de provisionamento, que pode levar alguns minutos ou mais. Faça isso na seção de configuração do Compute Engine.

Exemplos de configurações e capacidade de processamento

Exemplos de configurações de desenvolvimento e teste

• Cluster do Dataproc com oito workers, cada um com 4 CPUs e 26 GB de memória. Gere até 28 divisões.
• Cluster do Dataproc com dois workers, cada um com 8 CPUs e 52 GB de memória. Gere até 12 divisões.

Exemplos de configurações de produção e capacidade de processamento

• Cluster do Dataproc com 8 workers, cada um com 8 CPUs e 32 GB de memória. Gere até 32 divisões (metade das CPUs disponíveis).
• Cluster do Dataproc com 16 workers, cada um com 8 CPUs e 32 GB de memória. Gere até 64 divisões (metade das CPUs disponíveis).

Capacidade de amostra para um sistema de origem de produção SAP S4HANA 1909

A tabela a seguir tem uma amostra de capacidade de processamento. A capacidade de processamento exibida não tem opções de filtro, a menos que especificado de outra forma. Ao usar opções de filtro, a capacidade é reduzida.

Tamanho do lote	Divisões	Serviço OData	Total de linhas	Linhas extraídas	Capacidade de processamento (linhas por segundo)
1000	4	ZACDOCA_CDS	5,37 MI	5,37 MI	1069
2500	10	ZACDOCA_CDS	5,37 MI	5,37 MI	3384
5000	8	ZACDOCA_CDS	5,37 MI	5,37 MI	4.630
5000	9	ZACDOCA_CDS	5,37 MI	5,37 MI	4817

Capacidade de amostra para um sistema de origem de produção em nuvem SAP S4HANA

Tamanho do lote	Divisões	Serviço OData	Total de linhas	Linhas extraídas	Capacidade de processamento (GB/hora)
2500	40	TEST_04_UOM_ODATA_CDS/	201 mi	10 mi	25,48
5000	50	TEST_04_UOM_ODATA_CDS/	201 mi	10 mi	26,78

Detalhes do suporte

Produtos e versões SAP compatíveis

• As origens compatíveis incluem SAP S4/HANA 1909 e posteriores, S4/HANA no SAP Cloud e qualquer aplicativo SAP capaz de expor serviços de OData.

• O arquivo de transporte que contém o serviço OData personalizado para balanceamento de carga das chamadas para SAP precisa ser importado no S4/HANA 1909 e em versões mais recentes. Esse serviço ajuda a calcular o número de divisões (partições de dados) que o plug-in pode ler em paralelo. Consulte a seção Número de divisões.

• A versão 2 do OData é compatível.

• O plug-in foi testado com servidores SAP S/4HANA implantados no Google Cloud.

Os serviços SAP OData Catalog têm suporte para extração

O plug-in é compatível com os seguintes tipos de DataSource:

• Dados de transações
• Visualizações de CDS expostas por OData

• Dados principais

  • Atributos
  • Textos
  • hierarquias

Observação: as APIs OData operacionais não têm suporte para extração (por exemplo, interfaces para criação de ordens de compra ou vendas).

Notas SAP

Nenhuma nota SAP é necessária antes da extração, mas o sistema SAP precisa ter o Gateway SAP disponível. Para mais informações, consulte a observação 1560585 (link em inglês). Este site externo requer um login da SAP.

Limites no volume de dados ou largura de registro

Não há limite definido para o volume de dados extraídos. Testamos até 6 milhões de linhas extraídas em uma chamada, com largura de registro de 1 KB. Para o SAP S4/HANA na nuvem, fizemos testes com até 10 milhões de linhas extraídas em uma chamada, com largura de registro de 1 KB.

Capacidade esperada do plug-in

Para um ambiente configurado de acordo com as diretrizes na seção Desempenho, o plug-in pode extrair cerca de 38 GB por hora. O desempenho real pode variar de acordo com as cargas de sistema do Cloud Data Fusion e SAP ou o tráfego de rede.

Extração delta (dados alterados)

A extração delta não é aceita.

Cenários de erro

No ambiente de execução, o plug-in grava entradas no registro do pipeline de dados do Cloud Data Fusion. Essas entradas têm o prefixo CDF_SAP para facilitar a identificação.

Observação: clique em Registros avançados para ver todas as mensagens registradas no Cloud Data Fusion.

No momento do projeto, quando você valida as configurações do plug-in, as mensagens são exibidas na guia Properties e destacadas em vermelho.

A tabela a seguir lista algumas mensagens de erro comuns (o texto em será substituído por valores reais no momento da execução):

ID da mensagem	Mensagem	Ação recomendada
Nenhuma	Propriedade obrigatória "" para o tipo de conexão "".	Insira um valor real ou uma variável de macro.
Nenhuma	O valor da propriedade "" é inválido.	Insira um número inteiro não negativo (0 ou maior, sem decimal) ou uma variável de macro.
CDF_SAP_ODATA_01505	Falha ao preparar o esquema de saída do Cloud Data Fusion. Verifique o valor fornecido para as macros de ambiente de execução.	Verifique se os valores de macro fornecidos estão corretos.
N/A	A coluna <input input in GCS Path> do certificado SAP X509 está ausente. Verifique se o certificado X509 obrigatório foi enviado para o bucket especificado do Google Cloud Storage '<GCS bucket name>'.	Verifique se o caminho do Cloud Storage fornecido está correto.
CDF_SAP_ODATA_01532	Código de erro genérico qualquer coisa relacionada a problemas de conectividade do SAP OData Falha ao chamar determinado serviço OData do SAP. Causa raiz: <Mensagem de causa raiz do serviço OData SAP>	Verifique a causa raiz exibida na mensagem e tome as medidas adequadas.
CDF_SAP_ODATA_01534	Código de erro genérico qualquer coisa relacionada ao erro do serviço OData do SAP. Falha na validação do serviço. Causa raiz: mensagem de causa raiz do serviço OData de AP>	Verifique a causa raiz exibida na mensagem e tome as medidas adequadas.
CDF_SAP_ODATA_01503	Falha ao buscar a contagem total de registros disponíveis de <nome da entidade do serviço OData da SAP>. Causa raiz: <mensagem da causa raiz do serviço Odata do SAP>	Verifique a causa raiz exibida na mensagem e tome as medidas adequadas.
CDF_SAP_ODATA_01506	Nenhum registro para extrair em <nome da entidade do serviço OData do SAP>. Verifique se a entidade fornecida contém registros.	Verifique a causa raiz exibida na mensagem e tome as medidas adequadas.
CDF_SAP_ODATA_01537	Falha ao processar registros para <nome da entidade do serviço OData do SAP>. Causa raiz: <mensagem de causa raiz do serviço OData do SAP>	Verifique a causa raiz exibida na mensagem e tome as medidas adequadas.
CDF_SAP_ODATA_01536	Falha ao extrair registros de <Nome da entidade do serviço OData do SAP>. Causa raiz: <Mensagem de causa raiz do serviço OData do SAP>	Verifique a causa raiz exibida na mensagem e tome as medidas adequadas.
CDF_SAP_ODATA_01504	Falha ao gerar a string de metadados codificada para o serviço OData fornecido <nome do serviço OData do SAP>. Causa raiz: <mensagem de causa raiz do serviço OData do SAP>	Verifique a causa raiz exibida na mensagem e tome as medidas adequadas.
CDF_SAP_ODATA_01533	Falha ao decodificar os metadados da string de metadados codificada fornecida para o serviço <SAP OData service name>. Causa raiz: <SAP OData service root causa message>	Verifique a causa raiz exibida na mensagem e tome as medidas adequadas.

A seguir

• Saiba mais sobre o Cloud Data Fusion.
• Saiba mais sobre Go no Google Cloud.