Visão geral do plug-in SAP ODP

Neste guia, descrevemos como implantar, configurar e executar pipelines de dados que usam o plug-in SAP ODP. É possível usar o SAP como uma fonte de extração de dados baseada em lote e delta no Cloud Data Fusion por meio do provisionamento de dados operacionais (ODP).

Esse plug-in permite a integração de dados em massa de aplicativos SAP com o Cloud Data Fusion. É possível configurar e executar transferências de dados em massa de DataSources da SAP sem programação.

Para aplicativos SAP e DataSources compatíveis para extração, consulte as Perguntas frequentes. Para mais informações sobre o SAP no Google Cloud, consulte a Visão geral do SAP no Google Cloud.

Objetivos

  • Configurar o sistema SAP ERP (ativar DataSources no SAP).
  • Implante o plug-in no ambiente do Cloud Data Fusion.
  • Faça o download do transporte SAP do Cloud Data Fusion e instale-o no SAP.
  • Usar o Cloud Data Fusion e o SAP ODP para criar pipelines de dados e integrar dados do SAP.

Antes de começar

Para usar esse plug-in, é necessário ter conhecimento dos domínios nas seguintes áreas:

Função do usuário

As tarefas de configuração nesta página exigem alterações no seu sistema SAP e no Google Cloud. É necessário trabalhar com os administradores desses sistemas para executar as configurações.

Tabela 1: papéis do usuário

Tipo de usuário Descrição
Administrador do Google Cloud Os usuários atribuídos a esse papel são administradores de contas do Google Cloud.
Usuário do CDF Os usuários atribuídos a esse papel estão autorizados a projetar e executar pipelines de dados. Eles recebem, no mínimo, o papel de Leitor do Cloud Data Fusion ([roles/datafusion.viewer](data-fusion/docs/access-control#roles)). Se você estiver usando o controle de acesso baseado em papéis, talvez precise de [papéis adicionais](/data-fusion/docs/concepts/rbac#reset-roles).
Administrador do SAP Os usuários atribuídos a essa função são administradores do sistema SAP. Eles têm acesso para fazer o download de softwares do site de serviços da SAP. Não é um papel do IAM.
Usuário SAP Os usuários atribuídos a esse papel estão autorizados a se conectar a um sistema SAP. Não é um papel do IAM.

Pré-requisitos para extração de ODP

  1. O DataSource precisa estar ativado no sistema SAP.

  2. Os dados devem ser preenchidos no DataSource.

  3. A fonte de dados precisa ser ativada para extração de ODP. Para verificar se ele está ativado, siga estas etapas:

    1. Faça login no sistema SAP. Acesse o código t SE16N.
    2. Forneça o nome da tabela ROOSATTR e insira o nome da DataSource em OLTPSOURCE.
    3. Clique em Executar ou pressione F8.
    4. Se o campo EXPOSE_EXTERNAL estiver marcado como X, o DataSource poderá ser usado para extração de ODP.
  4. Se o DataSource não estiver listado nessa tabela ou o campo EXPOSE_EXTERNAL estiver em branco, siga estas etapas para expor a extração do DataSource para ODP:

    1. Faça login no sistema SAP. Acesse o código t SA38.
    2. Forneça o nome do programa RODPS_OS_EXPOSE e clique em Executar.
    3. Forneça o nome da DataSource e clique em Release DataSource.
    4. Salve as alterações no transporte.

Modos de extração de dados

O plug-in é compatível com estes modos de extração de dados:

  • Completo: extrai todos os dados.
  • Sincronização: determina o uso do modo de extração completo (todos os dados), delta (alterações incrementais) ou recuperação (repetição da última execução) para execução atual com base no status anterior no SAP de dados.

Colunas filtráveis do DataSource

Somente algumas colunas da DataSource podem ser usadas para condições de filtro. Essa é uma limitação do SAP por padrão.

Para acessar as informações do campo, siga estas etapas:

  1. Faça login no sistema SAP. Acesse "Código t RSA3".
  2. Forneça o nome da DataSource e pressione Enter.

    Você pode usar os campos exibidos na seção Seleções como filtros. As operações aceitas são Igual e Entre (intervalo).

Como configurar o sistema ERP da SAP

O SAP ODP usa um Módulo de função remota (RFM, na sigla em inglês), que precisa ser instalado em cada servidor SAP de onde os dados são extraídos. Essa RFM é entregue como um transporte SAP.

Para configurar seu sistema SAP, siga estas etapas:

  1. O usuário do Cloud Data Fusion precisa fazer o download do arquivo ZIP que contém o transporte da SAP e fornecê-lo ao administrador da SAP. Para fazer o download dele, use o link fornecido com o plug-in no Hub. Consulte Como configurar o Cloud Data Fusion.
  2. O administrador do SAP precisa importar o transporte SAP para o sistema SAP e verificar os objetos criados. Para mais informações, consulte Como instalar o transporte SAP (em inglês).
  3. O usuário do SAP pode importar o transporte de autorização ou criar o papel de autorização com base no objeto de autorização. Para mais informações sobre objetos de autorização, consulte Autorização SAP necessária.

Como ativar o DataSource

Para extrair os dados, um DataSource precisa estar ativado no sistema SAP de origem. Para ativar um DataSource no SAP, siga estas etapas:

  1. Acessar o código da transação RSA5
  2. Expanda a lista DataSources.
  3. Clique em Pesquisar.
  4. Forneça o nome da DataSource e clique em Enter.
  5. Se a pesquisa for bem-sucedida, a biblioteca DataSource será exibida na lista de resultados.

    Selecione o nome da DataSource e clique em Enter.

  6. Selecione a opção DataSource e clique em Ativar DataSources.

  7. Na caixa de diálogo Criar entrada no diretório de objetos, insira o nome do pacote e clique em Salvar.

  8. Na caixa de diálogo Solicitar solicitação de trabalho transferível, insira o Número de transporte no campo Solicitação. Clique em Enter.

    A DataSource selecionada é ativada no SAP.

Como instalar arquivos de transporte SAP

Os componentes da SAP são necessários para projetar e executar pipelines de dados no Cloud Data Fusion. Eles são entregues como arquivos de transporte SAP arquivados como um arquivo ZIP (uma solicitação de transporte, que consiste em um cofile e um arquivo de dados).

O ID da solicitação de transporte e os arquivos associados são fornecidos na tabela a seguir:

Tabela 2: transporte SAP

ID do transporte Cofile Arquivo de dados Conteúdo
DE3K900057 K900057 R900057.DE3 Módulos de função ativados no RFC
DE3K900042 K900042 R900042.DE3 Papel de autorização

Depois que a transferência é importada para o sistema SAP, os seguintes objetos SAP são criados:

  • Módulos de função ativados em RFC:
    • /GOOG/ODP_DS_EXTRACT_DATA
    • /GOOG/ODP_DS_FETCH_DATA
    • /GOOG/ODP_DS_METADATA
  • Papel de autorização: /GOOG/ODP_AUTH

Para instalar o transporte SAP, siga estas etapas:

Etapa 1: fazer upload dos arquivos de solicitação de transporte

  1. Faça login no sistema SAP como administrador do sistema.
  2. Copie os cofiles para a pasta /usr/sap/trans/cofiles.
  3. Copie os arquivos de dados para a pasta /usr/sap/trans/data.

Etapa 2: importar os arquivos de solicitação de transporte

O administrador da SAP pode importar os arquivos de solicitação de transporte usando uma das seguintes opções:

Opção 1: importar os arquivos de solicitação de transporte usando o sistema de gerenciamento de transporte SAP
  1. Faça login no sistema SAP como administrador da SAP.
  2. Digite o STMS da transação.
  3. Clique em Visão geral > Importações.
  4. Na coluna "Fila", clique duas vezes no SID atual.
  5. Clique em Extras > Outras solicitações > Adicionar.
  6. Selecione o ID da solicitação de transporte e clique em Continuar.
  7. Selecione a solicitação de transporte na fila de importação e clique em Solicitar > Importar.
  8. Digite o número do cliente.
  9. Na guia Opções, selecione Substituir originais e Ignorar a versão inválida do componente (se disponível).

    (Opcional) Para programar uma reimportação de transportes para um momento posterior, selecione Deixar solicitações de transporte na fila para importação posterior e Importar solicitações de transporte novamente. Isso é útil para upgrades do sistema SAP e restaurações de backup.

  10. Clique em Continuar.

  11. Para verificar a importação, use transações, como SE80 e SU01.

Opção 2: importar os arquivos de solicitações de transporte no nível do sistema operacional
  1. Faça login no sistema SAP como administrador do sistema.
  2. Adicione as solicitações apropriadas ao buffer de importação executando o seguinte comando:

    tp addtobuffer TRANSPORT_REQUEST_ID SID
    

    Por exemplo: tp addtobuffer IB1K903958 DD1

  3. Importe as solicitações de transporte executando o seguinte comando:

    tp import TRANSPORT_REQUEST_ID SID client=NNN U1238
    

    Substitua NNN pelo número do cliente. Por exemplo: tp import IB1K903958 DD1 client=800 U1238

  4. Verifique se o módulo da função e os papéis de autorização foram importados com êxito usando as transações apropriadas, como SE80 e SU01.

Autorizações SAP necessárias

Para executar um pipeline de dados no Cloud Data Fusion, você precisa de um usuário SAP. O usuário SAP precisa ser dos tipos Communications ou Dialog. Para evitar o uso de recursos da caixa de diálogo do SAP, o tipo Communications é recomendado. Os usuários podem ser criados usando o código de transação SU01 da SAP.

Atribua um papel de autorização para que o usuário do SAP possa projetar e executar pipelines de dados no Cloud Data Fusion. É possível atribuir o papel de autorização /GOOG/ODP_AUTH, incluído nos transportes da SAP fornecidos com o plug-in, ou criar o papel de autorização manualmente no SAP.

Para criar o papel de autorização manualmente, siga estas etapas:

  1. Na GUI do SAP, digite o código da transação PFCG para abrir a janela Manutenção de papéis.
  2. No campo Papel, insira um nome para o papel.

    Por exemplo: zcdf_role

  3. Clique em Papel único.

    A janela Criar papéis é aberta.

  4. No campo Descrição, insira uma descrição e clique em Salvar.

    Por exemplo, Authorizations for SAP ODP plugin.

  5. Clique na guia Autorizações. O título da janela muda para Alterar papéis.

  6. Em Editar dados de autorização e gerar perfis, clique em Alterar dados de autorização.

    A janela Choose Template será aberta.

  7. Clique em Não selecionar modelos.

    A janela Alterar papel: autorizações é aberta.

  8. Clique em Manualmente.

  9. Forneça as autorizações mostradas na tabela de autorização da SAP a seguir.

  10. Clique em Save.

  11. Para ativar o papel de autorização, clique no ícone Gerar.

Tabela 3: autorizações da SAP

Classe Object Texto de classe do objeto Objeto de autorização Texto do objeto de autorização Autorização Texto Valor
AAbb Objetos de autorização entre aplicativos S_RFC Verificação de autorização para acesso ao RFC ACTVT. Atividade 16
AAbb Objetos de autorização entre aplicativos S_RFC Verificação de autorização para acesso ao RFC RFC_NAME Nome do objeto RFC para o qual o acesso é permitido. /GOOG/CDF_ODP_FG,
/GOOG/ODP_DS_EXTRACT_DATA,
/GOOG/ODP_DS_FETCH_DATA,
/GOOG/ODP_DS_METADATA,
DDIF_FIELDINFO_GET,
RFCPING,
RFC_GET_FUNCTION_INTERFACE,
RODPS_REPL_ODP_CLOSE,
SAPTUNE_GET_SUMMARY_STATISTIC,
TH_WPINFO
AAbb Objetos de autorização entre aplicativos S_RFC Verificação de autorização para acesso ao RFC RFC_TYPE Tipo de objeto RFC para o qual o acesso é permitido FUGR
FUNC
AAbb Objetos de autorização entre aplicativos C_DIGO_S_T Verificação do código da transação no início da transação A confirmar Código da transação SM50
BC_A Base: administração S_ADMI_FCD Autorizações do sistema S_ADMI_FCD Função de administração do sistema PADM,
ST0R
BC_A Base: administração ADM S_BTCH Processamento em segundo plano: administrador em segundo plano BTCADMIN Código do administrador em segundo plano Y
BC_A Base: administração S_BTCH_JOB Processamento em segundo plano: operações em jobs em segundo plano AGENDAMENTO Operações de job RELE
BC_A Base: administração S_BTCH_JOB Processamento em segundo plano: operações em jobs em segundo plano JOBGROUP Resumo dos jobs de um grupo RELE
RO Autorizações: API BW Service S_RO_OSOA Autorizações do SAP DataSource ACTVT. Atividade 03
RO Autorizações: API BW Service S_RO_OSOA Autorizações do SAP DataSource OLTPSOURCE DataSource (OSOA/OSOD) *
RO Autorizações: API BW Service S_RO_OSOA Autorizações do SAP DataSource OSOAAPCO Componente de aplicativo de um DataSource (OSOA/OSOD) *
RO Autorizações: API BW Service S_RO_OSOA Autorizações do SAP DataSource OSOAPART Subobjeto para DataSource DATA
*Para impedir que um usuário execute pipelines de ODP com DataSources específicos, para o objeto de autorização S_RO_OSOA, não use um asterisco (*). Em vez disso, forneça os nomes de DataSource necessários em OLTPSOURCE (por exemplo, 2LIS_02_ITM, 0MATERIAL_ATTR).

Como configurar o Cloud Data Fusion

Verifique se a comunicação está ativada entre a instância do Cloud Data Fusion e o servidor SAP. Para instâncias particulares, configure o peering de rede. Depois que o peering de rede é estabelecido com o projeto em que os sistemas SAP estão hospedados, nenhuma configuração adicional é necessária para se conectar à instância do Cloud Data Fusion. O sistema SAP e a instância do Cloud Data Fusion precisam estar dentro do mesmo projeto.

Etapas de usuário do Cloud Data Fusion

Para configurar o ambiente do Cloud Data Fusion para o plug-in, siga estas etapas:

  1. No Console do Google Cloud, acesse a página Instâncias do Cloud Data Fusion.

    Acesse "Instâncias"

  2. Selecione a instância desejada.

    A página Detalhes da instância é aberta.

  3. Verifique se a instância fez upgrade para a versão 6.4.0 ou posterior. Se a instância estiver em uma versão anterior, será necessário fazer upgrade dela.

  4. Abra a instância. Na IU do Cloud Data Fusion, clique em Hub.

  5. Selecione a guia SAP > SAP ODP.

    Se a guia da SAP não estiver visível, consulte Solução de problemas de integrações da SAP.

  6. Clique em Deploy SAP ODP Plugins.

    O plug-in agora aparecerá no menu Source na página do Studio.

Etapas de administração do SAP e administrador do Google Cloud

O administrador do SAP faz o download dos seguintes artefatos do JCo no site de suporte do SAP e os fornece ao Google Cloud Admin.

  • Uma plataforma independente (sapjco3.jar)
  • Dependente da plataforma (libsapjco3.so no Unix)

Para fazer o download dos arquivos:

  1. Acesse a página do SAP Connectors.

  2. Clique em SAP Java Connector/Tools and Services. É possível selecionar links específicos da plataforma para o download.

  3. Selecione a plataforma em que sua instância do Cloud Data Fusion é executada:

    1. Se você usar imagens padrão do Google Cloud para as VMs no cluster (o padrão do Cloud Data Fusion), selecione Linux para processadores compatíveis com Intel de 64 bits x86.
    2. Se você usar uma imagem personalizada, selecione a plataforma correspondente.
  4. O Google Cloud Admin precisa copiar os arquivos JCo para um bucket legível do Cloud Storage. Forneça o caminho do bucket ao usuário do Cloud Data Fusion para inseri-lo na propriedade de plug-in correspondente no Cloud Data Fusion: Caminho do GCS para biblioteca SAP JCo (consulteComo configurar o plug-in .

  5. O administrador do Google Cloud precisa conceder acesso de leitura para os dois arquivos à conta de serviço do Cloud Data Fusion para o ambiente de design e a conta de serviço do Dataproc para o ambiente de execução. Para mais informações, consulte Contas de serviço do Cloud Data Fusion.

Como configurar o plug-in

O plug-in SAP ODP lê o conteúdo de um SAP DataSource.

Para filtrar os registros, configure as seguintes propriedades para o SAP ODP.

Basic

  • Nome de referência: usado para identificar essa origem de maneira exclusiva para linhagem, anotação de metadados etc.
  • Cliente SAP: o cliente SAP a ser usado (por exemplo, 100).
  • Linguagem SAP: linguagem de logon SAP (por exemplo, EN).
  • Tipo de conexão: tipo de conexão SAP (direto ou com carga balanceada). Selecionar um tipo alterará os seguintes campos disponíveis:

    Para conexão direta {:#direct-connection}:

    • Host do servidor de aplicativos SAP: o nome do servidor SAP ou o endereço IP.
    • Número do sistema SAP: o número do sistema SAP (por exemplo, 00).
    • Roteador SAP: a string do roteador.

    Para conexão de carga balanceada

    • Host de servidores de mensagens SAP: o nome ou o endereço IP do SAP Message Host.
    • Número de porta ou serviço do servidor de mensagens da SAP: serviço ou número da porta do SAP Message Server (por exemplo, sapms02).
    • SAP System ID (SID): o ID do sistema SAP (por exemplo, N75).
    • Nome do grupo de logons da SAP: o nome do grupo de logons da SAP (por exemplo, PUBLIC).
  • Nome do SAP DataSource: o nome do SAP DataSources (por exemplo, 2LIS_02_ITM).

  • Botão Get Schema: gera um esquema com base nos metadados do SAP, com mapeamento automático dos tipos de dados SAP para os tipos de dados correspondentes do Cloud Data Fusion (mesma funcionalidade que o método Validate.

  • Extrair tipo: o plug-in é compatível com os dois tipos de extração de dados a seguir:

    • Full (Todos os dados): extrai todos os dados disponíveis.
    • Sincronização (seleção automática com base em execução anterior): determina se o modo completo, delta (incremental) ou de recuperação (recuperar dados da última execução) precisa ser executado com base na execução anterior. tipo e status disponíveis no SAP. Ele extrai dados completos na execução inicial do pipeline (modo ODP F) e os altera nas execuções subsequentes do pipeline (modos ODP D, R).

      Para mais informações, consulte Extrair tipos.

Credenciais

  • Nome de usuário de logon SAP: nome de usuário SAP. Recomendado: se o nome de usuário do SAP Authentication for alterado periodicamente, use uma macro.
  • Senha de logon SAP: senha de usuário SAP. Recomendado: use macros seguras para valores confidenciais, como Senha do usuário.

Detalhes do SAP JCo

  • ID do projeto do GCP: ID do projeto do Google Cloud, que identifica exclusivamente um projeto. É possível encontrá-lo no painel do Console do Google Cloud.
  • Caminho do GCS da biblioteca SAP JCo: o caminho do Cloud Storage que contém os arquivos da biblioteca SAP JCo enviados pelo usuário.

Avançado

  • Nome do assinante do ODP de SAP: identifica um assinante do assinante do ODP válido para a extração de dados de um DataSource válido. Esse nome precisa ter no máximo 32 caracteres, sem espaços, e pode conter apenas a-z, A-Z, 0-9, _ e /. Ele precisa ser exclusivo para diferentes pipelines extraindo dados do mesmo DataSource. Se estiver em branco ou não especificado, o framework de execução usará a combinação padrão do ID do projeto, namespace e nome do pipeline. Se esse valor padrão tiver mais de 32 caracteres, o plug-in o truncará automaticamente.

  • Opções de filtro (Igual a): define o valor que um campo precisa ser lido. Uma lista de nomes de campos de metadados e os pares de valores deles são opções de filtro. Ele especifica a condição do filtro que será aplicada ao ler dados de um DataSource. Somente os registros que satisfazem o filtro são extraídos. A chave de filtro corresponde a um campo no esquema e precisa ser de um tipo simples (não ARRAY, RECORD ou UNION).

  • Opções de filtro (intervalo): define os limites baixos e altos em que o valor do campo precisa ser lido. Tem o formato baixo E alto. Uma lista de nomes de campos de metadados e os pares de valores deles são opções de filtro. Ela especifica a condição do filtro a ser aplicada na leitura de dados de um DataSource. Somente os registros que satisfazem o filtro são extraídos. A chave de filtro corresponde a um campo no esquema e precisa ser de um tipo simples (não ARRAY, RECORD ou UNION).

  • Número de divisões a serem geradas: cria partições para extrair registros da tabela em paralelo. O mecanismo do ambiente de execução cria o número especificado de partições (e conexões SAP) enquanto extrai os registros da tabela. Tenha cuidado ao definir essa propriedade para um número maior que 16, já que paralelismo maior aumenta as conexões simultâneas com o SAP. Recomendamos valores entre 8 e 16. Se o valor for 0 ou for deixado em branco, o sistema escolherá um valor apropriado com base no número de Executores disponíveis e nos registros a serem extraídos e no tamanho do pacote.

  • Tamanho do pacote (em KB): número de registros a serem extraídos em uma única chamada de rede SAP. Esse é o número de registros que o SAP armazena na memória durante cada chamada de extração de rede. Vários pipelines de dados que extraem dados podem picor o uso de memória e podem resultar em falhas devido a erros de Out of Memory. Tenha cuidado ao definir essa propriedade.

    Insira um número inteiro positivo. Se 0 ou deixado em branco, o plug-in usará um valor padrão de 70000 (ou um valor calculado corretamente) se o número de registros a serem extraídos for menor que 70.000.

    Se o pipeline de dados falhar com erros Out of Memory, diminua o tamanho do pacote ou aumente a memória disponível para os processos de trabalho do SAP.

Como configurar um pipeline

Para grandes conjuntos de dados (por exemplo, alguns milhões de registros) com um grande número de divisões (acima de 16), o sistema SAP pode enviar registros duplicados. Para evitar isso, é recomendável usar um dos seguintes métodos de eliminação de duplicação no pipeline do Cloud Data Fusion:

Em ambos os métodos, você usa campos de chave do DataSource para executar a eliminação de duplicação.

  • Se você usar um coletor do BigQuery no pipeline, use o modo Upsert no coletor do BigQuery. Forneça os campos de chave na seção Chave da tabela do plug-in do coletor do BigQuery.

  • Se você não usar um coletor do BigQuery no pipeline, use o plug-in Desduplicação, inserido no pipeline após o plug-in do SAP ODP. Forneça os campos de chave na seção Campos exclusivos do plug-in Deduplicate.

Mapeamento de tipo de dados

Tabela 4: mapeamento de tipos de dados SAP para tipos do Cloud Data Fusion

Tipo de dados do SAP Tipo de ABAP Descrição (SAP) Tipo de dados Java Tipo de dados do CDAP
Numérico
INT.1 b Inteiro de 1 byte int Schema.Type.INT
INT.2 s Inteiro de 2 bytes int Schema.Type.INT
INT4 i Inteiro de 4 bytes int Schema.Type.INT
INT8 8 Inteiro de 8 bytes long Schema.Type.LONG
DEZ p Número no pacote no formato BCD (DEC) BigDecimal Schema.LogicalType.DECIMAL
DF16_DEC,
DF16_RAW
a Ponto flutuante decimal de 8 bytes IEEE 754r BigDecimal Schema.LogicalType.DECIMAL
DF34_DEC,
DF34_RAW
e Ponto flutuante decimal de 16 bytes, IEEE 754r BigDecimal Schema.LogicalType.DECIMAL
Flip f Número de ponto flutuante binário Double Schema.LogicalType.DOUBLE
Caractere
CHAR,
LCHR
c String de caracteres String Schema.Type.STRING
SSTRING,
GEOM_EWKB
string String de caracteres String Schema.Type.STRING
STRING string CLOB de string de caracteres Byte [] Schema.Type.BYTES
NUMC,
ACCP
n Texto numérico String Schema.Type.STRING
Byte
RAW,
LRAW
x Dados binários Byte [] Schema.Type.BYTES
RAWSTRING xstring String de bytes BLOB Byte [] Schema.Type.BYTES
Data/hora
DATs d Data Date Schema.LogicalType.DATE
TIMS t Momento Time Schema.LogicalType.TIME_MICROS
TIMS utcl (Utclong),
TimeStamp
Timestamp Schema.LogicalType.TIMESTAMP_MICROS

Validação

Clique em Validate no canto superior direito ou em Get Schema.

O plug-in valida as propriedades e gera um esquema com base nos metadados da SAP. Ele mapeia automaticamente os tipos de dados SAP para os tipos de dados correspondentes do Cloud Data Fusion.

Como executar um pipeline de dados

  1. Depois de implantar o pipeline, clique em Configurar no painel central superior.
  2. Selecione Recursos.
  3. Se necessário, altere a CPU do Executor e a Memória com base no tamanho geral dos dados e no número de transformações usadas no pipeline.
  4. Clique em Save.
  5. Para iniciar o pipeline de dados, clique em Executar.

Como otimizar o desempenho

Os plug-ins usam os recursos de carregamento em paralelo do Cloud Data Fusion. As diretrizes a seguir podem ajudar a configurar o ambiente de execução para que você forneça recursos suficientes ao mecanismo para atingir o grau de paralelismo e desempenho pretendido.

Otimize a configuração do SAP

Recomendado: use um usuário do SAP Communication em vez de um usuário Dialog (isso usa menos recursos do sistema SAP). Além disso, se um servidor de mensagens estiver disponível no seu modo paisagem, use uma conexão do SAP com balanceamento de carga em vez de uma conexão direta.

Se você especificar valores para o número de divisões e o tamanho do pacote, o plug-in poderá ajustar esses valores para não esgotar os processos de trabalho e a memória disponíveis do SAP. Estes são os limites superiores dos recursos SAP usados:

  • 50% dos processos de trabalho disponíveis
  • 70% da memória disponível por processo de trabalho

Otimizar a configuração do plug-in

Recommended: deixe o Number of Splits to Generate e o Package Size em branco, a menos que você esteja familiarizado com as configurações de memória do seu sistema SAP. Por padrão, esses valores são ajustados automaticamente para melhorar o desempenho.

Use as seguintes propriedades para garantir o melhor desempenho ao executar o pipeline:

  • Número de divisões a serem geradas: controla diretamente o paralelismo no lado do Cloud Data Fusion. O mecanismo do ambiente de execução cria o número especificado de partições (e conexões SAP) enquanto extrai os registros da tabela. Os valores entre 8 e 16 são recomendados, mas podem aumentar até 32 ou até 64 com a configuração apropriada da SAP (alocando recursos de memória apropriados para o trabalho). processos no SAP).

    Se o valor for 0 ou for deixado em branco, o sistema escolherá automaticamente um valor apropriado com base no número de processos de trabalho SAP disponíveis, nos registros a serem extraídos e no tamanho do pacote.

  • Tamanho do pacote: o tamanho de cada pacote de dados em bytes a ser buscado em todas as chamadas de rede para SAP. Um tamanho menor faz com que chamadas de rede frequentes repitam a sobrecarga associada. Um tamanho de pacote grande (> 100 MB) pode atrasar a recuperação de dados. 0 ou nenhuma entrada tem 50 MB como padrão.

Extrair tipos

  • Se o tipo de extração for Full, o plug-in sempre solicitará dados completos do DataSource.
  • Se o tipo de extração for Sync, o plug-in verificará primeiro o status da execução anterior no SAP.
    • Se não houver execução anterior, escolha dados completos (F).
    • Se o tipo de execução anterior era Full (F):
      • Se a execução foi concluída, execute a chave no modo Delta (D).
      • Caso contrário, execute a chave no modo completo (F). Isso permite recuperar os dados anteriormente por engano.
    • Se o tipo de execução anterior for o modo Delta (D) ou Recuperação (R):
      • Se a execução foi concluída, execute a chave no modo Delta (D).
      • Caso contrário, execute a chave no modo de recuperação (R). Isso permite a recuperação dos dados delta anteriores por engano.

Extração de vários pipelines do mesmo DataSource

Esse recurso não está disponível no momento. Somente um pipeline pode extrair dados de um DataSource por vez.

Recomendado: mantenha o campo Nome do assinante do SAP ODP em branco e não execute vários pipelines extraindo dados do mesmo DataSource.

Configurações de recursos do Cloud Data Fusion

Recomendado: use 1 CPU e 4 GB de memória por Executor. Esse valor se aplica a cada processo de Executor. Faça isso na caixa de diálogo Configurar > Recursos.

Configurações de cluster do Dataproc

Recomendado: no mínimo, aloque um total de CPUs (entre workers) maior que o número pretendido de divisões. Consulte Configuração de plug-ins. Por exemplo, se você tiver 16 divisões, defina 20 ou mais CPUs no total, em todos os workers (há uma sobrecarga de 4 CPUs usadas para coordenação).

Recomendado: use um cluster permanente do Dataproc para reduzir o ambiente de execução do pipeline de dados. Isso elimina a etapa de provisionamento, que pode levar alguns minutos ou mais. Faça isso na seção de configuração do Compute Engine.

Perguntas frequentes

Quais produtos e versões do SAP são compatíveis?

Fontes compatíveis:

  • SAP S4/HANA 1909 e posterior.
  • SAP ERP6 NW 7.31 SP16 e posterior. Importe a Nota SAP 2232584 para ativar outras DataSources no sistema.
  • Sistemas ERP da SAP baseados no NW 7.31 SP16 ou posterior.

Quais são os modelos de implantação SAP compatíveis?

O plug-in foi testado com servidores SAP implantados no Google Cloud.

Quais tipos de SAP DataSources são compatíveis com extração?

O plug-in é compatível com os seguintes tipos de DataSource:

  • Dados da transação
  • Dados principais
  • Atributos
  • Mensagens de texto
  • hierarquias

Há notas SAP que precisam ser implementadas antes do uso desse plug-in?

Se você precisar ativar outros DataSources, implemente a seguinte observação para sistemas ERP6: 2232584 (link em inglês): versão de extratores SAP para replicação ODP (ODP SAPI). Esse site externo requer um login do SAP.

Há uma limitação no volume de dados ou na largura do registro?

Não há limite definido para o número de linhas extraídas ou o tamanho do DataSource. Testamos até 306 milhões de linhas extraídas em uma execução de pipeline com uma largura de registro de 1 KB.

Qual é a capacidade esperada do plug-in?

Para um ambiente configurado de acordo com as diretrizes da seção Como otimizar o desempenho, o plug-in pode extrair cerca de 38 GB/hora. O desempenho real pode variar de acordo com a carga do sistema CDF e SAP, o tráfego de rede etc.

A seguir