Fonte em lote do hub aberto do SAP BW

Neste guia, descrevemos como implantar, configurar e executar pipelines de dados que usam o plug-in SAP BW Open Hub Batch Source. É possível usar o SAP como uma fonte para extração de dados baseada em lote e em delta no Cloud Data Fusion pelo BW Open Hub Service.

Esse plug-in permite a integração de dados em massa de aplicativos SAP com o Cloud Data Fusion. É possível configurar e executar transferências de dados em massa do DataSources do SAP sem programação.

Para saber quais aplicativos e objetos do SAP são compatíveis com a extração, consulte Detalhes de suporte. Para mais informações sobre como executar o SAP no Google Cloud, consulte Visão geral do SAP no Google Cloud.

Objetivos

  • Configure o sistema SAP BW.
  • Implante o plug-in no ambiente do Cloud Data Fusion.
  • Faça o download do transporte SAP do Cloud Data Fusion e instale-o no SAP.
  • Use o Cloud Data Fusion e a origem de lote do SAP BW Open Hub para criar pipelines de dados e integrar dados do SAP.

Antes de começar

Para usar esse plug-in, é necessário ter conhecimento dos domínios nas seguintes áreas:

Papéis do usuário

As tarefas nesta página são realizadas por pessoas com as seguintes funções no Google Cloud ou no sistema SAP:

Tipo de usuário Descrição
Administrador do Google Cloud Os usuários atribuídos a esse papel são administradores de contas do Google Cloud.
Usuário do Cloud Data Fusion Os usuários atribuídos a esse papel estão autorizados a projetar e executar pipelines de dados. Eles recebem, no mínimo, o papel de leitor do Data Fusion ( roles/datafusion.viewer). Se você estiver usando o controle de acesso baseado em papéis, talvez seja necessário usar outros papéis.
Administrador do SAP Os usuários atribuídos a essa função são administradores do sistema SAP. Eles têm acesso para fazer o download de softwares do site de serviços da SAP. Não é um papel do IAM.
Usuário SAP Os usuários atribuídos a esse papel estão autorizados a se conectar a um sistema SAP. Não é um papel do IAM.

Pré-requisitos do SAP BW

Você precisa do SAP HANA Studio para criar e editar processos de transferência de dados e cadeias de processos.

Pré-requisitos do Cloud Data Fusion

  • Uma rede VPC é necessária para a criação de instâncias do Cloud Data Fusion.
  • É necessária uma instância do Cloud Data Fusion, versão 6.8.0 ou mais recente, qualquer edição.
  • Os papéis obrigatórios precisam ser concedidos à conta de serviço atribuída à instância do Cloud Data Fusion. Para mais informações, consulte Como conceder permissão ao usuário da conta de serviço.
  • É necessário usar uma conexão de peering entre sua VPC e a rede VPC compartilhada do Google.

Configurar o sistema SAP BW

A origem de lote do BW Open Hub da SAP usa um módulo de função remota (RFM, na sigla em inglês), que precisa ser instalado em cada servidor SAP de onde os dados são extraídos. Essa RFM é entregue como um transporte SAP.

Para configurar seu sistema SAP, siga estas etapas:

  1. O usuário do Cloud Data Fusion precisa fazer o download do arquivo ZIP que contém o transporte da SAP e fornecê-lo ao administrador da SAP. Para mais informações, consulte Configurar o Cloud Data Fusion.
  2. O administrador do SAP precisa importar o transporte SAP para o sistema SAP e verificar os objetos criados. Para mais informações, consulte Instalar o transporte SAP.
  3. Opcional: o usuário do SAP pode modificar os objetos de autorização padrão do SAP da função entregue /GOOG/BWOH_CDF_AUTH com base nas políticas de segurança da organização.

Instalar os arquivos de transporte SAP

Para projetar e executar pipelines de dados no Cloud Data Fusion, os componentes do SAP são entregues em arquivos de transporte SAP, que são arquivados em um arquivo ZIP. O download fica disponível quando você implanta o plug-in no Hub do Cloud Data Fusion.

Para instalar o transporte SAP, siga estas etapas:

Etapa 1: fazer upload dos arquivos de solicitação de transporte

  1. Faça login no sistema operacional da instância do SAP.
  2. Use o código de transação AL11 do SAP para acessar o caminho da pasta DIR_TRANS. Normalmente, o caminho é /usr/sap/trans/.
  3. Copie os cofiles para a pasta DIR_TRANS/cofiles.
  4. Copie os arquivos de dados para a pasta DIR_TRANS/data.
  5. Defina o usuário e o grupo de dados e o coarquivo como <sid>adm e sapsys.

Etapa 2: importar os arquivos de solicitação de transporte

O administrador da SAP pode importar os arquivos de solicitação de transporte usando uma das seguintes opções:

Opção 1: importar os arquivos de solicitação de transporte usando o sistema de gerenciamento de transporte SAP
  1. Faça login no sistema SAP como administrador da SAP.
  2. Digite o STMS da transação.
  3. Clique em Visão geral > Importações.
  4. Na coluna "Fila", clique duas vezes no SID atual.
  5. Clique em Extras > Outras solicitações > Adicionar.
  6. Selecione o ID da solicitação de transporte e clique em Continuar.
  7. Selecione a solicitação de transporte na fila de importação e clique em Solicitar > Importar.
  8. Digite o número do cliente.

  9. Na guia Opções, selecione Substituir originais e Ignorar versão inválida do componente.

    Opcional: selecione Deixar solicitações de transporte na fila para importação posterior. Isso faz com que as solicitações sejam importadas novamente na ordem correta com a próxima importação de todas as solicitações. Essa opção é útil se você precisar fazer importações preliminares para solicitações individuais.

  10. Clique em Continuar.

  11. Verifique se o módulo da função e os papéis de autorização foram importados com êxito usando as transações apropriadas, como SE80 e PFCG.

Opção 2: importar os arquivos de solicitações de transporte no nível do sistema operacional
  1. Faça login no sistema SAP como administrador da SAP.

  2. Adicione as solicitações apropriadas ao buffer de importação:

    tp addtobuffer TRANSPORT_REQUEST_ID SID

    Por exemplo: tp addtobuffer BW1K900054 DD1

  3. Importe as solicitações de transporte:

    tp import TRANSPORT_REQUEST_ID SID client=NNN U1238

    Substitua NNN pelo número do cliente. Exemplo:

    tp import BW1K900054 DD1 client=100 U1238

  4. Verifique se o módulo da função e os papéis de autorização foram importados com êxito usando as transações apropriadas, como SE80 e PFCG.

Autorizações SAP necessárias

Para executar um pipeline de dados no Cloud Data Fusion, você precisa de um usuário SAP. O usuário SAP precisa ser dos tipos Communications ou Dialog. Para evitar o uso de recursos da caixa de diálogo do SAP, o tipo Communications é recomendado. O administrador do SAP pode criar usuários usando o código de transação SU01 do SAP.

As autorizações SAP são necessárias para configurar o conector para SAP. Os objetos de autorização do SAP específicos do conector são enviados como parte da solicitação de transporte. Importe o transporte de papel de autorização conforme descrito em Instalar o transporte do SAP para incluir o papel no sistema e gerar o papel com base no código da transação PFCG.

Para objetos de autorização SAP padrão, sua organização gerencia as permissões com o próprio mecanismo de segurança. É possível manter objetos de autorização com base nas políticas de segurança da sua organização.

Criar uma cadeia de processos (PC, na sigla em inglês) e um processo de transferência de dados (DTP, na sigla em inglês)

A criação de uma cadeia de processos e de transferência de dados requer algumas habilidades e conhecimentos.

Conceitos de segundo plano

Para criar ou editar um PC e DTP, use o SAP HANA Studio.

Habilidades obrigatórias

  • Você usou transformações para definir o fluxo de dados entre a origem e o objeto de destino.
  • Você tem conhecimento dos conceitos básicos do BW e do HANA, como objetos do DataStore (DSO), transformações de dados, InfoCubes, otimização de consultas, modelagem do HANA e recursos do banco de dados do HANA usando o HANA Studio. Para mais informações sobre esses conceitos, consulte os tutoriais do SAP sobre BW e HANA.

Tipo de extração

Há dois modos de extração de dados para um processo de transferência de dados: completo e delta.

  • Full: seleciona todos os dados disponíveis na origem com base nas condições de filtro mencionadas na DTP. Se a fonte de dados for um dos seguintes InfoProviders, apenas o modo de extração total estará disponível:

    • InfoObjects
    • InfoSets
    • Objetos do DataStore para atualização direta

  • Delta: ao contrário do InfoPackage, a transferência Delta usando um DTP não requer uma inicialização explícita. Quando um DTP é executado com o modo de extração de delta pela primeira vez, todas as solicitações existentes até o momento da extração são recuperadas da fonte, e o delta é inicializado automaticamente.

    As seguintes opções estão disponíveis para um DTP com o modo de extração Delta:

    • Somente receber delta uma vez
    • Receber todas as novas solicitações de dados por solicitação
    • Recuperar até não haver mais dados novos

Tamanho do pacote: é o número de registros de dados presentes em um pacote de dados individual. O valor padrão é 50,000.

Criar uma cadeia de processos

Para criar uma cadeia de processos (PC, na sigla em inglês), use a transação RSPC na GUI do SAP. Defina um processo de início e adicione as etapas do processo e a DTP. Para mais informações, consulte a documentação da SAP sobre Como criar cadeias de processos.

Várias opções estão disponíveis no HANA Studio para monitorar e administrar PCs. Para mais informações, consulte Operações da cadeia de processos do SAP BW/4HANA.

Criar um processo de transferência de dados usando uma cadeia de processos

Acesse a visualização Planejamento da cadeia de processos que você quer usar para o processo de transferência de dados. Na visualização Planejamento, é possível criar o DTP usando o HANA Studio. Para mais informações, consulte a documentação da SAP sobre Como criar um processo de transferência de dados.

Para mais informações sobre as opções de configuração, consulte Tudo sobre o processo de transferência de dados (DTP) – SAP BW 7.

Conexão RFC

Para notificar o sistema de callback, como o plug-in SAP BW Open Hub Batch Source, de que os dados estão disponíveis, a cadeia de processos precisa ser atualizada para usar um destino RFC:

  1. No SM59, crie uma conexão RFC do tipo Conexões TCP/IP para notificar o sistema de destino do BW quando o carregamento de dados for concluído no BI.

  2. Clique duas vezes na conexão RFC para verificar se o ID do programa está configurado. O ID do programa precisa ser exclusivo para cada destino de RFC para evitar conflitos de listener de execução.

  3. Use a conexão TCP/IP recém-criada na cadeia de processos para enviar notificações e concluir um job em lote do Cloud Data Fusion. O nome da cadeia de processos não diferencia maiúsculas de minúsculas. Ele precisa ser especificado corretamente em letras maiúsculas no processo de integração completo.

Mostrar os registros de cadeias de processos e processos de transferência de dados

  1. Acesse o Tcode : RSPC e clique em Process Chains.

  2. Clique com o botão direito do mouse na cadeia de processos para a qual você quer mostrar os registros e clique em Mostrar registros.

Configurar o cluster do Dataproc ao usar a cadeia de processos

Para ativar a comunicação pelo servidor RFC, adicione as entradas de porta do SAP Gateway no arquivo /etc/services nos nós do cluster do Dataproc. É recomendável usar um init action, o script a ser executado quando o cluster for inicializado. Para mais informações, consulte Ações de inicialização.

Crie um arquivo de script e salve-o em um bucket do Cloud Storage. O exemplo a seguir mostra o conteúdo do arquivo de script:

gs://cdf-sap-dependent-files/addgw.sh
#!/bin/bash
echo 'sapgw00 3300/tcp' >> /etc/services
echo 'sapgw01 3301/tcp' >> /etc/services
echo 'sapgw02 3302/tcp' >> /etc/services
echo 'sapgw03 3303/tcp' >> /etc/services
echo 'sapgw04 3304/tcp' >> /etc/services

No exemplo anterior, observe o seguinte:

  • As entradas estão no formato sapgwxx 33xx/tcp, em que XX é o número da instância do SAP.

  • As portas das instâncias do SAP 00 a 04 são adicionadas.

Siga as etapas abaixo se você estiver usando um cluster do Dataproc temporário ou permanente recém-criado ou um cluster permanente atual.

Cluster efêmero do Dataproc

Se você estiver usando um cluster efémero do Dataproc, adicione o caminho do script init às propriedades do cluster:

  1. No monitor de jobs, na página do pipeline no Cloud Data Fusion, clique em Configurar.
  2. Selecione o perfil de computação e clique em Personalizar.
  3. Em Configurações avançadas, no campo Ações de inicialização, digite o caminho para o script init.

Novo cluster do Dataproc permanente

Se você estiver usando um cluster do Dataproc persistente recém-criado, use o script init no comando gcloud para criar o cluster. Exemplo:

gcloud dataproc clusters create cluster-name \
  --region=${REGION} \
  --initialization-actions=gs://cdf-sap-dependent-files/addgw.sh \
  ... other flags ...

Cluster persistente do Dataproc

Se você estiver usando um cluster do Dataproc persistente, siga estas etapas:

Se o cluster já foi criado sem usar o script init, adicione as entradas manualmente nos nós mestre e worker do cluster do Dataproc.

  1. SSH para o nó mestre e o nó do cluster.
  2. Faça login no ID do usuário raiz.
  3. Navegue até /etc/ e abra o arquivo /etc/services em um editor VI.
  4. Adicione a entrada sapgwxx 33xx/tcp. Substitua xx pelo número da sua instância SAP.
  5. Salve o arquivo /etc/services.

Configurar o Cloud Data Fusion

Verifique se a comunicação está ativada entre a instância do Cloud Data Fusion e o servidor SAP. Para instâncias particulares, configure o peering de rede. Depois que o peering de rede é estabelecido com o projeto em que os sistemas SAP estão hospedados, nenhuma configuração adicional é necessária para se conectar à instância do Cloud Data Fusion. O sistema SAP e a instância do Cloud Data Fusion precisam estar no mesmo projeto.

Etapas para usuários do Cloud Data Fusion

  1. Acesse os detalhes da instância:

    1. No console do Google Cloud, acesse a página do Cloud Data Fusion.

    2. Clique em Instâncias e, depois, no nome da instância para acessar a página Detalhes da instância.

      Acesse "Instâncias"

  2. Verifique se a instância foi atualizada para a versão 6.8.0 ou mais recente. Se a instância estiver em uma versão anterior, será necessário fazer upgrade dela.
  3. Abra a instância. Na IU do Cloud Data Fusion, clique em Hub.
  4. Selecione a guia SAP > SAP BW. Se a guia SAP não estiver visível, consulte Solução de problemas de integrações SAP.
  5. Clique em Implantar plug-in do SAP BW. O plug-in aparece no menu Origem na página do Studio.

Etapas para administradores do SAP e Google Cloud

O administrador do SAP faz o download dos seguintes artefatos do JCo no site de suporte do SAP e os fornece ao administrador do Google Cloud .

  • Uma plataforma independente (sapjco3.jar)
  • Dependente da plataforma (libsapjco3.so no Unix)

Para fazer o download dos arquivos, siga estas etapas:

  1. Acesse a página SAP Connectors.
  2. Clique em SAP Java Connector/Tools and Services. Selecione links específicos da plataforma para o download.

  3. Selecione a plataforma em que sua instância do Cloud Data Fusion é executada:

    1. Se você usar imagens Google Cloud padrão para as VMs no cluster, que é o padrão do Cloud Data Fusion, selecione Linux para processadores compatíveis com Intel de 64 bits x86.
    2. Se você usar uma imagem personalizada, selecione a plataforma correspondente.

  4. O Google Cloud administrador precisa copiar os arquivos JCo para um bucket legível do Cloud Storage. Forneça o caminho do bucket ao usuário do Cloud Data Fusion para inseri-lo na propriedade de plug-in correspondente no Cloud Data Fusion: Caminho do GCS para biblioteca SAP JCo. Consulte Configurar o plug-in.

  5. O administrador do Google Cloud precisa conceder acesso de leitura para os dois arquivos à conta de serviço do Cloud Data Fusion para o ambiente de design e a conta de serviço do Dataproc para o ambiente de execução. Para mais informações, consulte Contas de serviço do Cloud Data Fusion.

Configurar o plug-in

O plug-in de origem em lote do hub aberto do SAP BW lê o conteúdo de uma origem de dados do SAP.

Para filtrar os registros, configure as seguintes propriedades para a origem do lote do SAP BW Open Hub.

Os seguintes indicadores são usados para definir os campos:

  • (M): indica que o campo aceita macros
  • (O): campo opcional

Rótulo: rótulo do plug-in na tela.

Básico

Na lista de propriedades a seguir, "(M)" significa que a opção aceita macros e pode ser usada para gerenciar de maneira centralizada as conexões SAP. Por exemplo, é possível usar macros para as propriedades de conexão e definir os valores no ambiente de execução usando parâmetros de execução ou um plug-in Argument Setter.

  • Nome de referência: usado para identificar essa origem de maneira exclusiva para linhagem e anotação de metadados.

  • Usar conexão (botão Liga/Desliga): define se uma conexão existente será usada. Consulte Gerenciar conexões. Se você optar por usar uma conexão existente, não será necessário fornecer detalhes de conexão SAP.

  • Conexão: escolha a conexão a ser usada. Você também pode usar a função de macro ${conn(connection-name)}.

  • Cliente SAP (M): o cliente SAP a ser usado. Por exemplo, 100.

  • Idioma SAP (M): linguagem de logon do SAP. Por exemplo, EN.

  • Tipo de conexão: tipo de conexão SAP: direta ou balanceada por carga. As conexões balanceadas de carga não são compatíveis com a extração baseada em cadeia de processo. Para mais informações, consulte Detalhes de suporte.

    A seleção de um tipo de conexão muda os campos disponíveis.

    Para uma conexão direta, os seguintes campos estão disponíveis:

    • Host do servidor de aplicativos SAP (M): o nome do servidor SAP ou o endereço IP.
    • Número do sistema SAP (M): o número do sistema SAP. Por exemplo, 00.
    • Roteador SAP (M, O): a string do roteador.

    Para uma conexão balanceada de carga, os seguintes campos estão disponíveis:

    • Host do servidor de mensagens SAP (M): o nome do host ou o endereço IP da mensagem SAP.
    • Serviço ou número da porta do SAP Message Server (M): o serviço ou o número da porta do SAP Message Server. Por exemplo, sapms02.
    • ID do sistema SAP (SID) (M): o ID do sistema SAP. Por exemplo, N75.
    • Nome do grupo de logon da SAP (M): o nome do grupo de logon da SAP. Por exemplo, PUBLIC.

  • Usar cadeia de processos (M): este campo contém duas opções.

    Se você ativar a cadeia de processos usando a opção Sim, as seguintes propriedades serão ativadas:

    • Resolver automaticamente erros de PC e DTP: controla o comportamento quando uma execução com falha anterior é identificada. Quando desativado, o plug-in falha no pipeline com erros relevantes. Quando ativado (padrão), o plug-in verifica a cadeia de processos e o status do processo de transferência de dados no SAP. Se algum dos seguintes erros for identificado, o plug-in tentará resolvê-los automaticamente:

    • Data Transfer Process in error state: o plug-in exclui a solicitação anterior

    • Process Chain no estado vermelho com erro previous request status has not been set: o plug-in exclui a solicitação de bloqueio depois de receber o ID da solicitação do registro do Process Chain e tenta executar o PC.

    • Tempo de espera para a notificação de status da cadeia de processos (em minutos) (M, O): aguarda o tempo especificado, em minutos, para que a cadeia de processos conclua o armazenamento temporário de dados e notifique o pipeline para iniciar a extração. Se você especificar 0 ou deixar em branco, o valor será considerado 10 minutos, que é o padrão.

    • Processo em cadeia (M): o nome do processo em cadeia do SAP. Por exemplo, PC_RFC.

    Se você desativar a cadeia de processos usando a opção Não, as seguintes propriedades serão ativadas:

    • Open Hub Destination (M): nome do destino do hub aberto para leitura.
    • ID do pedido (M,O): ID do pedido do processo de transferência de dados já executado.

Credenciais

  • Nome de usuário de logon SAP (M): nome de usuário SAP. Recomendado: se o nome de usuário de logon do SAP mudar periodicamente, use uma macro.
  • Senha de logon SAP (M): senha de usuário SAP. Recomendado: para valores sensíveis, como a senha do usuário, use macros seguras.

Detalhes do SAP JCo

  • ID do projeto do GCP (M): o ID do projeto Google Cloud , que identifica exclusivamente um projeto. Ele pode ser encontrado no painel do Console do Google Cloud.
  • Caminho do GCS da biblioteca SAP JCo (M): o caminho do Cloud Storage que contém os arquivos da biblioteca SAP JCo enviados pelo usuário.
  • Get Schema: clique aqui se quiser que o plug-in gere um esquema com base nos metadados do SAP, com mapeamento automático dos tipos de dados do SAP para os tipos de dados correspondentes do Cloud Data Fusion. A funcionalidade é a mesma do botão Validar.

Para mais informações sobre os certificados do cliente, consulte Como usar certificados de cliente X.509 no servidor de aplicativos SAP NetWeaver para ABAP.

Avançado

  • Número de divisões a serem geradas (M, O): o número de divisões é usado para particionar os dados de entrada. Mais partições aumentam o nível de paralelismo, mas exigem mais recursos e sobrecarga. No caso de um sistema SAP local, se o valor não for especificado na interface, as divisões serão de 50% dos processos de trabalho de diálogo disponíveis no SAP. Caso contrário, as divisões são otimizadas entre o usuário especificado e 50% dos processos de trabalho disponíveis.

    Recomendado: deixe a propriedade em branco, a menos que você conheça as configurações do sistema SAP.

  • Propriedades de conexão SAP adicionais (M, O): defina outras propriedades do SAP JCo que substituem os valores padrão do SAP JCo. Por exemplo, definir jco.destination.pool_capacity = 10 substitui a capacidade padrão do pool de conexões.

    A tabela a seguir lista as propriedades SAP JCo compatíveis:

Propriedade Descrição
jco.destination.peak_limit Número máximo de conexões ativas que podem ser criadas para um destino simultaneamente.
jco.destination.pool_capacity Número máximo de conexões inativas mantidas abertas pelo destino. Um valor de 0 tem o efeito de não haver pool de conexões, ou seja, as conexões são encerradas após cada solicitação.
jco.destination.expiration_time Tempo em ms depois que as conexões mantidas pelo pool interno podem ser fechadas.
jco.destination.expiration_check_period Intervalo em ms em que a linha de execução do verificador de tempo limite verifica a expiração das conexões no pool.
jco.destination.max_get_client_time Tempo máximo em ms para aguardar uma conexão, se o número máximo permitido de conexões for alocado pelo aplicativo.

Comportamento dos modos de extração de dados

O modo de extração de dados é controlado pelas configurações do processo de transferência de dados. O comportamento é diferente ao usar uma cadeia de processos em comparação com um destino de hub aberto.

Ao usar uma cadeia de processos

As configurações no nível do processo de transferência de dados controlam se uma carga completa ou delta é realizada. O ID de solicitação chega como uma notificação da SAP para o plug-in. O plug-in lê os dados de pacotes associados a esse único ID de solicitação.

Ao usar o destino do Open Hub sem um ID de solicitação

Carga total: executar o pipeline pela primeira vez recebe todos os IDs de solicitação disponíveis na tabela do Hub aberto. O plug-in lê os dados de pacote associados a esses IDs de solicitação.

Carga delta: executar o mesmo pipeline na próxima vez extrai todos os IDs de solicitação delta disponíveis, depois do último ID de solicitação extraído. O plug-in lê os dados de pacote associados a esses IDs de solicitação.

Ao usar o destino do Open Hub com o ID da solicitação

Carga total: executar o pipeline pela primeira vez recebe todos os próximos IDs de solicitação disponíveis maiores que o ID de solicitação especificado. O plug-in lê os dados de pacote associados a esses IDs de solicitação.

Carga delta: a execução do mesmo pipeline na próxima vez recupera todos os IDs de solicitação delta disponíveis, depois do último ID de solicitação recuperado. O plug-in lê os dados de pacote associados a esses IDs de solicitação.

Mapeamento de tipo de dados

A tabela a seguir mostra o mapeamento entre os tipos de dados usados no SAP BW e no Cloud Data Fusion.

Tipo de dados BW Tipo ABAP Descrição (SAP) Tipo de dados do Cloud Data Fusion
Numérico
INT1 b Inteiro de 1 byte integer
INT2 s Inteiro de 2 bytes integer
INT4 i Inteiro de 4 bytes integer
INT8 8 Inteiro de 8 bytes long
DEZ p Número no pacote no formato BCD (DEC) decimal
DF16_DEC
DF16_RAW		 a Ponto flutuante decimal de 8 bytes IEEE 754r decimal
DF34_DEC
DF34_RAW		 e Ponto flutuante decimal de 16 bytes IEEE 754r decimal
FLTP f Número de ponto flutuante binário double
Caractere
CHAR
LCHR		 c String de caracteres string
SSTRING
GEOM_EWKB		 string String de caracteres string
STRING string CLOB de string de caracteres bytes
NUMC
ACCP		 n Texto numérico string
Byte
RAW
LRAW		 x Dados binários bytes
RAWSTRING xstring String de bytes BLOB bytes
Data/hora
DATS d Data date
TIMS t Hora time
TIMESTAMP utcl Carimbo de data/hora
Utclong		 timestamp

Validação

Clique em Validar ou Usar esquema.

O plug-in valida as propriedades e gera um esquema com base nos metadados da SAP. Ele mapeia automaticamente os tipos de dados da SAP para os tipos de dados correspondentes do Cloud Data Fusion.

Executar um pipeline de dados

  1. Depois de implantar o pipeline, clique em Configurar.
  2. Selecione Recursos.
  3. Se necessário, altere a CPU do Executor e a Memória com base no tamanho geral dos dados e no número de transformações usadas no pipeline.
  4. Clique em Save.
  5. Para iniciar o pipeline de dados, clique em Executar.

Otimizar o desempenho

Otimizar a configuração do plug-in

Use as propriedades a seguir para um desempenho ideal ao executar o pipeline:

  • Número de divisões a serem geradas nas propriedades do plug-in do Cloud Data Fusion: controla diretamente o paralelismo no lado do Cloud Data Fusion. O mecanismo do ambiente de execução cria o número especificado de partições e conexões SAP enquanto extrai os registros da tabela. Os valores entre 8 e 16 são recomendados, mas é possível aumentar até 32 ou 64 com a configuração apropriada do SAP, alocando recursos de memória apropriados para os processos de trabalho no SAP.

    Se o valor for 0 ou for deixado em branco (recomendado), o sistema vai escolher automaticamente um valor apropriado com base no número de processos de trabalho SAP disponíveis, nos registros a serem extraídos e no tamanho do pacote.

  • Tamanho do pacote nas propriedades do processo de transferência de dados de BW: controla o número de registros de dados presentes em um pacote de dados individual. O valor padrão é 50,000. Aumentar esse valor pode gerar um melhor desempenho, mas um maior uso de recursos. Se você já estiver usando valores mais altos, diminua-os para permitir uma melhor paralelização da extração.

Configurações de recursos do Cloud Data Fusion

Recomendado: use 1 CPU e 4 GB de memória por executor. Esse valor se aplica a cada processo de executor. Defina esses valores na caixa de diálogo Configurar > Recursos.

Configurações de cluster do Dataproc

Recomendado: no mínimo, aloque um total de CPUs entre os workers maior que o número pretendido de divisões. Consulte Configuração do plug-in.

Por exemplo, se você tiver 16 divisões, defina 20 ou mais CPUs no total, em todos os workers. Há uma sobrecarga de 4 CPUs usadas para coordenação.

Recomendado: use um cluster permanente do Dataproc para reduzir o tempo de execução do pipeline de dados. Isso elimina a etapa de provisionamento, que pode levar alguns minutos ou mais. Faça isso na seção de configuração do Compute Engine.

Detalhes do suporte

Produtos e versões do SAP compatíveis

Origens compatíveis:

  • SAP NW BW 7.5 e versões mais recentes
  • SAP BW4HANA 2.0 SP9 (para incluir a API Open Hub Destination; as versões anteriores do BW4HANA não oferecem suporte à API Open Hub Destination)

Suporte para conexão SAP com balanceamento de carga (servidor de mensagens)

A conexão SAP balanceada de carga (servidor de mensagens) é compatível com a extração baseada na destinação do hub aberto, em que um servidor RFC não é usado.

A conexão balanceada de carga do SAP (servidor de mensagens) não é compatível com a extração baseada na cadeia de processos. O motivo é uma limitação do SAP ao fornecer notificação data ready ao sistema do cliente, que exige o registro do servidor RFC (ouvinte de plug-in) em cada servidor SAP no ambiente BW, aumentando a pegada do conector e potencialmente afetando o desempenho do SAP e o uso de recursos. Para mais informações, consulte a Nota SAP 2572564 (é necessário fazer login no suporte da SAP para visualizar).

Modelos de implantação SAP compatíveis

O plug-in foi testado com servidores SAP implantados em Google Cloud.

Objetos SAP com suporte

Origens de dados para o destino do Open Hub: InfoProviders (InfoObject, InfoCube, DataStore Object, Advanced Data Store Object, Composite Provider)

Processar cadeias para executar automaticamente o processo de transferência de dados no destino do hub aberto.

Licença separada para usar o Oracle HTTP Server para extrair dados do SAP

Você não precisa de uma licença separada para usar o Oracle HTTP Server (OHS) para extrair dados do SAP. No entanto, verifique com o representante da SAP sobre seu contrato e caso de uso específico.

Capacidade esperada do plug-in

Para um ambiente configurado de acordo com as diretrizes da seção Otimizar o desempenho, o plug-in pode extrair cerca de 38 GB por hora. O desempenho real pode variar de acordo com a carga do sistema do Cloud Data Fusion e do SAP ou tráfego de rede.

A seguir