Origem em lote do SAP BW Open Hub

Neste guia, descrevemos como implantar, configurar e executar pipelines de dados que usam o plug-in de origem em lote do SAP BW Open Hub. É possível usar o SAP como fonte para extração de dados baseada em lote e em delta no Cloud Data Fusion por meio do serviço Open Hub da BW.

Esse plug-in permite a integração de dados em massa de aplicativos SAP com o Cloud Data Fusion. É possível configurar e executar transferências de dados em massa do DataSourcesdo SAP sem programação.

Para aplicativos e objetos SAP compatíveis com extração, consulte Detalhes de suporte. Para mais informações sobre como executar o SAP no Google Cloud, consulte Visão geral do SAP no Google Cloud.

Objetivos

• Configurar o sistema SAP BW.
• Implante o plug-in no ambiente do Cloud Data Fusion.
• Faça o download do transporte SAP do Cloud Data Fusion e instale-o no SAP.
• Use o Cloud Data Fusion e a fonte em lote do SAP BW Open Hub para criar pipelines de dados e integrar dados SAP.

Antes de começar

Para usar esse plug-in, você precisa ter conhecimento do domínio nas seguintes áreas:

• Criação de pipelines no Cloud Data Fusion
• Como configurar sistemas SAP BW ou BW4HANA

Papéis do usuário

As tarefas nesta página são realizadas por pessoas com os seguintes papéis no Google Cloud ou no sistema SAP:

Tipo de usuário	descrição;
Administrador do Google Cloud	Os usuários atribuídos a esse papel são administradores de contas do Google Cloud.
Usuário do Cloud Data Fusion	Os usuários atribuídos a esse papel estão autorizados a projetar e executar pipelines de dados. Eles recebem, no mínimo, o papel de leitor do Data Fusion ( roles/datafusion.viewer). Se estiver usando o controle de acesso baseado em papéis, talvez sejam necessários outros papéis.
Administrador do SAP	Os usuários atribuídos a essa função são administradores do sistema SAP. Eles têm acesso para fazer o download de softwares do site de serviços da SAP. Não é um papel do IAM.
Usuário SAP	Os usuários atribuídos a esse papel estão autorizados a se conectar a um sistema SAP. Não é um papel do IAM.

Pré-requisitos para o SAP BW

Você precisa do SAP HANA Studio para criar e editar cadeias de processos e processos de transferência de dados.

Pré-requisitos do Cloud Data Fusion

• Uma rede VPC é necessária para a criação de instâncias do Cloud Data Fusion.
• É necessário ter uma instância do Cloud Data Fusion versão 6.8.0 ou posterior, de qualquer edição.
• Os papéis necessários precisam ser concedidos à conta de serviço atribuída à instância do Cloud Data Fusion. Para mais informações, consulte Como conceder permissão de usuário à conta de serviço.
• Use uma conexão de peering entre sua VPC e a rede VPC compartilhada do Google.

Configurar o sistema SAP BW

A origem em lote do SAP BW Open Hub usa um módulo de função remota (RFM, na sigla em inglês), que precisa ser instalado em cada servidor SAP em que os dados são extraídos. Esse RFM é enviado como um transporte SAP.

Para configurar seu sistema SAP, siga estas etapas:

1. O usuário do Cloud Data Fusion precisa fazer o download do arquivo ZIP que contém o transporte da SAP e fornecê-lo ao administrador da SAP. Para mais informações, consulte Configurar o Cloud Data Fusion.
2. O administrador do SAP precisa importar o transporte SAP para o sistema SAP e verificar os objetos criados. Para mais informações, consulte Instalar o transporte SAP.
3. Opcional: o usuário SAP pode modificar os objetos de autorização padrão do SAP do papel /GOOG/BWOH_CDF_AUTH entregue com base nas políticas de segurança da organização.

Instale os arquivos de transporte SAP

Para projetar e executar pipelines de dados no Cloud Data Fusion, os componentes do SAP são entregues em arquivos de transporte SAP, que são arquivados em um arquivo ZIP. O download estará disponível quando você implantar o plug-in no Hub do Cloud Data Fusion.

Fazer o download do arquivo ZIP de transporte do SAP BW OH

Os IDs de solicitação de transporte SAP e os arquivos associados são fornecidos na tabela a seguir:

Transporte SAP

ID do transporte	Cofile	Arquivo de dados	Conteúdo
BW1K900054	K900054.BW1	R900054.BW1	Conector BWOH do Cloud Data Fusion versão 1.0 Módulos de função: /GOOG/BWOH_GET_PC_LOG /GOOG/BWOH_GET_PRO_CHA_DETAILS /GOOG/BWOH_API_OHS_ETL_READ /GOOG/BWOH_GET_PC_RUNS /GOOG/BWOH_SET_LAST_RUN /GOOG/BWOH_GET_PC_OHD_LIST
BW1K900055	K900055.BW1	R900055.BW1	Papel de autorização /GOOG/BWOH_CDF_AUTH

Para instalar o transporte SAP, siga estas etapas:

Etapa 1: fazer upload dos arquivos de solicitação de transporte

1. Faça login no sistema operacional da instância SAP.
2. Use o código de transação SAP AL11 para ver o caminho da pasta DIR_TRANS. Normalmente, o caminho é /usr/sap/trans/.
3. Copie os arquivos compartilhados para a pasta DIR_TRANS/cofiles.
4. Copie os arquivos de dados para a pasta DIR_TRANS/data.
5. Defina o usuário e o grupo de dados e o coarquivo como <sid>adm e sapsys.

Etapa 2: importar os arquivos de solicitação de transporte

O administrador da SAP pode importar os arquivos de solicitação de transporte usando uma das seguintes opções:

Opção 1: importar os arquivos de solicitação de transporte usando o sistema de gerenciamento de transporte SAP

1. Faça login no sistema SAP como administrador da SAP.
2. Digite o STMS da transação.
3. Clique em Visão geral > Importações.
4. Na coluna "Fila", clique duas vezes no SID atual.
5. Clique em Extras > Outras solicitações > Adicionar.
6. Selecione o ID da solicitação de transporte e clique em Continuar.
7. Selecione a solicitação de transporte na fila de importação e clique em Solicitar > Importar.
8. Digite o número do cliente.

9. Na guia Opções, selecione Substituir originais e Ignorar versão do componente inválida.

   Opcional: selecione Deixar solicitações de transporte na fila para importação posterior. Isso faz com que as solicitações sejam importadas novamente na ordem correta com a próxima importação de todas as solicitações. Essa opção é útil se você tiver que fazer importações preliminares para solicitações individuais.

10. Clique em Continuar.

11. Verifique se o módulo de função e os papéis de autorização foram importados com êxito usando as transações apropriadas, como SE80 e PFCG.

Opção 2: importar os arquivos de solicitações de transporte no nível do sistema operacional

1. Faça login no sistema SAP como administrador da SAP.

2. Adicione as solicitações apropriadas ao buffer de importação:

   tp addtobuffer TRANSPORT_REQUEST_ID SID
   

   Por exemplo: tp addtobuffer BW1K900054 DD1

3. Importe as solicitações de transporte:

   tp import TRANSPORT_REQUEST_ID SID client=NNN U1238
   

   Substitua NNN pelo número do cliente. Exemplo:

   tp import BW1K900054 DD1 client=100 U1238
   

   Observação: U1238 indica a definição das opções descritas na etapa 9 da Opção 1. Os números indicam o número da ordem de opções correspondente na GUI do SAP, que pode variar de acordo com o sistema. Os números precisam ser ajustados pelo administrador do SAP.

4. Verifique se o módulo da função e os papéis de autorização foram importados com êxito usando as transações apropriadas, como SE80 e PFCG.

Autorizações SAP necessárias

Para executar um pipeline de dados no Cloud Data Fusion, você precisa de um usuário SAP. O usuário SAP precisa ser dos tipos Communications ou Dialog. Para evitar o uso de recursos da caixa de diálogo do SAP, o tipo Communications é recomendado. O administrador do SAP pode criar usuários utilizando o código de transação SAP SU01.

As autorizações SAP são necessárias para configurar o conector para SAP. Os objetos de autorização SAP específicos do conector são enviados como parte da solicitação de transporte. Importe o transporte de papel de autorização conforme descrito em Instalar o transporte SAP para trazer o papel para seu sistema e gerá-lo a partir do código de transação do PFCG.

Para objetos de autorização padrão do SAP, sua organização gerencia permissões com o próprio mecanismo de segurança. É possível manter objetos de autorização com base nas políticas de segurança da sua organização.

Criar uma cadeia de processos (PC) e um processo de transferência de dados (DTP)

Criar uma cadeia de processos e um processo de transferência de dados requer algumas habilidades adicionais e conhecimento prévio.

Conceitos básicos

• Cadeia de processos (PC)
• Processo de transferência de dados (DTP)

Para criar ou editar um PC e um DTP, use o SAP HANA Studio.

Habilidades de pré-requisito

• Você usou transformações para definir o fluxo de dados entre a origem e o objeto de destino.
• Você tem experiência com conceitos básicos de BW e HANA, como objetos DataStore (DSO), transformações de dados, InfoCubes, otimização de consulta, modelagem do HANA e recursos do HANA DB usando o HANA Studio. Para mais informações sobre esses conceitos, consulte os tutoriais do SAP sobre BW e HANA.

Tipo de extração

Há dois modos de extração de dados para um processo de transferência de dados: completo e delta.

• Full: seleciona todos os dados disponíveis na origem com base nas condições de filtro mencionadas no DTP. Se a origem dos dados for um dos InfoProviders abaixo, somente o modo de extração completo estará disponível:

  • InfoObjects
  • InfoSets
  • Objetos DataStore para atualização direta

• Delta: diferente do InfoPackage, a transferência delta usando um DTP não requer uma inicialização explícita. Quando um DTP é executado com o modo de extração Delta pela primeira vez, todas as solicitações existentes até o momento da extração são recuperadas da origem. Em seguida, o delta é inicializado automaticamente.

  As seguintes opções estão disponíveis para um DTP com o modo de extração Delta:

  • Receber o Delta apenas uma vez
  • Receber todas as novas solicitações de dados
  • Recuperar até que não haja mais dados novos

Tamanho do pacote: é o número de registros de dados presentes em um pacote de dados individual. O valor padrão é 50,000.

Criar uma cadeia de processos

Para criar uma cadeia de processos (PC), use o RSPC da transação na GUI do SAP. Defina um processo de início e adicione as etapas e o DTP. Para mais informações, consulte a documentação da SAP sobre Como criar cadeias de processos (em inglês).

Várias opções estão disponíveis no HANA Studio para monitorar e administrar PCs. Para mais informações, consulte Operações da cadeia de processos do SAP BW/4HANA.

Criar um processo de transferência de dados usando uma cadeia de processos

Acesse a visualização Planejamento da cadeia de processos que você quer usar para o processo de transferência de dados. Na visualização Planning, é possível criar o DTP usando o HANA Studio. Para mais informações, consulte a documentação da SAP sobre Como criar um processo de transferência de dados (em inglês).

Para mais informações sobre as opções de configuração, consulte Tudo sobre o processo de transferência de dados (DTP, na sigla em inglês) – SAP BW 7 (em inglês).

Conexão RFC

Para notificar o sistema de callback, como o plug-in de origem em lote do SAP BW Open Hub, que os dados estão disponíveis, a cadeia de processos precisa ser atualizada para usar um destino RFC:

1. No SM59, crie uma conexão RFC do tipo TCP/IP Connections para notificar o sistema de destino do BW quando o carregamento de dados for concluído no BI.

2. Verifique se o ID do programa está configurado na conexão RFC clicando duas vezes nela. O ID do programa precisa ser exclusivo para cada destino RFC para evitar conflitos de listener no momento da execução.

   Observação :o teste de conexão de destino RFC termina com TP PROGRAM ID not registered. Isso é esperado porque a conexão RFC só funciona durante a execução de um pipeline, ou seja, quando o Cloud Data Fusion registra o Program ID com o SAP Gateway.

3. Use a conexão TCP/IP recém-criada na cadeia de processos para enviar notificações para que um job em lote do Cloud Data Fusion seja concluído. O nome da cadeia de processos não diferencia maiúsculas de minúsculas. Ele precisa ser especificado corretamente, em maiúsculas, no processo de integração de ponta a ponta.

Exibir os registros das cadeias de processo e dos processos de transferência de dados

1. Acesse Tcode : RSPC e clique em Process Chains.

2. Clique com o botão direito do mouse na cadeia de processos em que você quer exibir registros e clique em Exibir registros.

Configurar o cluster do Dataproc ao usar a cadeia de processos

Observação: isso se aplica apenas ao usar a extração baseada na cadeia de processos, não a extração baseada no destino de hub aberto.

Para ativar a comunicação pelo servidor RFC, adicione as entradas da porta do Gateway SAP no arquivo /etc/services nos nós do cluster do Dataproc. É recomendável usar um init action, o script a ser executado quando o cluster é inicializado. Para mais informações, consulte Ações de inicialização.

Crie um arquivo de script e salve-o em um bucket do Cloud Storage. O exemplo a seguir mostra o conteúdo do arquivo de script:

gs://cdf-sap-dependent-files/addgw.sh
#!/bin/bash
echo 'sapgw00 3300/tcp' >> /etc/services
echo 'sapgw01 3301/tcp' >> /etc/services
echo 'sapgw02 3302/tcp' >> /etc/services
echo 'sapgw03 3303/tcp' >> /etc/services
echo 'sapgw04 3304/tcp' >> /etc/services

No exemplo anterior, observe o seguinte:

• As entradas estão no formato sapgwxx 33xx/tcp, em que XX é o número da instância do SAP.

• As portas para instâncias SAP de 00 a 04 foram adicionadas.

Siga as etapas abaixo se estiver usando um cluster temporário, permanente ou recém-criado do Dataproc.

Cluster temporário do Dataproc

Se você estiver usando um cluster temporário do Dataproc, adicione o caminho do script init às propriedades do cluster:

1. No monitor de jobs, na página do pipeline no Cloud Data Fusion, clique em Configurar.
2. Selecione o perfil do Compute e clique em Personalizar.
3. Em Configurações avançadas, no campo Ações de inicialização, insira o caminho para o script init.

Novo cluster permanente do Dataproc

Se você estiver usando um cluster permanente do Dataproc recém-criado, use o script init no comando gcloud para criar o cluster. Exemplo:

gcloud dataproc clusters create cluster-name \
  --region=${REGION} \
  --initialization-actions=gs://cdf-sap-dependent-files/addgw.sh \
  ... other flags ...

Cluster persistente atual do Dataproc

Se você estiver usando um cluster permanente do Dataproc, siga estas etapas:

Se o cluster já tiver sido criado sem usar o script init, adicione as entradas manualmente nos nós mestre e de trabalho do cluster do Dataproc.

1. SSH para o nó mestre e de cluster.
2. Faça login no ID do usuário raiz.
3. Navegue até /etc/ e abra o arquivo /etc/services em um editor de VI.
4. Adicione a entrada sapgwxx 33xx/tcp. Substitua xx pelo número da instância do SAP.
5. Salve o arquivo /etc/services.

Configurar o Cloud Data Fusion

O usuário do Cloud Data Fusion e o administrador do Google Cloud realizam as tarefas nesta seção.

Verifique se a comunicação está ativada entre a instância do Cloud Data Fusion e o servidor SAP. Para instâncias particulares, configure o peering de rede. Depois que o peering de rede for estabelecido com o projeto em que os sistemas SAP estão hospedados, nenhuma outra configuração será necessária para se conectar à instância do Cloud Data Fusion. O sistema SAP e a instância do Cloud Data Fusion precisam estar dentro do mesmo projeto.

Etapas para usuários do Cloud Data Fusion

1. Acesse os detalhes da instância:

   1. No console do Google Cloud, acesse a página do Cloud Data Fusion.

   2. Clique em Instâncias e no nome da instância para acessar a página Detalhes da instância.

      Acesse "Instâncias"

2. Verifique se a instância foi atualizada para a versão 6.8.0 ou posterior. Se a instância estiver em uma versão anterior, faça o upgrade dela.
3. Abra a instância. Na IU do Cloud Data Fusion, clique em Hub.
4. Selecione a guia SAP > SAP BW. Se a guia "SAP" não estiver visível, consulte Como solucionar problemas de integrações do SAP.
5. Clique em Deploy SAP BW Plugin. O plug-in aparece no menu Source na página do Studio.

Etapas para administradores do SAP e do Google Cloud

O administrador do SAP faz o download dos seguintes artefatos do JCo no site de suporte do SAP e os fornece ao Google Cloud Admin.

• Uma plataforma independente (sapjco3.jar)
• Uma dependente de plataforma (libsapjco3.so em Unix)

Observação: a versão mínima da JCo compatível é 3.0.20.

Para fazer o download dos arquivos, siga estas etapas:

1. Acesse a página do SAP Connectors.
2. Clique em SAP Java Connector/Tools and Services. Selecione links específicos da plataforma para o download.

3. Selecione a plataforma em que sua instância do Cloud Data Fusion é executada:

   1. Se você usar imagens padrão do Google Cloud para as VMs no cluster, que é o padrão para o Cloud Data Fusion, selecione Linux para processadores compatíveis com Intel de 64 bits e x86.
   2. Se você usar uma imagem personalizada, selecione a plataforma correspondente.

4. O administrador do Google Cloud precisa copiar os arquivos JCo para um bucket legível do Cloud Storage. Forneça o caminho do bucket ao usuário do Cloud Data Fusion para inseri-lo na propriedade do plug-in correspondente no Cloud Data Fusion: Caminho do GCS da biblioteca SAP JCo. Consulte Configurar o plug-in.

5. O administrador do Google Cloud precisa conceder acesso de leitura para os dois arquivos à conta de serviço do Cloud Data Fusion para o ambiente de design e a conta de serviço do Dataproc para o ambiente de execução. Para mais informações, consulte Contas de serviço do Cloud Data Fusion.

Configurar o plug-in

O plug-in de origem em lote do SAP BW Open Hub lê o conteúdo de um SAP DataSource.

Para filtrar os registros, é possível configurar as propriedades a seguir para a origem em lote de hub aberto do SAP BW.

Os seguintes indicadores são usados para definir os campos:

• (M): indica que as macros são compatíveis com o respectivo campo.
• (O): campo opcional

Rótulo: rótulo do plug-in na tela.

Básico

Na lista de propriedades a seguir, (M) significa que a opção oferece suporte a macros, e elas podem ser usadas para gerenciar centralmente as conexões SAP. Por exemplo, é possível usar macros para as propriedades de conexão e definir os valores no ambiente de execução usando parâmetros de ambiente de execução ou um plug-in Argument Setter.

• Nome de referência: nome usado para identificar exclusivamente essa fonte para metadados de linhagem e anotação.

• Usar conexão (alternar Ativar/Desativar): se é necessário usar uma conexão já existente. Consulte Gerenciar conexões. Se você optar por usar uma conexão atual, não precisará fornecer nenhum detalhe de conexão SAP.

  Observação :só há suporte para destinos BW OH que tenham um DTP e um PC.

• Conexão (procurar conexões): escolha a conexão existente a ser usada. Também é possível usar a função de macro ${conn(connection-name)}.

• Cliente SAP (M): o cliente SAP a ser usado. Por exemplo, 100.

• Linguagem SAP (M): linguagem de login SAP. Por exemplo, EN.

• Tipo de conexão: tipo de conexão SAP: direta ou com balanceamento de carga. Conexões com carga balanceada não são compatíveis com a extração baseada na cadeia de processos. Para mais informações, consulte Detalhes do suporte.

  Selecionar um tipo de conexão altera os campos disponíveis.

  Para uma conexão direta, os seguintes campos estão disponíveis:

  • Host do servidor de aplicativos SAP (M): o nome do servidor ou o endereço IP do SAP.
  • Número do sistema SAP (M): o número do sistema SAP. Por exemplo, 00.
  • Roteador SAP (M, O): a string do roteador.

  Para uma conexão com a carga balanceada, os seguintes campos estão disponíveis:

  • Host do servidor de mensagens do SAP (M): o nome do host ou o endereço IP da mensagem SAP.
  • Serviço ou número de porta do SAP Message Server (M): o serviço ou o número da porta do servidor de mensagens SAP. Por exemplo, sapms02.
  • ID do sistema (SID) SAP (M): o ID do sistema SAP. Por exemplo, N75.
  • Nome do grupo de logon do SAP (M): o nome do grupo de logon do SAP. Por exemplo, PUBLIC.

• Use Process Chain (M): este campo contém duas opções.

  Se você ativar a cadeia de processos usando a opção Yes, as seguintes propriedades serão ativadas:

  • Resolver automaticamente erros de PC e DTP: controla o comportamento quando uma execução com falha anterior é identificada. Quando desativado, o plug-in causa uma falha no pipeline com erros relevantes. Quando ativado (padrão), o plug-in verifica a cadeia de processos e o status do processo de transferência de dados no SAP. Se algum dos erros abaixo for identificado, o plug-in vai tentar resolvê-lo automaticamente:

  • Data Transfer Process in error state: o plug-in exclui a solicitação anterior.

  • Cadeia de processos no estado vermelho com o erro previous request status has not been set: o plug-in exclui a solicitação de bloqueio depois de receber o ID do registro da cadeia de processos e tenta executar o PC.

  • Tempo de espera da notificação do status da cadeia de processo (em minutos) (M, O): aguarda o tempo especificado, em minutos, para que a cadeia de processos conclua o preparo de dados e notifique o pipeline para iniciar a extração. Se você especificar 0 ou deixar em branco, o valor será usado como 10 minutos, que é o padrão.

  • Process Chain (M): o nome da SAP Process Chain. Por exemplo, PC_RFC.

  Se você desativar a cadeia de processos usando a opção No, as seguintes propriedades serão ativadas:

  • Abrir destino do hub (M): abre o nome do destino do hub para leitura.
  • ID da solicitação (M,O): ID da solicitação para o processo de transferência de dados já executado.

Credenciais

• Nome de usuário de logon do SAP (M): nome de usuário SAP. Recomendado: se o nome de usuário de logon SAP for alterado periodicamente, use uma macro.
• Senha de logon SAP (M): senha do usuário SAP. Recomendado: para valores confidenciais, como Senha do usuário, use macros seguras.

Detalhes do SAP JCo

• ID do projeto do GCP (M): o ID do projeto do Google Cloud, que identifica exclusivamente um projeto. Ele pode ser encontrado no painel do console do Google Cloud.
• Caminho GCS da biblioteca JCo do SAP (M): o caminho do Cloud Storage que contém os arquivos da biblioteca SAP JCo enviados pelo usuário.
• Receber esquema: clique nessa opção se quiser que o plug-in gere um esquema com base nos metadados do SAP, com mapeamento automático dos tipos de dados SAP para os tipos de dados correspondentes do Cloud Data Fusion. A funcionalidade dele é igual à do botão Validar.

Para mais informações sobre os certificados do cliente, consulte Como usar certificados do cliente X.509 no SAP NetWeaver Application Server para ABAP.

Avançado

• Número de divisões a serem geradas (M, O): o número de divisões é usado para particionar os dados de entrada. Mais partições aumentam o nível de paralelismo, mas exigem mais recursos e sobrecarga. No caso de um sistema SAP no local, se o valor não for especificado na UI, as divisões representarão 50% dos processos de trabalho da caixa de diálogo disponíveis no SAP. Caso contrário, as divisões serão otimizadas entre o especificado pelo usuário e 50% dos processos de trabalho disponíveis.

  Observação: essa propriedade controla o paralelismo no lado do Cloud Data Fusion. O mecanismo de ambiente de execução cria o número especificado de partições e conexões SAP enquanto extrai os registros.

  Recomendado: deixe a propriedade em branco, a menos que você conheça as configurações do sistema SAP.

• Propriedades de conexão SAP adicionais (M, O): defina outras propriedades do SAP JCo que substituem os valores padrão do SAP JCo. Por exemplo, definir jco.destination.pool_capacity = 10 substitui a capacidade padrão do pool de conexão.

  A tabela a seguir lista as propriedades compatíveis do SAP JCo:

  Propriedade	Descrição
  jco.destination.peak_limit	Número máximo de conexões ativas que podem ser criadas para um destino simultaneamente.
  jco.destination.pool_capacity	Número máximo de conexões inativas mantidas abertas pelo destino. Um valor de 0 tem o efeito de que não há pooling de conexões, ou seja, as conexões serão encerradas após cada solicitação.
  jco.destination.expiration_time	Tempo em ms depois disso, as conexões retidas pelo pool interno podem ser fechadas.
  jco.destination.expiration_check_period	Intervalo em ms em que a linha de execução do verificador de tempo limite verifica a expiração das conexões no pool.
  jco.destination.max_get_client_time	Tempo máximo em ms para aguardar uma conexão, se o número máximo permitido de conexões for alocado pelo aplicativo.

Comportamento dos modos de extração de dados

O modo de extração de dados é controlado pelas configurações do processo de transferência de dados. O comportamento é diferente ao usar uma cadeia de processos e um destino de hub aberto.

Ao usar uma cadeia de processos

As configurações no nível do processo de transferência de dados controlam se uma carga completa ou delta é realizada. O ID da solicitação chega ao plug-in como uma notificação da SAP. O plug-in lê os dados do pacote associados a esse ID de solicitação único.

Ao usar o destino de hub aberto sem ID de solicitação

Observação :só há suporte para destinos BW OH que tenham um DTP e um PC.

Carga completa: a execução do pipeline pela primeira vez recebe todos os IDs de solicitação disponíveis na tabela do Open Hub. O plug-in lê os dados do pacote associados a esses IDs de solicitação.

Carga delta: executar o mesmo pipeline na próxima vez busca todos os IDs de solicitação delta disponíveis, após o último ID da solicitação buscado. O plug-in lê dados de pacote associados a esses IDs de solicitação.

Ao usar o destino de hub aberto com o ID da solicitação

Observação :só há suporte para destinos BW OH que tenham um DTP e um PC.

Carregamento completo: executar o pipeline pela primeira vez faz com que todos os próximos IDs de solicitação disponíveis sejam maiores que o ID da solicitação especificado. O plug-in lê os dados do pacote associados a esses IDs de solicitação.

Delta Load: executar o mesmo pipeline na próxima vez busca todos os IDs de solicitação delta disponíveis após o último ID da solicitação buscado. O plug-in lê dados de pacote associados a esses IDs de solicitação.

Mapeamento de tipo de dados

A tabela a seguir mostra o mapeamento entre os tipos de dados usados no SAP BW e no Cloud Data Fusion.

Tipo de dados BW	Tipo ABAP	Descrição (SAP)	Tipo de dados do Cloud Data Fusion
Numérico
INT1	b	Inteiro de 1 byte	integer
INT2	s	Inteiro de 2 bytes	integer
INT4	i	Inteiro de 4 bytes	integer
INT8	8	Inteiro de 8 bytes	long
DEZ	p	Número no pacote no formato BCD (DEC)	decimal
DF16_DEC DF16_RAW	a	Ponto flutuante decimal de 8 bytes IEEE 754r	decimal
DF34_DEC DF34_RAW	e	Ponto flutuante decimal de 16 bytes IEEE 754r	decimal
FLTP	f	Número de ponto flutuante binário	double
Caractere
CARACTER LCHR	c	String de caracteres	string
SSTRING GEOM_EWKB	string	String de caracteres	string
STRING	string	CLOB de string de caracteres	bytes
NUMC ACCP	n	Texto numérico	string
Byte
RAW LRAW	x	Dados binários	bytes
RAWSTRING	xstring	String de bytes BLOB	bytes
Data/hora
DATS	d	Data	date
TIMS	t	Tempo	time
TIMESTAMP	utcl	Indicação de data e hora Utclong	timestamp

Validação

Clique em Validar ou Ver esquema.

O plug-in valida as propriedades e gera um esquema com base nos metadados da SAP. Ele mapeia automaticamente os tipos de dados do SAP para os tipos de dados correspondentes do Cloud Data Fusion.

Executar um pipeline de dados

1. Depois de implantar o pipeline, clique em Configurar.
2. Selecione Recursos.
3. Se necessário, altere a CPU do Executor e a Memória com base no tamanho geral dos dados e no número de transformações usadas no pipeline.
4. Clique em Salvar.
5. Para iniciar o pipeline de dados, clique em Executar.

Otimizar o desempenho

Otimizar a configuração do plug-in

Use as propriedades a seguir para um desempenho ideal ao executar o pipeline:

• Número de divisões a serem geradas nas propriedades do plug-in do Cloud Data Fusion: isso controla diretamente o paralelismo no Cloud Data Fusion. O mecanismo de ambiente de execução cria o número especificado de partições e conexões SAP ao extrair os registros da tabela. Valores entre 8 e 16 são recomendados, mas é possível aumentar até 32 ou 64 com a configuração apropriada no lado do SAP, alocando recursos de memória adequados para os processos de trabalho em SAP.

  Se o valor for 0 ou deixado em branco (recomendado), o sistema escolherá automaticamente um valor apropriado com base no número de processos de trabalho SAP disponíveis, nos registros a serem extraídos e no tamanho do pacote.

• Package Size nas propriedades do processo de transferência de dados BW: controla o número de registros de dados presentes em um pacote individual. O valor padrão é 50,000. Aumentar esse valor pode melhorar o desempenho, mas aumentar a carga de recursos. Se você já estiver usando valores mais altos, diminua-os para permitir um melhor carregamento em paralelo da extração.

Configurações de recursos do Cloud Data Fusion

Recomendado: use 1 CPU e 4 GB de memória por executor. Esse valor se aplica a cada processo de executor. Defina esses valores na caixa de diálogo Configure > Resources.

Configurações de cluster do Dataproc

Recomendado: aloque pelo menos um total de CPUs entre os workers, maior que o número pretendido de divisões. Consulte Configuração de plug-in.

Por exemplo, se você tiver 16 divisões, defina 20 ou mais CPUs no total em todos os workers. Há uma sobrecarga de quatro CPUs usadas para coordenação.

Recomendado: use um cluster permanente do Dataproc para reduzir o ambiente de execução do pipeline de dados. Isso elimina a etapa de provisionamento, que pode levar alguns minutos ou mais. Faça isso na seção de configuração do Compute Engine.

Detalhes do suporte

Produtos e versões SAP compatíveis

Origens compatíveis:

• SAP NW BW 7.5 e posterior
• SAP BW4HANA 2.0 SP9 (para incluir a API Open Hub Destination. As versões anteriores do BW4HANA não são compatíveis com a API Open Hub Destination)

Suporte para conexão com balanceamento de carga do SAP (servidor de mensagens)

A conexão com balanceamento de carga SAP (servidor de mensagens) é compatível com a extração baseada no destino de hub aberto, em que um servidor RFC não é usado.

A conexão com balanceamento de carga SAP (servidor de mensagens) não é compatível com a extração baseada na cadeia de processos. O motivo é uma limitação do SAP ao fornecer uma notificação data ready ao sistema cliente, o que exige o registro do servidor RFC (listener de plug-in) em cada SAP Server no cenário BW, aumentando o espaço ocupado do conector e possivelmente afetando o desempenho do SAP e o uso de recursos. Para mais informações, consulte a Nota SAP 2572564 (em inglês). É necessário fazer login no suporte da SAP para visualizar.

Modelos de implantação SAP com suporte

O plug-in é testado com servidores SAP implantados no Google Cloud.

Objetos SAP compatíveis

Fontes de dados para o destino do Open Hub: InfoProviders (InfoObject, InfoCube, objeto DataStore, objeto de armazenamento de dados avançado, Provedor composto)

Cadeias de processo para executar automaticamente o processo de transferência de dados no destino de hub aberto.

Licença separada para usar o Oracle HTTP Server para extrair dados do SAP

Você não precisa de uma licença separada para usar o Oracle HTTP Server (OHS) para extrair dados da SAP. No entanto, verifique com seu representante SAP sobre seu contrato e caso de uso específico.

Capacidade esperada do plug-in

Para um ambiente configurado de acordo com as diretrizes em Otimizar o desempenho, o plug-in pode extrair cerca de 38 GB por hora. O desempenho real pode variar de acordo com a carga do sistema ou o tráfego de rede do Cloud Data Fusion e SAP.

A seguir

• Saiba mais sobre o Cloud Data Fusion.
• Saiba mais sobre Go no Google Cloud.