Origem de lote do SAP BW Open Hub

Este guia descreve como implementar, configurar e executar pipelines de dados que usam o plug-in de origem em lote do SAP BW Open Hub. Pode usar o SAP como origem para a extração de dados baseada em lotes e em deltas no Cloud Data Fusion através do BW Open Hub Service.

Este plug-in permite a integração de dados em massa de aplicações SAP com o Cloud Data Fusion. Pode configurar e executar transferências de dados em massa a partir de DataSources do SAP sem programação.

Para ver as aplicações e os objetos SAP suportados para extração, consulte os detalhes de apoio técnico. Para mais informações sobre a execução do SAP no Google Cloud, consulte o resumo do SAP no Google Cloud.

Objetivos

• Configure o sistema SAP BW.
• Implemente o plug-in no seu ambiente do Cloud Data Fusion.
• Transfira o transporte SAP do Cloud Data Fusion e instale-o no SAP.
• Use o Cloud Data Fusion e a origem em lote do SAP BW Open Hub para criar pipelines de dados para integrar dados SAP.

Antes de começar

Para usar este plug-in, precisa de conhecimentos do domínio nas seguintes áreas:

• Criar pipelines no Cloud Data Fusion
• Configurar sistemas SAP BW ou BW4HANA

Funções do utilizador

As tarefas nesta página são realizadas por pessoas com as seguintes funções no Google Cloud ou no respetivo sistema SAP:

Tipo de utilizador	Descrição
Administrador do Google Cloud	Os utilizadores aos quais esta função é atribuída são administradores de contas do Google Cloud.
Utilizador do Cloud Data Fusion	Os utilizadores aos quais esta função é atribuída estão autorizados a conceber e executar Data pipelines. No mínimo, é-lhes concedida a função de visitante do Data Fusion ( roles/datafusion.viewer). Se estiver a usar o controlo de acesso baseado em funções, pode precisar de funções adicionais.
Administrador SAP	Os utilizadores aos quais esta função é atribuída são administradores do sistema SAP. Têm acesso à transferência de software a partir do site de serviços da SAP. Não é uma função de IAM.
Utilizador do SAP	Os utilizadores aos quais esta função é atribuída estão autorizados a estabelecer ligação a um sistema SAP. Não é uma função de IAM.

Pré-requisitos para o SAP BW

Precisa do SAP HANA Studio para criar e editar processos de transferência de dados e cadeias de processos.

Pré-requisitos para o Cloud Data Fusion

• É necessária uma rede da VPC para a criação da instância do Cloud Data Fusion.
• É necessária uma instância do Cloud Data Fusion, versão 6.8.0 ou posterior, em qualquer edição.
• As funções necessárias têm de ser concedidas à conta de serviço atribuída à instância do Cloud Data Fusion. Para mais informações, consulte o artigo Conceder autorização de utilizador à conta de serviço.
• Tem de usar uma ligação de peering entre a sua VPC e a rede VPC partilhada da Google.

Configure o sistema SAP BW

A origem de lote do SAP BW Open Hub usa um módulo de função remota (RFM), que tem de ser instalado em cada servidor SAP onde os dados são extraídos. Este RFM é fornecido como um transporte SAP.

Para configurar o seu sistema SAP, siga estes passos:

1. O utilizador do Cloud Data Fusion tem de transferir o ficheiro ZIP que contém o transporte SAP e fornecê-lo ao administrador do SAP. Para mais informações, consulte o artigo Configure o Cloud Data Fusion.
2. O administrador do SAP tem de importar o transporte do SAP para o sistema SAP e validar os objetos criados. Para mais informações, consulte o artigo Instale o transporte SAP.
3. Opcional: o utilizador do SAP pode modificar os objetos de autorização padrão do SAP da função /GOOG/BWOH_CDF_AUTH fornecida com base nas políticas de segurança da respetiva organização.

Instale os ficheiros de transporte do SAP

Para conceber e executar pipelines de dados no Cloud Data Fusion, os componentes SAP são fornecidos em ficheiros de transporte SAP, que são arquivados num ficheiro ZIP. A transferência está disponível quando implementa o plug-in no Cloud Data Fusion Hub.

Para instalar o transporte SAP, siga estes passos:

Passo 1: carregue os ficheiros de pedido de transporte

1. Inicie sessão no sistema operativo da instância SAP.
2. Use o código de transação SAP AL11 para obter o caminho da pasta DIR_TRANS. Normalmente, o caminho é /usr/sap/trans/.
3. Copie os ficheiros de configuração para a pasta DIR_TRANS/cofiles.
4. Copie os ficheiros de dados para a pasta DIR_TRANS/data.
5. Defina o utilizador e o grupo de dados e o cofile como <sid>adm e sapsys.

Passo 2: importe os ficheiros de pedido de transporte

O administrador do SAP pode importar os ficheiros de pedido de transporte através de uma das seguintes opções:

Opção 1: importe os ficheiros de pedido de transporte através do sistema de gestão de transportes da SAP

1. Inicie sessão no sistema SAP como administrador do SAP.
2. Introduza o STMS da transação.
3. Clique em Vista geral > Importações.
4. Na coluna Fila, clique duas vezes no SID atual.
5. Clique em Extras > Outros pedidos > Adicionar.
6. Selecione o ID do pedido de transporte e clique em Continuar.
7. Selecione o pedido de transporte na fila de importação e, de seguida, clique em Pedido > Importar.
8. Introduza o número de cliente.

9. No separador Opções, selecione Substituir originais e Ignorar versão de componente inválida.

   Opcional: selecione Deixar pedidos de transportes na fila para importação posterior. Isto faz com que os pedidos sejam importados novamente na ordem correta com a próxima importação de todos os pedidos. Esta opção é útil se tiver de fazer importações preliminares para pedidos individuais.

10. Clique em Continuar.

11. Verifique se o módulo de função e as funções de autorização foram importados com êxito através de quaisquer transações adequadas, como SE80 e PFCG.

Opção 2: importe os ficheiros de pedido de transporte ao nível do sistema operativo

1. Inicie sessão no sistema SAP como administrador do SAP.

2. Adicione os pedidos adequados ao buffer de importação:

   tp addtobuffer TRANSPORT_REQUEST_ID SID
   

   Por exemplo: tp addtobuffer BW1K900054 DD1

3. Importe os pedidos de transportes:

   tp import TRANSPORT_REQUEST_ID SID client=NNN U1238
   

   Substitua NNN pelo número do cliente. Por exemplo:

   tp import BW1K900054 DD1 client=100 U1238
   

   Nota: U1238 indica que deve definir as opções descritas no passo 9 na Opção 1. Os números indicam o número de ordem da opção correspondente na GUI do SAP, que pode variar consoante o sistema. Os números têm de ser ajustados pelo administrador do SAP.

4. Verifique se o módulo de função e as funções de autorização foram importados com êxito através de quaisquer transações adequadas, como SE80 e PFCG.

Autorizações SAP necessárias

Para executar um pipeline de dados no Cloud Data Fusion, precisa de um utilizador SAP. O utilizador do SAP tem de ser dos tipos Communications ou Dialog. Para evitar a utilização de recursos de diálogo SAP, recomendamos o tipo Communications. O administrador do SAP pode criar utilizadores através do código de transação do SAP SU01.

São necessárias autorizações SAP para configurar o conetor para SAP. Os objetos de autorização da SAP específicos do conector são enviados como parte do pedido de transporte. Importe o transporte da função de autorização, conforme descrito em Instale o transporte SAP para adicionar a função ao seu sistema e gerar a função a partir do código de transação PFCG.

Para objetos de autorização SAP padrão, a sua organização gere as autorizações com o seu próprio mecanismo de segurança. Pode manter objetos de autorização com base nas políticas de segurança da sua organização.

Crie uma cadeia de processos (PC) e um processo de transferência de dados (DTP)

A criação de uma cadeia de processos e de um processo de transferência de dados requer algumas competências adicionais e conhecimentos básicos.

Conceitos básicos

• Process Chain (PC)
• Processo de transferência de dados (PTD)

Para criar ou editar um PC e um DTP, use o SAP HANA Studio.

Competências pré-requisitos

• Usou transformações para definir o fluxo de dados entre a origem e o objeto de destino.
• Tem conhecimentos básicos dos conceitos de BW e HANA, como objetos DataStore (DSO), transformações de dados, InfoCubes, otimização de consultas, modelagem HANA e funcionalidades da base de dados HANA através do HANA Studio. Para mais informações acerca destes conceitos, consulte os tutoriais da SAP sobre BW e HANA.

Tipo de extração

Existem dois modos de extração de dados para um processo de transferência de dados: completo e delta.

• Completo: seleciona todos os dados disponíveis na origem com base nas condições de filtro mencionadas no DTP. Se a origem dos dados for um dos seguintes InfoProviders, só está disponível o modo de extração completo:

  • InfoObjects
  • InfoSets
  • Objetos DataStore para atualização direta

• Delta: ao contrário do InfoPackage, a transferência Delta através de um DTP não requer uma inicialização explícita. Quando um DTP é executado com o modo de extração delta pela primeira vez, todos os pedidos existentes até ao momento da extração são obtidos da origem e, em seguida, o delta é inicializado automaticamente.

  As seguintes opções estão disponíveis para um DTP com o modo de extração Delta:

  • Only Get Delta Once
  • Obtenha todos os novos pedidos de dados por pedido
  • Obter até não existirem mais dados novos

Tamanho do pacote: este é o número de registos de dados presentes num pacote de dados individual. O valor predefinido é 50,000.

Crie uma cadeia de processos

Para criar uma cadeia de processos (PC), use a transação RSPC na GUI do SAP. Defina um processo de início e, de seguida, adicione os passos do processo e o DTP. Para mais informações, consulte a documentação da SAP sobre como criar cadeias de processos.

Estão disponíveis várias opções no HANA Studio para monitorizar e administrar PCs. Para mais informações, consulte o artigo Operações da cadeia de processamento do SAP BW/4HANA.

Crie um processo de transferência de dados através de uma cadeia de processos

Aceda à vista Planeamento da cadeia de processamento que quer usar para o processo de transferência de dados. Na vista Planeamento, pode criar o DTP através do HANA Studio. Para mais informações, consulte a documentação da SAP sobre como criar um processo de transferência de dados.

Para mais informações sobre as opções de configuração, consulte o artigo Tudo sobre o processo de transferência de dados (DTP) – SAP BW 7.

Ligação RFC

Para notificar o sistema de callback, como o plug-in SAP BW Open Hub Batch Source, de que os dados estão disponíveis, a cadeia de processos tem de ser atualizada para usar um destino RFC:

1. Em SM59, crie uma ligação RFC do tipo Ligações TCP/IP para notificar o sistema de destino a partir do BW assim que o carregamento de dados estiver concluído no BI.

2. Certifique-se de que o ID do programa está configurado na ligação RFC. Para tal, clique duas vezes na ligação RFC. O ID do programa tem de ser exclusivo para cada destino RFC para evitar conflitos do ouvinte de tempo de execução.

   Nota: o teste de ligação de destino RFC termina com TP PROGRAM ID not registered. Isto é esperado porque a ligação RFC só funciona durante a execução de um pipeline, ou seja, quando o Cloud Data Fusion regista o Program ID com o SAP Gateway.

3. Use a ligação TCP/IP recém-criada na cadeia de processos para enviar uma notificação quando um trabalho em lote do Cloud Data Fusion for concluído. O nome da cadeia de processamento não é sensível a maiúsculas e minúsculas. Tem de ser especificado corretamente em maiúsculas no processo de integração ponto a ponto.

Apresente os registos de cadeias de processos e processos de transferência de dados

1. Aceda ao código de transação : RSPC e clique em Process Chains.

2. Clique com o botão direito do rato na cadeia de processamento para a qual quer apresentar registos e clique em Apresentar registos.

Configure o cluster do Dataproc quando usar a cadeia de processamento

Nota: isto só é aplicável quando usa a extração baseada na cadeia de processamento e não a extração baseada no destino do Open Hub.

Para ativar a comunicação através do servidor RFC, tem de adicionar as entradas da porta do SAP Gateway no ficheiro /etc/services nos nós do cluster do Dataproc. Recomendamos que use um init action, o script a ser executado quando o cluster é inicializado. Para mais informações, consulte o artigo Ações de inicialização.

Crie um ficheiro de script e guarde-o num contentor do Cloud Storage. O exemplo seguinte mostra o conteúdo do ficheiro de script:

gs://cdf-sap-dependent-files/addgw.sh
#!/bin/bash
echo 'sapgw00 3300/tcp' >> /etc/services
echo 'sapgw01 3301/tcp' >> /etc/services
echo 'sapgw02 3302/tcp' >> /etc/services
echo 'sapgw03 3303/tcp' >> /etc/services
echo 'sapgw04 3304/tcp' >> /etc/services

No exemplo anterior, tenha em atenção o seguinte:

• As entradas estão no formato sapgwxx 33xx/tcp, em que XX é o número da instância SAP.

• As portas para instâncias SAP de 00 a 04 são adicionadas.

Execute os seguintes passos se estiver a usar um cluster do Dataproc efémero, um cluster persistente criado recentemente ou um cluster persistente existente.

Cluster do Dataproc temporário

Se estiver a usar um cluster Dataproc efémero, adicione o caminho do script init às propriedades do cluster:

1. No monitor de tarefas, na página do pipeline no Cloud Data Fusion, clique em Configurar.
2. Selecione o perfil de computação e clique em Personalizar.
3. Em Definições avançadas, no campo Ações de inicialização, introduza o caminho para o script init.

Novo cluster persistente do Dataproc

Se estiver a usar um cluster do Dataproc persistente recém-criado, use o initscript no comando gcloud para criar o cluster. Por exemplo:

gcloud dataproc clusters create cluster-name \
  --region=${REGION} \
  --initialization-actions=gs://cdf-sap-dependent-files/addgw.sh \
  ... other flags ...

Cluster do Dataproc persistente existente

Se estiver a usar um cluster do Dataproc persistente existente, siga estes passos:

Se o cluster já tiver sido criado sem usar o script init, adicione as entradas manualmente nos nós principais e de trabalho do cluster do Dataproc.

1. SSH para o nó principal e o nó do cluster.
2. Inicie sessão com o ID de utilizador principal.
3. Navegue para /etc/ e abra o ficheiro /etc/services num editor VI.
4. Adicione a entrada sapgwxx 33xx/tcp. Substitua xx pelo número da sua instância do SAP.
5. Guarde o ficheiro /etc/services.

Configure o Cloud Data Fusion

O utilizador do Cloud Data Fusion e o Google Cloud administrador realizam as tarefas nesta secção.

Certifique-se de que a comunicação está ativada entre a instância do Cloud Data Fusion e o servidor SAP. Para instâncias privadas, configure o intercâmbio de redes. Depois de estabelecer a interligação de redes com o projeto onde os sistemas SAP estão alojados, não é necessária nenhuma configuração adicional para se ligar à sua instância do Cloud Data Fusion. O sistema SAP e a instância do Cloud Data Fusion têm de estar no mesmo projeto.

Passos para utilizadores do Cloud Data Fusion

1. Aceda aos detalhes da instância:

   1. Na Google Cloud consola, aceda à página do Cloud Data Fusion.

   2. Clique em Instâncias e, de seguida, clique no nome da instância para aceder à página Detalhes da instância.

      Aceda a Instâncias

2. Verifique se a instância foi atualizada para a versão 6.8.0 ou posterior. Se a instância estiver numa versão anterior, tem de a atualizar.
3. Abra a instância. Quando a IU do Cloud Data Fusion abrir, clique em Hub.
4. Selecione o separador SAP > SAP BW. Se o separador SAP não estiver visível, consulte o artigo Resolução de problemas de integrações SAP.
5. Clique em Implementar plug-in SAP BW. O plug-in aparece no menu Origem na página do Studio.

Passos para o administrador da SAP e o administrador Google Cloud

O administrador do SAP transfere os seguintes artefactos do JCo do site de apoio técnico da SAP e dá-os ao Google Cloud administrador.

• Uma independente da plataforma (sapjco3.jar)
• Um dependente da plataforma (libsapjco3.so no Unix)

Nota: a versão mínima do JCo suportada é a 3.0.20.

Para transferir os ficheiros, siga estes passos:

1. Aceda à página Conectores SAP.
2. Clique em SAP Java Connector/Ferramentas e serviços. Pode selecionar links específicos da plataforma para a transferência.

3. Selecione a plataforma na qual a sua instância do Cloud Data Fusion é executada:

   1. Se usar imagens padrão Google Cloud para as VMs no seu cluster, que é a predefinição do Cloud Data Fusion, selecioneLinux para processadores compatíveis com Intel x86 de 64 bits.
   2. Se usar uma imagem personalizada, selecione a plataforma correspondente.

4. O Google Cloud administrador tem de copiar os ficheiros JCo para um contentor do Cloud Storage legível. Indique o caminho do contentor ao utilizador do Cloud Data Fusion para o introduzir na propriedade do plug-in correspondente no Cloud Data Fusion: SAP JCo Library GCS Path. Consulte o artigo Configure o plug-in.

5. O Google Cloud administrador tem de conceder acesso de leitura aos dois ficheiros à conta de serviço do Cloud Data Fusion para o ambiente de design e à conta de serviço do Dataproc para o ambiente de execução. Para mais informações, consulte o artigo Contas de serviço do Cloud Data Fusion.

Configure o plug-in

O plug-in SAP BW Open Hub Batch Source lê o conteúdo de uma SAP DataSource.

Para filtrar os registos, pode configurar as seguintes propriedades para a origem de lote do SAP BW Open Hub.

Os seguintes indicadores são usados para definir os campos:

• (M): indica que as macros são suportadas para o respetivo campo
• (O): campo opcional

Etiqueta: etiqueta do plug-in na tela.

Básico

Na lista de propriedades seguinte, (M) significa que a opção suporta macros e que estas podem ser usadas para gerir centralmente as ligações SAP. Por exemplo, pode usar macros para as propriedades de ligação e definir os valores no tempo de execução usando parâmetros de tempo de execução ou um plug-in Argument Setter.

• Nome de referência: nome usado para identificar de forma exclusiva esta origem para a linhagem e a anotação de metadados.

• Usar associação (botão ativar/desativar): se deve usar uma associação existente (consulte Gerir associações). Se optar por usar uma associação existente, não tem de fornecer detalhes de associação da SAP.

  Nota: apenas são suportados destinos de OH de BW que tenham um DTP e um PC.

• Ligação (procurar ligações): escolha a ligação existente a usar. Também pode usar a função de macro ${conn(connection-name)}.

• Cliente SAP (M): o cliente SAP a usar. Por exemplo, 100.

• Idioma do SAP (M): idioma de início de sessão do SAP. Por exemplo, EN.

• Tipo de ligação: tipo de ligação SAP: direta ou com balanceamento de carga. As associações com equilíbrio de carga não são suportadas para a extração baseada na cadeia de processos. Para mais informações, consulte os Detalhes do apoio técnico.

  A seleção de um tipo de associação altera os campos disponíveis.

  Para uma associação direta, os seguintes campos estão disponíveis:

  • Anfitrião do servidor de aplicações SAP (M): o nome do servidor SAP ou o endereço IP.
  • Número do sistema SAP (M): o número do sistema SAP. Por exemplo, 00.
  • SAP Router (M, O): a string do router.

  Para uma ligação com equilíbrio de carga, estão disponíveis os seguintes campos:

  • Anfitrião do servidor de mensagens SAP (M): o nome de anfitrião ou o endereço IP da mensagem SAP.
  • Número da porta ou serviço do servidor de mensagens SAP (M): o número da porta ou o serviço do servidor de mensagens SAP. Por exemplo, sapms02.
  • ID do sistema SAP (SID) (M): o ID do sistema SAP. Por exemplo, N75.
  • Nome do grupo de início de sessão do SAP (M): o nome do grupo de início de sessão do SAP. Por exemplo, PUBLIC.

• Usar cadeia de processamento (M): este campo contém duas opções.

  Se ativar a cadeia de processamento através da opção Sim, as seguintes propriedades são ativadas:

  • Resolver automaticamente erros de PC e DTP: controla o comportamento quando é identificado um execução com falhas anteriores. Quando está desativado, o plugin faz com que o pipeline falhe com erros relevantes. Quando ativado (predefinição), o plugin verifica a cadeia de processos e o estado do processo de transferência de dados no SAP. Se for identificado algum dos seguintes erros, o plug-in tenta resolvê-los automaticamente:

  • Data Transfer Process in error state: o plugin elimina o pedido anterior

  • Process Chain no estado vermelho com o erro previous request status has not been set: O plug-in elimina o pedido de bloqueio depois de obter o ID do pedido no registo da Process Chain e, em seguida, tenta executar a PC.

  • Tempo de espera da notificação do estado da cadeia de processamento (em minutos) (M, O): aguarda o tempo indicado, em minutos, para que a cadeia de processamento conclua a preparação dos dados e notifique o pipeline para iniciar a extração. Se especificar 0 ou o deixar em branco, o valor é considerado 10 minutos, que é o valor predefinido.

  • Process Chain (M): o nome da cadeia de processos SAP. Por exemplo, PC_RFC.

  Se desativar a cadeia de processamento através da opção Não, as seguintes propriedades são ativadas:

  • Abrir destino do Hub (M): abre o nome do destino do Hub para leitura.
  • ID do pedido (M,O): ID do pedido para o processo de transferência de dados já executado.

Credenciais

• Nome de utilizador de início de sessão do SAP (M): nome de utilizador do SAP. Recomendado: se o nome de utilizador de início de sessão do SAP mudar periodicamente, use uma macro.
• Palavra-passe de início de sessão do SAP (M): palavra-passe de utilizador do SAP. Recomendado: para valores sensíveis, como palavra-passe do utilizador, use macros seguras

Detalhes do SAP JCo

• ID do projeto da GCP (M): o Google Cloud ID do projeto, que identifica um projeto de forma exclusiva. Pode encontrá-lo no painel de controlo na Google Cloud consola.
• Caminho do GCS da biblioteca SAP JCo (M): o caminho do Cloud Storage que contém os ficheiros da biblioteca SAP JCo carregados pelo utilizador.
• Obter esquema: clique nesta opção se quiser que o plug-in gere um esquema com base nos metadados do SAP, com mapeamento automático dos tipos de dados do SAP para os tipos de dados correspondentes do Cloud Data Fusion. A funcionalidade deste elemento é igual à do botão Validar.

Para mais informações acerca dos certificados de cliente, consulte o artigo Usar certificados de cliente X.509 no servidor de aplicações SAP NetWeaver para ABAP.

Avançado

• Número de divisões a gerar (M, O): o número de divisões é usado para dividir os dados de entrada. Mais partições aumentam o nível de paralelismo, mas requerem mais recursos e sobrecarga. No caso de um sistema SAP no local, se o valor não for especificado na IU, as divisões são 50% dos processos de trabalho de diálogo disponíveis no SAP. Caso contrário, as divisões são otimizadas entre o valor especificado pelo utilizador e 50% dos processos de trabalho disponíveis.

  Nota: esta propriedade controla o paralelismo no lado do Cloud Data Fusion. O motor de tempo de execução cria o número especificado de partições e ligações SAP durante a extração dos registos.

  Recomendado: deixe a propriedade em branco, a menos que esteja familiarizado com as definições do sistema SAP.

• Propriedades de ligação SAP adicionais (M, O): defina propriedades SAP JCo adicionais que substituam os valores predefinidos do SAP JCo. Por exemplo, a definição de jco.destination.pool_capacity = 10 substitui a capacidade predefinida do conjunto de ligações.

  A tabela seguinte indica as propriedades do SAP JCo suportadas:

Propriedade	Descrição
jco.destination.peak_limit	Número máximo de associações ativas que podem ser criadas para um destino em simultâneo.
jco.destination.pool_capacity	Número máximo de ligações inativas mantidas abertas pelo destino. Um valor de 0 tem o efeito de não existir um conjunto de ligações, ou seja, as ligações são fechadas após cada pedido.
jco.destination.expiration_time	Tempo em ms após o qual as ligações mantidas pelo conjunto interno podem ser fechadas.
jco.destination.expiration_check_period	Intervalo em ms com o qual o tópico do verificador de limite de tempo verifica as ligações no conjunto quanto à expiração.
jco.destination.max_get_client_time	Tempo máximo em ms para aguardar uma ligação, se o número máximo permitido de ligações for atribuído pela aplicação.

Comportamento dos modos de extração de dados

O modo de extração de dados é controlado através das definições do processo de transferência de dados. O comportamento é diferente quando usa uma cadeia de processamento em comparação com um destino do Open Hub.

Quando usar uma cadeia de processamento

As definições ao nível do processo de transferência de dados controlam se é efetuado um carregamento completo ou delta. O ID do pedido chega como uma notificação da SAP ao plug-in. O plug-in lê os dados de pacotes associados a este ID de pedido único.

Quando usa o destino do Open Hub sem um ID do pedido

Nota: apenas são suportados destinos de OH de BW que tenham um DTP e um PC.

Carregamento completo: a execução do pipeline pela primeira vez obtém todos os IDs de pedidos disponíveis na tabela do Open Hub. O plug-in lê os dados de pacotes associados a estes IDs de pedidos.

Carregamento delta: a execução do mesmo pipeline na próxima vez obtém todos os IDs de pedidos delta disponíveis após o último ID de pedido obtido. O plug-in lê os dados de pacotes associados a estes IDs de pedidos.

Quando usar o destino do Open Hub com o ID do pedido

Nota: apenas são suportados destinos de OH de BW que tenham um DTP e um PC.

Carregamento completo: a execução do pipeline pela primeira vez recebe todos os IDs de pedidos disponíveis seguintes superiores ao ID de pedido especificado. O plug-in lê os dados de pacotes associados a estes IDs de pedidos.

Carregamento delta: a execução do mesmo pipeline para a próxima vez obtém todos os IDs de pedidos delta disponíveis após o último ID de pedido obtido. O plug-in lê os dados dos pacotes associados a estes IDs de pedidos.

Mapeamento de tipos de dados

A tabela seguinte mostra o mapeamento entre os tipos de dados usados no SAP BW e no Cloud Data Fusion.

Tipo de dados BW	Tipo ABAP	Descrição (SAP)	Tipo de dados do Cloud Data Fusion
Numérico
INT1	b	Número inteiro de 1 byte	integer
INT2	s	Número inteiro de 2 bytes	integer
INT4	i	Número inteiro de 4 bytes	integer
INT8	8	Número inteiro de 8 bytes	long
DEZ	p	Número compactado no formato BCD (DEC)	decimal
DF16_DEC DF16_RAW	a	Vírgula flutuante decimal de 8 bytes IEEE 754r	decimal
DF34_DEC DF34_RAW	e	Vírgula flutuante decimal de 16 bytes IEEE 754r	decimal
FLTP	f	Número de vírgula flutuante binário	double
Caráter
CARÁCT CARÁCT.ESQ	c	String de carateres	string
SSTRING GEOM_EWKB	string	String de carateres	string
STRING	string	CLOB de string de carateres	bytes
NUMC ACCP	n	Texto numérico	string
Byte
RAW LRAW	x	Dados binários	bytes
RAWSTRING	xstring	BLOB de string de bytes	bytes
Data/hora
DATS	d	Data	date
TIMS	t	Hora	time
TIMESTAMP	utcl	TimeStamp Utclong	timestamp

Validação

Clique em Validar ou Obter esquema.

O plug-in valida as propriedades e gera um esquema com base nos metadados do SAP. Mapeia automaticamente os tipos de dados SAP aos tipos de dados do Cloud Data Fusion correspondentes.

Execute um pipeline de dados

1. Depois de implementar o pipeline, clique em Configurar.
2. Selecione Recursos.
3. Se necessário, altere o Executor CPU e a Memória com base no tamanho geral dos dados e no número de transformações usadas no pipeline.
4. Clique em Guardar.
5. Para iniciar o pipeline de dados, clique em Executar.

Otimize o desempenho

Configuração do plug-in do Optimize

Use as seguintes propriedades para um desempenho ideal quando executar o pipeline:

• Número de divisões a gerar nas propriedades do plug-in do Cloud Data Fusion: isto controla diretamente o paralelismo no lado do Cloud Data Fusion. O motor de tempo de execução cria o número especificado de partições e ligações SAP enquanto extrai os registos da tabela. Recomendam-se valores entre 8 e 16, mas pode aumentá-los até 32 ou 64 com a configuração adequada no lado do SAP, atribuindo recursos de memória adequados para os processos de trabalho no SAP.

  Se o valor for 0 ou for deixado em branco (recomendado), o sistema escolhe automaticamente um valor adequado com base no número de processos de trabalho SAP disponíveis, nos registos a extrair e no tamanho do pacote.

• Tamanho do pacote nas propriedades do processo de transferência de dados do BW: controla o número de registos de dados presentes num pacote de dados individual. O valor predefinido é 50,000. Aumentar este valor pode gerar um melhor desempenho, mas uma carga de recursos mais elevada. Se já estiver a usar valores mais elevados, diminua-os para permitir uma melhor paralelização da extração.

Definições de recursos do Cloud Data Fusion

Recomendado: use 1 CPU e 4 GB de memória por executor. Este valor aplica-se a cada processo de executor. Defina estes valores na caixa de diálogo Configurar > Recursos.

Definições do cluster do Dataproc

Recomendado: no mínimo, atribua um total de CPUs aos trabalhadores superior ao número de divisões pretendido. Consulte a secção Configuração do plug-in.

Por exemplo, se tiver 16 divisões, defina 20 ou mais CPUs no total em todos os trabalhadores. Existe uma sobrecarga de 4 CPUs usadas para a coordenação.

Recomendado: use um cluster do Dataproc persistente para reduzir o tempo de execução do pipeline de dados. Isto elimina o passo de aprovisionamento, que pode demorar alguns minutos ou mais. Defina esta opção na secção de configuração do Compute Engine.

Detalhes do apoio técnico

Produtos e versões SAP compatíveis

Fontes suportadas:

• SAP NW BW 7.5 e posterior
• SAP BW4HANA 2.0 SP9 (para incluir a API Open Hub Destination; as versões anteriores do BW4HANA não suportam a API Open Hub Destination)

Suporte para ligação SAP com balanceamento de carga (servidor de mensagens)

A ligação com equilíbrio de carga SAP (servidor de mensagens) é suportada para a extração baseada no destino do Open Hub, onde não é usado um servidor RFC.

A ligação com equilíbrio de carga (servidor de mensagens) do SAP não é suportada para a extração baseada na cadeia de processos. O motivo é uma limitação do SAP quando fornece uma notificação ao sistema cliente, o que requer o registo do servidor RFC (ouvinte de plug-ins) em cada servidor SAP no panorama do BW, o que aumenta a pegada do conector e afeta potencialmente o desempenho do SAP e a utilização de recursos.data ready Para mais informações, consulte a nota SAP 2572564 (é necessário iniciar sessão no apoio técnico da SAP para ver).

Modelos de implementação do SAP suportados

O plug-in é testado com servidores SAP implementados no Google Cloud.

Objetos SAP suportados

Origens de dados para o destino do Open Hub: InfoProviders (InfoObject, InfoCube, DataStore Object, Advanced Data Store Object, Composite Provider)

Cadeias de processamento para executar automaticamente o processo de transferência de dados para o destino do Open Hub.

Licença separada para usar o servidor HTTP da Oracle para extrair dados do SAP

Não precisa de uma licença separada para usar o Oracle HTTP Server (OHS) para extrair dados do SAP. No entanto, consulte o seu representante da SAP sobre o seu contrato e exemplo de utilização específicos.

Débito esperado do plug-in

Para um ambiente configurado de acordo com as diretrizes em Otimize o desempenho, o plug-in pode extrair cerca de 38 GB por hora. O desempenho real pode variar com a carga do sistema SAP ou o tráfego de rede do Cloud Data Fusion.

O que se segue?

• Saiba mais sobre o Cloud Data Fusion.
• Saiba mais sobre o SAP no Google Cloud.