Fonte em lote do hub aberto do SAP BW

Neste guia, descrevemos como implantar, configurar e executar pipelines de dados que usam o plug-in SAP BW Open Hub Batch Source. É possível usar o SAP como origem para extração de dados baseada em lote e em delta no Cloud Data Fusion por meio da Serviço de hub aberto do BW (em inglês).

Esse plug-in permite a integração de dados em massa de aplicativos SAP com o Cloud Data Fusion. É possível configurar e executar transferências de dados em massa do DataSources do SAP sem programação.

Para saber quais aplicativos e objetos do SAP são compatíveis com a extração, consulte Detalhes de suporte. Para mais informações sobre como executar o SAP no Google Cloud, consulte Visão geral do SAP no Google Cloud.

Objetivos

  • Configurar o sistema SAP BW.
  • Implante o plug-in no ambiente do Cloud Data Fusion.
  • Faça o download do transporte SAP do Cloud Data Fusion e instale-o no SAP.
  • Use o Cloud Data Fusion e a fonte em lote de hub aberto do SAP BW para criar pipelines de dados para integrar dados SAP.

Antes de começar

Para usar esse plug-in, é necessário ter conhecimento de domínio nas seguintes áreas:

Papéis do usuário

As tarefas nesta página são realizadas por pessoas com os seguintes papéis no Google Cloud ou no sistema SAP:

Tipo de usuário descrição;
Administrador do Google Cloud Os usuários atribuídos a esse papel são administradores de contas do Google Cloud.
Usuário do Cloud Data Fusion Os usuários atribuídos a esse papel estão autorizados a projetar e executar pipelines de dados. Eles recebem, no mínimo, o papel de leitor do Data Fusion ( roles/datafusion.viewer). Se estiver usando o controle de acesso baseado em papéis, talvez sejam necessários outros papéis.
Administrador do SAP Os usuários atribuídos a essa função são administradores do sistema SAP. Eles têm acesso para fazer o download de softwares do site de serviços da SAP. Não é um papel do IAM.
Usuário SAP Os usuários atribuídos a esse papel estão autorizados a se conectar a um sistema SAP. Não é um papel do IAM.

Pré-requisitos do SAP BW

Você precisa do SAP HANA Studio para criar e editar processos de transferência de dados e cadeias de processos.

Pré-requisitos do Cloud Data Fusion

  • Uma rede VPC é necessária para a criação de instâncias do Cloud Data Fusion.
  • É necessária uma instância do Cloud Data Fusion, versão 6.8.0 ou mais recente, qualquer edição.
  • Os papéis obrigatórios precisam ser concedidos à conta de serviço atribuída à instância do Cloud Data Fusion. Para mais informações, consulte Como conceder permissão ao usuário da conta de serviço.
  • Você precisa usar uma conexão de peering entre sua VPC e na rede VPC compartilhada do Google.

Configurar o sistema SAP BW

A fonte em lote de hub aberto do SAP BW usa um Módulo de função remota (RFM, na sigla em inglês), que precisa ser instalado em cada servidor SAP. onde os dados são extraídos. Esse RFM é entregue como um transporte SAP.

Para configurar seu sistema SAP, siga estas etapas:

  1. O usuário do Cloud Data Fusion precisa fazer o download do arquivo ZIP que contém o transporte da SAP e fornecê-lo ao administrador da SAP. Para mais informações, consulte Configurar o Cloud Data Fusion.
  2. O administrador do SAP precisa importar o transporte SAP para o sistema SAP e verificar os objetos criados. Para mais informações, consulte Instalar o transporte SAP.
  3. Opcional: o usuário SAP pode modificar os objetos de autorização padrão SAP de entregue o papel /GOOG/BWOH_CDF_AUTH com base na segurança da organização políticas.

Instalar os arquivos de transporte SAP

Para projetar e executar pipelines de dados no Cloud Data Fusion, os componentes do SAP são entregues em arquivos de transporte SAP, que são arquivados em um arquivo ZIP. O download estará disponível quando você Implante o plug-in no hub do Cloud Data Fusion.

Fazer o download do arquivo ZIP de transporte SAP BW OH

Os IDs de solicitação de transporte SAP e os arquivos associados são fornecidos abaixo tabela:

Transporte SAP

ID do transporte Cofile Arquivo de dados Conteúdo
BW1K900054 K900054.BW1 R900054.BW1 BWOH conector do Cloud Data Fusion versão 1.0
Módulos de função:
/GOOG/BWOH_GET_PC_LOG
/GOOG/BWOH_GET_PRO_CHA_DETAILS
/GOOG/BWOH_API_OHS_ETL_READ
/GOOG/BWOH_GET_PC_RUNS
/GOOG/BWOH_SET_LAST_RUN
/GOOG/BWOH_GET_PC_OHD_LIST
BW1K900055 K900055.BW1 R900055.BW1 Papel de autorização /GOOG/BWOH_CDF_AUTH

Para instalar o transporte SAP, siga estas etapas:

Etapa 1: fazer upload dos arquivos de solicitação de transporte

  1. Faça login no sistema operacional da instância SAP.
  2. Use o código de transação SAP AL11 para ver o caminho da pasta DIR_TRANS. Normalmente, o caminho é /usr/sap/trans/.
  3. Copie os arquivos compartilhados para a pasta DIR_TRANS/cofiles.
  4. Copie os arquivos de dados para a pasta DIR_TRANS/data.
  5. Defina o usuário e o grupo de dados e o coarquivo como <sid>adm e sapsys.

Etapa 2: importar os arquivos de solicitação de transporte

O administrador da SAP pode importar os arquivos de solicitação de transporte usando uma das seguintes opções:

Opção 1: importar os arquivos de solicitação de transporte usando o sistema de gerenciamento de transporte SAP
  1. Faça login no sistema SAP como administrador da SAP.
  2. Digite o STMS da transação.
  3. Clique em Visão geral > Importações.
  4. Na coluna "Fila", clique duas vezes no SID atual.
  5. Clique em Extras > Outras solicitações > Adicionar.
  6. Selecione o ID da solicitação de transporte e clique em Continuar.
  7. Selecione a solicitação de transporte na fila de importação e clique em Solicitar > Importar.
  8. Digite o número do cliente.

  9. Na guia Opções, selecione Substituir originais e Ignorar versão inválida do componente.

    Opcional: selecione Deixar solicitações de transporte na fila para importação posterior. Isso faz com que as solicitações sejam importadas novamente na ordem correta com os próximos a importação de todas as solicitações. Essa opção é útil se você tiver que fazer importações preliminares para solicitações individuais;

  10. Clique em Continuar.

  11. Verificar se o módulo de função e os papéis de autorização foram importados usando as transações apropriadas, como SE80 e PFCG.

Opção 2: importar os arquivos de solicitações de transporte no nível do sistema operacional
  1. Faça login no sistema SAP como administrador da SAP.

  2. Adicione as solicitações apropriadas ao buffer de importação:

    tp addtobuffer TRANSPORT_REQUEST_ID SID

    Por exemplo: tp addtobuffer BW1K900054 DD1

  3. Importe as solicitações de transporte:

    tp import TRANSPORT_REQUEST_ID SID client=NNN U1238

    Substitua NNN pelo número do cliente. Exemplo:

    tp import BW1K900054 DD1 client=100 U1238

  4. Verifique se o módulo da função e os papéis de autorização foram importados com êxito usando as transações apropriadas, como SE80 e PFCG.

Autorizações SAP necessárias

Para executar um pipeline de dados no Cloud Data Fusion, você precisa de um usuário SAP. O usuário SAP precisa ser dos tipos Communications ou Dialog. Para evitar o uso de recursos da caixa de diálogo do SAP, o tipo Communications é recomendado. O administrador do SAP pode criar usuários usando o código de transação SU01 do SAP.

As autorizações SAP são necessárias para configurar o conector para SAP. Os objetos de autorização do SAP específicos do conector são enviados como parte da solicitação de transporte. Importe o transporte de papel de autorização conforme descrito em Instale a transferência SAP para transferir o papel para o e gerar o papel com o código de transação da PFCG.

Para objetos de autorização SAP padrão, sua organização gerencia permissões com mecanismo de segurança próprio. É possível manter objetos de autorização com base as políticas de segurança da organização.

Criar uma cadeia de processos (PC) e um processo de transferência de dados (DTP)

Criar uma cadeia de processos e um processo de transferência de dados exige algumas habilidades e conhecimento prévio.

Conceitos básicos

Para criar ou editar um PC e um DTP, use o SAP HANA Studio.

Habilidades obrigatórias

  • Você usou transformações para definir o fluxo de dados entre a origem e o objeto de destino.
  • Você conhece bem os conceitos básicos de BW e HANA, como objetos DataStore (DSO), transformações de dados, InfoCubes, otimização de consultas, modelagem de HANA e Recursos do banco de dados HANA usando o HANA Studio. Para mais informações sobre esses conceitos, consulte os tutoriais da SAP sobre BW e HANA.

Tipo de extração

Há dois modos de extração de dados para um processo de transferência de dados: completo e Delta.

  • Full: seleciona todos os dados disponíveis na origem com base nas condições de filtro mencionadas na DTP. Se a fonte de dados for um dos seguintes InfoProviders, apenas o modo de extração total estará disponível:

    • InfoObjects
    • InfoSets
    • Objetos do DataStore para atualização direta

  • Delta: ao contrário do InfoPackage, a transferência Delta usando um DTP não requer uma inicialização explícita. Quando um DTP é executado com a extração Delta pela primeira vez, todas as solicitações existentes até o momento da extração recuperado da origem e, em seguida, o delta é inicializado automaticamente.

    As seguintes opções estão disponíveis para um DTP com o modo de extração Delta:

    • Acesse o Delta apenas uma vez
    • Receber todas as novas solicitações de dados por solicitação
    • Recuperar até que não haja mais dados novos

Tamanho do pacote: é o número de registros de dados presentes em um indivíduo pacote de dados. O valor padrão é 50,000.

Criar uma cadeia de processos

Para criar uma cadeia de processos (PC, na sigla em inglês), use a transação RSPC na GUI do SAP. Defina um e adicione as etapas do processo e o DTP. Para mais informações, consulte a documentação da SAP Como criar cadeias de processos.

Há várias opções disponíveis no HANA Studio para monitorar e administrar PCs. Para mais informações, consulte Operações da cadeia de processos do SAP BW/4HANA (em inglês).

Criar um processo de transferência de dados usando uma cadeia de processos

Acesse a visualização Planejamento da cadeia de processos que você quer usar para o processo de transferência de dados. Na visualização Planning, é possível criar o DTP usando do HANA Studio. Para mais informações, consulte a documentação da SAP sobre Como criar um processo de transferência de dados.

Para mais informações sobre as opções de configuração, consulte Tudo sobre o processo de transferência de dados (DTP) – SAP BW 7.

Conexão RFC

Para notificar o sistema de callback, como o plug-in SAP BW Open Hub Batch Source, de que os dados estão disponíveis, a cadeia de processos precisa ser atualizada para usar um destino RFC:

  1. No SM59, crie uma conexão RFC do tipo Conexões TCP/IP para notificar o sistema de destino do BW assim que o carregamento de dados for concluído no BI.

  2. Clique duas vezes na conexão RFC para garantir que o ID do programa esteja configurado. O ID do programa precisa ser exclusivo para cada destino de RFC para evitar conflitos de listener de execução.

  3. Use a conexão TCP/IP recém-criada na cadeia de processos para enviar notificação de conclusão de um job em lote do Cloud Data Fusion. O nome a cadeia de processos não diferencia maiúsculas de minúsculas. Ele deve ser especificado corretamente em maiúsculas no processo de integração de ponta a ponta.

Mostrar os registros de cadeias de processos e processos de transferência de dados

  1. Acesse o Tcode: RSPC e clique em Process Chains.

  2. Clique com o botão direito do mouse na cadeia de processos para a qual você quer mostrar os registros e clique em Mostrar registros.

Configurar o cluster do Dataproc ao usar a cadeia de processos

Para ativar a comunicação pelo servidor RFC, adicione a porta do gateway SAP entradas no arquivo /etc/services nos nós do cluster do Dataproc. Recomendamos usar um init action, que o script seja executado quando o cluster for inicializado. Para mais informações, consulte Ações de inicialização.

Crie um arquivo de script e salve-o em um bucket do Cloud Storage. O exemplo a seguir mostra o conteúdo do arquivo de script:

gs://cdf-sap-dependent-files/addgw.sh
#!/bin/bash
echo 'sapgw00 3300/tcp' >> /etc/services
echo 'sapgw01 3301/tcp' >> /etc/services
echo 'sapgw02 3302/tcp' >> /etc/services
echo 'sapgw03 3303/tcp' >> /etc/services
echo 'sapgw04 3304/tcp' >> /etc/services

No exemplo anterior, observe o seguinte:

  • As entradas são feitas no formato sapgwxx 33xx/tcp, em que XX é o número da instância do SAP.

  • As portas das instâncias do SAP 00 a 04 são adicionadas.

Siga estas etapas se estiver usando uma instância permanente ou um cluster permanente atual do Dataproc.

Cluster efêmero do Dataproc

Se você estiver usando um cluster temporário do Dataproc, adicione o caminho do script init ao as propriedades do cluster:

  1. No monitor de jobs, na página do pipeline no Cloud Data Fusion, clique em Configurar.
  2. Selecione o perfil de computação e clique em Personalizar.
  3. Em Configurações avançadas, no campo Ações de inicialização, digite o caminho para o script init.

Novo cluster permanente do Dataproc

Se você estiver usando um cluster do Dataproc persistente recém-criado, use o script init no comando gcloud para criar o cluster. Exemplo:

gcloud dataproc clusters create cluster-name \
  --region=${REGION} \
  --initialization-actions=gs://cdf-sap-dependent-files/addgw.sh \
  ... other flags ...

Cluster permanente atual do Dataproc

Se você estiver usando um cluster do Dataproc persistente, siga estas etapas:

Se o cluster já tiver sido criado sem usar o script init, adicione as entradas manualmente nos nós mestre e de trabalho cluster do Dataproc.

  1. SSH para nó mestre e nó do cluster.
  2. Faça login no ID do usuário raiz.
  3. Navegue até /etc/ e abra o arquivo /etc/services em um editor VI.
  4. Adicione a entrada sapgwxx 33xx/tcp. Substitua xx pela instância do SAP. número
  5. Salve o arquivo /etc/services.

Configurar o Cloud Data Fusion

Verifique se a comunicação está ativada entre a instância do Cloud Data Fusion e o servidor SAP. Para instâncias particulares, configure o peering de rede. Depois que o peering de rede é estabelecido com o projeto em que os sistemas SAP estão sem precisar de configurações adicionais para se conectar ao seu instância do Cloud Data Fusion. O sistema SAP e a instância do Cloud Data Fusion precisam estar no mesmo projeto.

Etapas para usuários do Cloud Data Fusion

  1. Acesse os detalhes da instância:

    1. No console do Google Cloud, acesse a página do Cloud Data Fusion.

    2. Clique em Instâncias e no nome da instância para acessar a página Detalhes da instância.

      Acesse "Instâncias"

  2. Verifique se a instância foi atualizada para a versão 6.8.0 ou mais recente. Se a instância estiver em uma versão anterior, será necessário fazer upgrade dela.
  3. Abra a instância. Na IU do Cloud Data Fusion, clique em Hub.
  4. Selecione a guia SAP > SAP BW. Se a guia SAP não estiver visível, consulte Solução de problemas de integrações SAP.
  5. Clique em Implantar plug-in do SAP BW. O plug-in aparece no menu Origem da página do Studio.

Etapas para administradores do SAP e do Google Cloud

O administrador do SAP faz o download dos seguintes artefatos do JCo no site de suporte do SAP e os fornece ao Google Cloud Admin.

  • Uma plataforma independente (sapjco3.jar)
  • Dependente da plataforma (libsapjco3.so no Unix)

Para fazer o download dos arquivos, siga estas etapas:

  1. Acesse Conectores SAP (em inglês) página.
  2. Clique em SAP Java Connector/Tools and Services. Selecione links específicos da plataforma para o download.

  3. Selecione a plataforma em que sua instância do Cloud Data Fusion é executada:

    1. Se você usa imagens padrão do Google Cloud para as VMs da sua cluster padrão do Cloud Data Fusion, selecione Linux para processadores compatíveis com Intel de 64 bits x86
    2. Se você usar uma imagem personalizada, selecione a plataforma correspondente.

  4. O administrador do Google Cloud precisa copiar os arquivos JCo em um do bucket do Cloud Storage. Forneça o caminho do bucket ao usuário do Cloud Data Fusion para inseri-lo na propriedade de plug-in correspondente no Cloud Data Fusion: Caminho do GCS para biblioteca SAP JCo. Consulte Configurar o plug-in.

  5. O administrador do Google Cloud precisa conceder acesso de leitura para os dois arquivos à conta de serviço do Cloud Data Fusion para o ambiente de design e a conta de serviço do Dataproc para o ambiente de execução. Para mais informações, consulte Contas de serviço do Cloud Data Fusion.

Configurar o plug-in

O plug-in SAP BW Open Hub Batch Source lê o conteúdo de um Fonte de dados SAP.

Para filtrar os registros, você pode configurar as seguintes propriedades para o Fonte em lote de hub aberto do SAP BW.

Os indicadores a seguir são usados para definir os campos:

  • (M): indica que as macros são compatíveis com o campo correspondente
  • (O): campo opcional

Rótulo: rótulo do plug-in na tela.

Básico

Na lista de propriedades a seguir, "(M)" significa que a opção oferece suporte a macros, e elas podem ser usadas para gerenciar de maneira centralizada as conexões SAP. Por exemplo, é possível usar macros para as propriedades de conexão e definir os valores no ambiente de execução usando parâmetros de execução ou um plug-in Argument Setter.

  • Nome de referência: nome usado para identificar exclusivamente a origem para a linhagem. e anotação de metadados.

  • Usar conexão (ativar/desativar): se uma conexão existente será usada Consulte Gerenciar conexões. Se você optar por usar uma conexão existente, não será necessário fornecer detalhes de conexão SAP.

  • Conexão (procurar conexões): escolha a conexão atual. Você também pode usar a função de macro ${conn(connection-name)}.

  • Cliente SAP (M): o cliente SAP a ser usado. Por exemplo, 100.

  • SAP Language (M): idioma de logon SAP. Por exemplo, EN.

  • Tipo de conexão: tipo de conexão SAP (direta ou com balanceamento de carga). Conexões com carga balanceada não são compatíveis com a cadeia de processos extração. Para mais informações, consulte Detalhes de suporte.

    Selecionar um tipo de conexão muda os campos disponíveis.

    Para uma conexão direta, os seguintes campos estão disponíveis:

    • Host do servidor de aplicativos SAP (M): o nome do servidor SAP ou o endereço IP.
    • Número do sistema SAP (M): o número do sistema SAP. Por exemplo, 00.
    • Roteador SAP (M, O): a string do roteador.

    Para uma conexão balanceada de carga, os seguintes campos estão disponíveis:

    • SAP Message Server Host (M): o nome do host ou o endereço IP da mensagem SAP.
    • Serviço ou número da porta do SAP Message Server (M): o serviço ou o número da porta do SAP Message Server. Por exemplo, sapms02.
    • ID do sistema SAP (SID, na sigla em inglês) (M): o ID do sistema SAP. Por exemplo, N75.
    • SAP Logon Group Name (M): o nome do grupo de logon do SAP. Por exemplo, PUBLIC.

  • Use Process Chain (M): esse campo contém duas opções.

    Se você ativar a cadeia de processos usando a opção Sim, as seguintes propriedades serão ativadas:

    • Resolve automaticamente erros de PC e DTP: controla o comportamento quando um execução anteriormente com falha é identificada. Quando desativado, o plug-in falha pipeline com os erros relevantes. Quando ativado (padrão), o plug-in verifica a cadeia de processos e o status do processo de transferência de dados no SAP. Se algum dos seguintes erros for identificado, o plug-in tentará resolvê-los automaticamente:

    • Data Transfer Process in error state: o plug-in exclui a solicitação anterior

    • Cadeia de processos em estado vermelho com erro previous request status has not been set: O plug-in exclui a solicitação de bloqueio depois de receber o ID da solicitação. no registro da Cadeia de Processos e, em seguida, tenta executar o PC.

    • Tempo de espera da notificação do status da cadeia do processo (em minutos) (M, O): Aguarda o tempo determinado, em minutos, para a cadeia de processos concluir o preparo de dados e notificar o pipeline para iniciar a extração. Se você especificar 0 ou deixe em branco, o valor será definido como 10 minutos, que é o padrão.

    • Processo em cadeia (M): o nome do processo em cadeia do SAP. Por exemplo, PC_RFC.

    Se você desativar a cadeia de processos usando a opção Não, as seguintes propriedades serão ativadas:

    • Open Hub Destination (M): nome do destino do hub aberto para leitura.
    • Request ID (M,O): código da solicitação para o processo de transferência de dados já executado.

Credenciais

  • Nome de usuário de logon do SAP (M): nome de usuário do SAP. Recomendado: se o nome de usuário de logon do SAP mudar periodicamente, use uma macro.
  • Senha de logon SAP (M): senha de usuário SAP. Recomendado: para valores confidenciais, como Senha do usuário, use macros seguras

Detalhes do SAP JCo

  • ID do projeto do GCP (M): o ID do projeto do Google Cloud, que identifica identifica um projeto. Ele pode ser encontrado no "Painel" na console do Google Cloud.
  • Caminho do GCS da biblioteca SAP JCo (M): o caminho do Cloud Storage que contém os arquivos da biblioteca SAP JCo enviados pelo usuário.
  • Get Schema: clique aqui se quiser que o plug-in gere um esquema com base nos metadados do SAP, com mapeamento automático dos tipos de dados do SAP para os tipos de dados correspondentes do Cloud Data Fusion. A funcionalidade é a mesma do botão Validar.

Para mais informações sobre os certificados do cliente, consulte Como usar certificados de cliente X.509 no SAP NetWeaver Application Server para ABAP

Avançado

  • Number of Splits to Generate (M, O): o número de divisões é usado para particionar os dados de entrada. Mais partições aumentam o nível de paralelismo, mas exigem mais recursos e sobrecarga. No caso de um sistema SAP local, se o valor não for especificado na interface, as divisões serão de 50% dos processos de trabalho de diálogo disponíveis no SAP. Caso contrário, as divisões são otimizadas entre o usuário especificado e 50% dos processos de trabalho disponíveis.

    Recomendado: deixe a propriedade em branco, a menos que você conheça sua Configurações do sistema SAP.

  • Propriedades de conexão SAP adicionais (M, O): configurar JCo SAP adicionais que substituem os valores padrão do SAP JCo. Por exemplo: a definição de jco.destination.pool_capacity = 10 substitui a conexão padrão e a capacidade do pool.

    A tabela a seguir lista as propriedades do SAP JCo compatíveis:

    Propriedade Descrição
    jco.destination.peak_limit Número máximo de conexões ativas que podem ser criadas para um destino simultaneamente.
    jco.destination.pool_capacity Número máximo de conexões inativas mantidas abertas pelo destino. Um valor de 0 tem o efeito de não haver pool de conexões, ou seja, as conexões serão encerradas após cada solicitação.
    jco.destination.expiration_time Tempo em ms depois que as conexões mantidas pelo pool interno podem ser fechadas.
    jco.destination.expiration_check_period Intervalo em ms em que a linha de execução do verificador de tempo limite verifica a expiração das conexões no pool.
    jco.destination.max_get_client_time Tempo máximo em ms para aguardar uma conexão, se o número máximo de conexões permitidas for alocado pelo aplicativo.

Comportamento dos modos de extração de dados

O modo de extração de dados é controlado pelo processo da Transferência de dados configurações. O comportamento é diferente ao usar uma cadeia de processos em comparação com um destino de hub aberto.

Ao usar uma cadeia de processos

As configurações no nível do processo de transferência de dados controlam se uma variação carregamento é realizado. O ID de solicitação chega como uma notificação da SAP para o plug-in. O plug-in lê os dados de pacotes associados a esse único ID de solicitação.

Ao usar o destino do Open Hub sem um ID de solicitação

Carga total: a execução do pipeline pela primeira vez recebe todos os IDs de solicitação disponíveis na tabela do Hub aberto. O plug-in lê os dados de pacote associados a esses IDs de solicitação.

Carga delta: executar o mesmo pipeline na próxima vez busca todos os IDs de solicitação delta disponíveis após o último ID buscado. O plug-in lê os dados de pacotes associados a esses IDs de solicitação.

Ao usar o destino de hub aberto com ID da solicitação

Carga total: executar o pipeline pela primeira vez disponibiliza todas as próximas IDs de solicitação maiores que o ID de solicitação especificado. O plug-in lê os dados de pacote associados a esses IDs de solicitação.

Carga delta: executar o mesmo pipeline na próxima vez busca todos os IDs de solicitação delta disponíveis após o último ID buscado. O plug-in lê dados de pacote associados a esses IDs de solicitação.

Mapeamento de tipo de dados

A tabela a seguir mostra o mapeamento entre os tipos de dados usados no SAP BW e o Cloud Data Fusion.

Tipo de dados BW Tipo ABAP Descrição (SAP) Tipo de dados do Cloud Data Fusion
Numérico
INT1 b Inteiro de 1 byte integer
INT2 s Inteiro de 2 bytes integer
INT4 i Inteiro de 4 bytes integer
INT8 8 Inteiro de 8 bytes long
DEZ p Número no pacote no formato BCD (DEC) decimal
DF16_DEC
DF16_RAW		 a Ponto flutuante decimal de 8 bytes IEEE 754r decimal
DF34_DEC
DF34_RAW		 e Ponto flutuante decimal de 16 bytes IEEE 754r decimal
FLTP f Número de ponto flutuante binário double
Caractere
CHAR
LCHR		 c String de caracteres string
SSTRING
GEOM_EWKB		 string String de caracteres string
STRING string CLOB de string de caracteres bytes
NUMC
ACCP		 n Texto numérico string
Byte
RAW
LRAW		 x Dados binários bytes
RAWSTRING xstring String de bytes BLOB bytes
Data/hora
DATS d Data date
TIMS t Hora time
TIMESTAMP utcl TimeStamp
Utclong (link em inglês)		 timestamp

Validação

Clique em Validar ou Usar esquema.

O plug-in valida as propriedades e gera um esquema com base nos metadados da SAP. Ele mapeia automaticamente os tipos de dados SAP para o Tipos de dados do Cloud Data Fusion.

Executar um pipeline de dados

  1. Depois de implantar o pipeline, clique em Configurar.
  2. Selecione Recursos.
  3. Se necessário, altere a CPU do Executor e a Memória com base no tamanho geral dos dados e no número de transformações usadas no pipeline.
  4. Clique em Save.
  5. Para iniciar o pipeline de dados, clique em Executar.

Otimizar o desempenho

Otimizar a configuração do plug-in

Use as propriedades a seguir para um desempenho ideal ao executar o pipeline:

  • Número de divisões a serem geradas no plug-in do Cloud Data Fusion propriedades: controla diretamente o paralelismo na do Cloud Data Fusion. O mecanismo de ambiente de execução cria o número especificado de partições e conexões SAP ao extrair os registros da tabela. Os valores entre 8 e 16 são recomendados, mas é possível aumentar até 32 ou 64 com a configuração apropriada do SAP, alocando recursos de memória apropriados para os processos de trabalho no SAP.

    Se o valor for 0 ou deixado em branco (recomendado), o sistema automaticamente escolher um valor apropriado com base no número de trabalhos SAP disponíveis; processos, registros a serem extraídos e o tamanho do pacote.

  • Tamanho do pacote nas propriedades do processo de transferência de dados do BW: isso controla o número de registros de dados presentes em um pacote de dados individual. O valor padrão é 50,000. Aumentar esse valor pode resultar em um desempenho melhor, mas uma carga de recursos maior. Se você já estiver usando valores mais altos, diminua-o para para permitir um melhor carregamento em paralelo da extração.

Configurações de recursos do Cloud Data Fusion

Recomendado: use 1 CPU e 4 GB de memória por executor. Esse valor se aplica a cada processo de executor. Defina esses valores na caixa de diálogo Configurar > Recursos.

Configurações de cluster do Dataproc

Recomendado: aloque um total de CPUs entre workers, no mínimo que o número de divisões pretendido. Consulte Configuração do plug-in.

Por exemplo, se você tiver 16 divisões, defina 20 ou mais CPUs no total, entre todos os workers. Há uma sobrecarga de 4 CPUs usadas para coordenação de equipe.

Recomendado: use um cluster permanente do Dataproc para reduzir o tempo de execução do pipeline de dados. Isso elimina a etapa de provisionamento, que pode levar alguns minutos ou mais. Faça isso na seção de configuração do Compute Engine.

Detalhes do suporte

Produtos e versões do SAP compatíveis

Origens compatíveis:

  • SAP NW BW 7.5 e mais recente
  • SAP BW4HANA 2.0 SP9 (para incluir a API Open Hub Destination; anteriormente versões do BW4HANA não oferecem suporte à API Open Hub Destination)

Suporte para conexão SAP com balanceamento de carga (servidor de mensagens)

A conexão SAP balanceada de carga (servidor de mensagens) é compatível com a extração baseada na destinação do hub aberto, em que um servidor RFC não é usado.

A conexão com balanceamento de carga SAP (servidor de mensagens) não é compatível com o processo extração baseada em cadeia. O motivo é uma limitação do SAP ao fornecer notificação data ready ao sistema do cliente, que exige o registro do servidor RFC (ouvinte de plug-in) em cada servidor SAP no ambiente BW, aumentando a pegada do conector e potencialmente afetando o desempenho do SAP e o uso de recursos. Para mais informações, consulte a Nota SAP 2572564 (é necessário fazer login no suporte da SAP para visualizar).

Modelos de implantação SAP compatíveis

O plug-in é testado com servidores SAP implantados no Google Cloud.

Objetos SAP com suporte

Origens de dados para o destino do Open Hub: InfoProviders (InfoObject, InfoCube, DataStore Object, Advanced Data Store Object, Composite Provider)

Processar cadeias para executar automaticamente o processo de transferência de dados no Open Destino do hub.

Licença separada para usar o Oracle HTTP Server para extrair dados do SAP

Você não precisa de uma licença separada para usar o Oracle HTTP Server (OHS) para extrair dados do SAP. No entanto, verifique com o representante da SAP sobre seu contrato e caso de uso específico.

Capacidade esperada do plug-in

Para um ambiente configurado de acordo com as diretrizes em Otimizar o desempenho, o plug-in pode extrair cerca de 38 GB por hora. O desempenho real pode variar Carga ou tráfego de rede do Cloud Data Fusion e do sistema SAP.

A seguir