O plug-in SAP ODP permite a integração de dados em massa de aplicativos SAP com o BigQuery ou outros sistemas de destino compatíveis usando o Cloud Data Fusion. O plug-in tem os seguintes recursos principais:
- Usa SAP ECC, SAP S4/HANA ou SAP BW como um sistema de origem
- Usa a CDC (captura de dados alterados) do SAP para rastrear e extrair dados novos e delta nas fontes de dados.
- Usa o modo de extração em lote
- Compatível com SAP DataSources e visualizações do ABAP CDS como fontes de dados
Versões de software compatíveis
Software | Versões |
---|---|
SAP S4/HANA | SAP S4/HANA 1909 e versões mais recentes |
SAP ECC | SAP ERP6 NW 7.31 SP16 e posterior |
SAP JCo | SAP JCo versão 3.0.20 e mais recente |
Cloud Data Fusion | 6.3 e versões mais recentes |
Para mais informações sobre o SAP em Google Cloud, consulte a Visão geral do SAP em Google Cloud.
Antes de começar
Configure os seguintes sistemas e serviços usados pelo plug-in SAP ODP:
- Configure o sistema ERP da SAP.
Esse processo inclui as seguintes etapas:
- Instale os arquivos de transporte SAP.
- Configure as autorizações e os papéis necessários do SAP.
- Configure o SAP Java Connector.
Implante o plug-in do ODP no Cloud Data Fusion.
- Importante: escolha uma versão do plug-in compatível com a versão do Cloud Data Fusion.
- Se você fizer upgrade da versão da instância ou do plug-in do Cloud Data Fusion, avalie o impacto das mudanças no escopo funcional e na performance do pipeline.
Estabeleça a conectividade RFC entre o Cloud Data Fusion e o SAP.
- Verifique se a comunicação está ativada entre a instância do Cloud Data Fusion e o servidor SAP.
- Para instâncias particulares, configure o peering de rede VPC.
- O sistema SAP e a instância do Cloud Data Fusion precisam estar no mesmo projeto.
Configurar o plug-in
- Acesse a interface da Web do Cloud Data Fusion e clique em Studio.
- Verifique se a opção Pipeline de dados – lote está selecionada (não Em tempo real).
- No menu Origem, clique em SapODP. O nó do SAP ODP aparece no pipeline.
- Para configurar a origem, acesse o nó do SAP ODP e clique em Propriedades.
Insira as seguintes propriedades. Para uma lista completa, consulte Propriedades.
- Insira um rótulo para o nó do SAP ODP, por exemplo,
SAP ODP tables
. Insira os detalhes da conexão. É possível configurar uma conexão única ou uma conexão reutilizável.
Nova conexão
Para adicionar uma conexão única ao SAP, siga estas etapas:
- Mantenha a opção Usar conexão desativada.
Na seção Conexão, insira as seguintes informações da conta SAP nestes campos:
- No campo Nome de referência, insira um nome para a conexão que identifica essa origem para linhagem.
- No campo Cliente SAP, insira o nome do cliente de uma instância ou ambiente específico no SAP. Um administrador do SAP pode fornecer o nome do cliente.
- No campo Idioma SAP, insira um idioma de logon do SAP. O padrão é EN (inglês).
Selecione um dos seguintes Tipos de conexão.
- Direto (via servidor de aplicativos SAP). Se você escolher esse tipo padrão, insira informações nos seguintes campos: Host do servidor de aplicativos SAP, Número do sistema SAP e SAP Router.
- Balanceamento de carga (via servidor de mensagens SAP). Se você escolher esse tipo, insira informações nos seguintes campos: Host do SAP Message Server, Serviço ou número da porta do SAP Message Server, ID do sistema SAP (SID) e Nome do grupo de logon do SAP.
No campo Contexto, selecione o tipo de fonte de dados que você está usando.
No campo Nome da origem ODP do SAP, insira o nome da fonte de dados que você está usando.
No campo Tipo de extração, selecione o tipo de extração de dados. O padrão é Completo (todos os dados).
Forneça as credenciais do SAP: peça ao administrador do SAP o nome de usuário de logon do SAP e a senha.
No campo Caminho do Cloud Storage da biblioteca JCo, insira o caminho do SAP Java Connector (SAP JCo) no Cloud Storage que contém os arquivos da biblioteca SAP JCo que você enviou.
Para gerar um esquema com base nos metadados da SAP que mapeia tipos de dados da SAP para tipos de dados correspondentes do Cloud Data Fusion, clique em Receber esquema. Para mais informações, consulte Mapeamentos de tipo de dados.
Opcional: para otimizar a carga de ingestão do SAP, insira informações nos seguintes campos:
- No campo Nome do assinante do ODP de SAP, identifique o assinante para a extração de dados de um DataSource válido.
- Com as Opções de filtro, é possível extrair registros com base em condições de seleção.
- No campo Número de divisões, é possível criar partições para extrair registros de dados em paralelo, o que melhora a performance. O número de divisões pode afetar os processos de trabalho do SAP e precisa ser selecionado com cuidado.
- No campo Tamanho do pacote, especifique o número de registros a serem extraídos em uma única chamada de rede SAP. O tamanho do pacote afeta o desempenho e os recursos disponíveis e precisa ser selecionado com cuidado.
Conexão reutilizável
Para reutilizar uma conexão, siga estas etapas:
- Ative a opção Usar conexão.
- Clique em Procurar conexões.
Clique no nome da conexão.
Se não houver uma conexão, siga estas etapas para criar uma reutilizável:
- Clique em Adicionar conexão > SapOdp.
- Na página Criar uma conexão do SapOdp, insira um nome e uma descrição para a conexão.
- No campo Cliente SAP, insira o nome do cliente de uma instância ou ambiente específico no SAP. Um administrador do SAP pode fornecer o nome do cliente.
- No campo Idioma SAP, insira um idioma de logon do SAP. O padrão é EN (inglês).
Selecione um dos seguintes Tipos de conexão.
- Direto (via servidor de aplicativos SAP). Se você escolher esse tipo padrão, insira informações nos seguintes campos: Host do servidor de aplicativos SAP, Número do sistema SAP e SAP Router.
- Balanceamento de carga (via servidor de mensagens SAP). Se você escolher esse tipo, insira informações nos seguintes campos: Host do servidor de mensagens SAP, Serviço ou número da porta do servidor de mensagens SAP, ID do sistema SAP (SID) e Nome do grupo de logon SAP.
No nome da origem do ODP do SAP, insira o nome do DataSource do ODP do SAP.
Forneça as credenciais da SAP: peça ao administrador da SAP os valores de nome de usuário de logon da SAP e senha.
No campo Caminho do Cloud Storage da biblioteca JCo, insira o caminho do SAP Java Connector (SAP JCo) no Cloud Storage que contém os arquivos da biblioteca SAP JCo que você enviou.
No campo Tempo de espera, insira um tempo de espera (em segundos) antes da próxima tentativa. Por exemplo,
60
.No campo Contagem de novas tentativas, insira o número máximo de tentativas. Por exemplo,
3
.Opcional: no campo Propriedades adicionais da conexão SAP, insira pares de chave-valor que precisam substituir os padrões do SAP JCo.
Clique em Criar.
- Insira um rótulo para o nó do SAP ODP, por exemplo,
Propriedades
Propriedade | Ativada para macros | Propriedade obrigatória | Descrição |
---|---|---|---|
Rótulo | Não | Sim | O nome do nó no pipeline de dados. |
Usar conexão | Não | Não | Use uma conexão reutilizável. Se uma conexão for usada, não será necessário fornecer as credenciais. Para mais informações, consulte Gerenciar conexões. |
Nome | Não | Sim | O nome da conexão reutilizável. |
Cliente SAP | Sim | Sim | A instância ou o ambiente específico em um sistema SAP. |
Idioma SAP | Sim | Sim | O idioma em que a interface do usuário e os dados do SAP são exibidos e processados. |
Tipo de conexão | Não | Sim | O tipo de conexão SAP: Direta ou Balanceamento de carga. |
Host do servidor de aplicativos SAP | Sim | Não | Somente para o tipo de conexão Direta, esse nome de host é do servidor de aplicativos SAP, que serve como uma camada de middleware entre clientes SAP (como a interface da Web SAP, navegadores da Web ou apps móveis) e o banco de dados subjacente. |
Número do sistema SAP | Sim | Não | Apenas para o tipo de conexão Direta, esse número é o identificador exclusivo atribuído a cada sistema SAP. Por exemplo,
00 . |
SAP Router | Sim | Não | Somente para o tipo de conexão Direta, essa é a string do roteador para o servidor proxy, que fornece um canal seguro para comunicação entre sistemas SAP e clientes ou parceiros externos. |
Host do servidor de mensagens SAP | Sim | Não | Apenas para o tipo de conexão Balanceamento de carga, este é o nome do host, que facilita o balanceamento de carga em vários servidores de aplicativos no SAP. |
Serviço ou número da porta do SAP Message Server | Sim | Não | Somente para o tipo de conexão Balanceamento de carga, essa é a porta de rede em que o SAP Message Server escuta conexões recebidas de clientes e servidores de aplicativos SAP. |
ID do sistema SAP (SID) | Sim | Não | Somente para o tipo de conexão Balanceamento de carga, esse ID é atribuído a cada sistema SAP. |
Nome do grupo de logon da SAP | Sim | Não | O nome do agrupamento lógico ou da configuração de vários servidores de aplicativos SAP. O padrão é PUBLIC . |
Tipo de objeto | N/A | N/A | Os tipos de objetos compatíveis são: DataSources/Extractors ou ABAP Core Data Services. |
Nome da origem do SAP ODP | Sim | Sim | O nome da SAP DataSources ou da visualização CDS (por exemplo,
2LIS_02_ITM ). |
Tipo de extração | Sim | Sim | O plug-in é compatível com os dois tipos de extração de dados a seguir:
|
Nome de usuário de logon SAP | Sim | Sim | Nome de usuário do SAP Recomendado: se o nome de usuário mudar periodicamente, use uma macro. |
Senha de logon da SAP | Sim | Sim | Senha do SAP. Recomendado: use macros seguras. |
ID do projeto do GCP | Sim | Sim | ID do projetoGoogle Cloud . |
Caminho do GCS da biblioteca SAP JCo | Sim | Sim | O caminho para o Cloud Storage em que você fez upload dos arquivos da biblioteca SAP JCo. |
Gerar esquema | N/A | N/A | O plug-in gera um esquema com base nos metadados do SAP, que mapeia os tipos de dados do SAP para os tipos de dados correspondentes do Cloud Data Fusion. Consulte Mapeamento de tipo de dados. |
Nome do assinante do ODP do SAP | Sim | Sim | O assinante do ODP para a extração de dados de um DataSource
ou visualização de CDS do SAP válido. Ele precisa ter o seguinte:
|
Tempo de espera | Sim | Não | Essa propriedade permite que os engenheiros de dados selecionem um tempo de espera adequado após cada chamada de rede do Cloud Data Fusion para o SAP. |
Contagem de repetições | Sim | Não | O número de tentativas de repetição enquanto aguarda a conclusão da chamada de rede. |
Opções de filtro (igual) | Sim | Não | O valor que um campo precisa ter para ser lido. As opções de filtro são listas de nomes de campos de metadados e os pares de valores deles. Elas definem a condição de filtro a ser aplicada ao ler dados de uma fonte de dados do SAP. Somente os registros que satisfazem as condições são extraídos. A chave de filtro corresponde a um campo no esquema. Ele precisa ser de um tipo simples (não ARRAY , RECORD ou UNION ). Exemplo de uso:Nome do campo: MTART Valor: FERT |
Opções de filtro (intervalo) | Sim | Não | Os limites baixo e alto que um valor de campo precisa ter para ser lido. As opções de filtro são listas de nomes de campos de metadados e os pares de valores deles. Elas definem a condição de filtro a ser aplicada ao ler dados de uma fonte de dados do SAP. Somente os registros que satisfazem as condições são extraídos. A chave de filtro corresponde a um campo no esquema. Ele tem o formato baixo E alto. Exemplo de uso: Nome do campo: ERDAT Valor baixo: 2023-11-01 Valor alto: 2023-11-30 |
Opções de filtro (menor ou igual a) | Sim | Não | O valor que um campo precisa ser menor ou igual a. As opções de filtro são listas de nomes de campos de metadados e os pares de valores deles. Elas definem a condição de filtro a ser aplicada ao ler dados de uma fonte de dados do SAP. Somente os registros que satisfazem as condições são extraídos. A chave de filtro corresponde a um campo no esquema. Ele precisa ser de um tipo simples (não ARRAY , RECORD ou UNION ). Exemplo de uso:Nome do campo: MATNR Valor: 10008 |
Opções de filtro (maior ou igual a) | Sim | Não | O valor que um campo precisa ser maior para ser lido. As opções de filtro são listas de nomes de campos de metadados e os pares de valores deles. Elas definem a condição de filtro a ser aplicada ao ler dados de uma fonte de dados do SAP. Somente os registros que satisfazem as condições são extraídos. A chave de filtro corresponde a um campo no esquema. Ele precisa ser de um tipo simples (não ARRAY , RECORD ou UNION ). Exemplo de uso:Nome do campo: MATNR Valor: 10008 |
Opções de filtro (diferente de) | Sim | Não | Define o valor que um campo não pode ter para ser lido. As opções de filtro são listas de nomes de campos de metadados e os pares de valores deles. Elas definem a condição de filtro a ser aplicada ao ler dados de uma fonte de dados do SAP. Somente os registros que satisfazem as condições são extraídos. A chave de filtro corresponde a um campo no esquema. Ele precisa ser de um tipo simples (não ARRAY , RECORD ou UNION ). Exemplo de uso:Nome do campo: MTART Valor: FERT |
Número de divisões a serem geradas | Sim | Não | Cria partições para extrair registros em paralelo. O mecanismo do ambiente de execução cria o número especificado de partições (e conexões SAP) enquanto extrai os registros. Tenha cuidado ao aumentar esse valor, porque ele aumenta as conexões simultâneas com o SAP. Recomendado: planeje as conexões SAP para cada pipeline e o número total de pipelines em execução simultânea. Se o valor for 0 ou for deixado em branco, o Cloud Data Fusion vai escolher um valor adequado com base no número de executores disponíveis, nos registros a serem extraídos e no tamanho do pacote. |
Tamanho do pacote (em KB) | Sim | Não | O número de registros a serem extraídos em uma única chamada de rede SAP. É o número de registros que o SAP armazena em buffer na memória durante cada chamada de extração de rede. Tenha cuidado ao definir essa propriedade. Vários pipelines de dados que extraem dados podem atingir o pico de uso de memória, causando falhas devido a erros Out of memory .
|
Outras propriedades de conexão do SAP | Sim | Não | Defina outras propriedades do SAP JCo para substituir os padrões.
Por exemplo, definir jco.destination.pool_capacity = 10
substitui a capacidade padrão do pool de conexões. |
Mapeamentos de tipo de dados
A tabela a seguir é uma lista de tipos de dados SAP com os tipos correspondentes do Cloud Data Fusion.
Tipo de dados do SAP | Tipo ABAP | SAP description | Tipo de dados do Cloud Data Fusion |
---|---|---|---|
INT1 (numérico) |
b | Inteiro de 1 byte | int |
INT2 (numérico) |
s | Inteiro de 2 bytes | int |
INT4 (numérico) |
i | Inteiro de 4 bytes | int |
INT8 (numérico) |
8 | Inteiro de 8 bytes | long |
DEC (numérico) |
p | Número no pacote no formato BCD (DEC) | decimal |
DF16_DEC , DF16_RAW (numérico) |
a | Ponto flutuante decimal de 8 bytes IEEE 754r | double |
DF34_DEC , DF34_RAW (numérico) |
e | Ponto flutuante decimal de 16 bytes IEEE 754r | double |
FLTP (numérico) |
f | Número de ponto flutuante binário | double |
CHAR , LCHR (personagem) |
c | String de caracteres | string |
SSTRING , GEOM_EWKB (personagem) |
string | String de caracteres | string |
STRING (caractere) |
string | CLOB de string de caracteres | bytes |
NUMC , ACCP (personagem) |
n | Texto numérico | string |
RAW , LRAW (byte) |
x | Dados binários | bytes |
RAWSTRING (byte) |
xstring | String de bytes BLOB | bytes |
DATS (data/hora) |
d | Data | data |
TIMS (data/hora) |
t | Hora | tempo |
TIMS (data/hora) |
utcl | Utclong), TimeStamp | timestamp |
Limitações
Para garantir que os pipelines sejam definidos e executados corretamente, revise as seguintes limitações do plug-in:
- Não é possível usar pacotes maiores que 50.000.
- Fontes de dados que não oferecem suporte à extração delta falham no modo de sincronização.
- Em uma fonte de dados personalizada, se o tamanho do pacote não for processado, o pipeline vai falhar em extrações de dados grandes.
Casos de uso
Há suporte para dois contextos de extração:
- DataSources ou extratores (SAPI)
- CDS ABAP de contexto ODP (ABAP_CDS)
O plug-in ODP é compatível com as seguintes fontes de dados padrão e personalizadas para os dois contextos:
Fonte de dados da ODP | Contexto | Extração completa | Extração delta |
---|---|---|---|
Pré-entrega padrão da SAP | SAPI | Com suporte | Com suporte |
Personalizado (Z*) | SAPI | Com suporte | Com suporte |
Pré-entrega padrão da SAP | ABAP_CDS | Com suporte | Com suporte |
Personalizado (Z*) | ABAP_CDS | Com suporte | Com suporte |
Notas de lançamento
A seguir
- Saiba mais sobre o Cloud Data Fusion.
- Saiba mais sobre o SAP no Google Cloud.