Esta página descreve como carregar dados de Salesforce sObjects para Google Cloud com o Cloud Data Fusion. O plug-in de origem em lote do Salesforce lê sObjects do Salesforce. Os sObjects são as tabelas do Salesforce que você planeja extrair. Alguns exemplos de sObjects incluem oportunidades, contatos, contas, leads e objetos personalizados.
O plug-in de origem em lote do Salesforce oferece suporte à leitura de dados com consultas Salesforce Object Query Language (SOQL) e filtros de data incrementais ou de intervalo.
Antes de começar
- A origem em lote do Salesforce para o Cloud Data Fusion usa a API Salesforce Bulk v1.
- Configure o Salesforce antes de implantar e usar o plug-in do Salesforce para o Cloud Data Fusion. Para mais informações, consulte Criar um app conectado do Salesforce para o Cloud Data Fusion.
Configurar o plug-in
- Acesse a interface da Web do Cloud Data Fusion e clique em Studio.
- Verifique se a opção Pipeline de dados – lote está selecionada (não Tempo real).
- No menu Origem, clique em Salesforce. O nó do Salesforce aparece no seu pipeline. Se a origem do Salesforce não aparecer na página Studio, implante os plug-ins do Salesforce no Hub do Cloud Data Fusion.
- Para configurar a origem, acesse o nó do Salesforce e clique em Propriedades.
Insira as seguintes propriedades. Para uma lista completa, consulte Propriedades.
- Insira um Rótulo para o nó do Salesforce, por exemplo,
Salesforce tables
. - Insira um Nome de referência para a origem do Salesforce para a linhagem, por exemplo,
Salesforce tables
. Insira os detalhes da conexão. É possível configurar uma nova conexão única ou uma conexão existente e reutilizável.
Nova conexão
Para adicionar uma conexão única ao Salesforce, siga estas etapas:
- Mantenha a opção Usar conexão desativada.
Na seção Conexão, insira as seguintes informações da conta do Salesforce nestes campos:
- Nome de usuário
- Senha
- Token de segurança
- Chave do cliente
- Chave secreta do consumidor
Para conferir as credenciais do Salesforce, consulte Receber propriedades do Salesforce.
Conexão reutilizável
Para reutilizar uma conexão existente, siga estas etapas:
- Ative a opção Usar conexão.
- Clique em Procurar conexões.
Clique no nome da conexão.
Opcional: se uma conexão não existir e você quiser criar uma nova conexão reutilizável, clique em Adicionar conexão e consulte as etapas na guia Nova conexão.
Insira o nome do SObject para carregar todas as colunas do objeto.
Opcional: se você selecionar o nome do sObject, poderá filtrar os dados com os seguintes campos:
- Última modificação após: inclui apenas registros que foram modificados pela última vez após um determinado horário.
- Última modificação antes: inclui apenas registros que foram modificados pela última vez antes de um determinado horário.
- Duração: inclui apenas registros que foram modificados pela última vez em uma janela de tempo do tamanho especificado.
- Deslocamento: inclui apenas registros em que a data da última modificação é menor que o horário de início lógico do pipeline, menos o deslocamento fornecido.
Opcional: para melhorar o desempenho de um pipeline com sObjects com suporte, ative a opção Ativar fragmentação de PK. Para mais informações, consulte Melhorar o desempenho com o agrupamento de PKs.
Opcional: em vez de especificar o nome do sObject, você pode inserir uma consulta SOQL, como
SELECT LastName from Contact
. Para mais informações, consulte Consultas SOQL para a origem do Salesforce.Para testar a conectividade, clique em Usar esquema. O Cloud Data Fusion se conecta ao Salesforce e extrai o esquema da tabela listada (tecnicamente, um sObject).
- Insira um Rótulo para o nó do Salesforce, por exemplo,
Propriedades
Propriedade | Macro ativada | Propriedade obrigatória | Descrição |
---|---|---|---|
Nome de referência | Não | Sim | Usado para identificar exclusivamente essa origem para tarefas, como linhagem, anotação de metadados. |
Usar conexão | Não | Não | Use uma conexão atual. Se uma conexão for usada, não será necessário fornecer as credenciais. |
Procurar conexões | Sim | Não | Nome da conexão a ser usada. |
Nome de usuário | Sim | Sim | Nome de usuário do Salesforce. |
Senha | Sim | Sim | Senha do Salesforce. |
Token de segurança | Sim | Não | Token de segurança do Salesforce. Se a senha não contiver o token de segurança, o Cloud Data Fusion vai anexar o token antes de autenticar com o Salesforce. |
Chave do cliente | Sim | Sim | Chave de cliente do app. Também chamado de ID do cliente OAuth. Para conseguir uma chave de consumidor, crie um aplicativo conectado do Salesforce. |
Chave secreta do consumidor | Sim | Sim | Secret do consumidor do aplicativo. Isso também é chamado de chave secreta do cliente OAuth. Para conseguir uma chave secreta do cliente, crie um aplicativo conectado do Salesforce. |
URL de login | Sim | Sim | URL de login do Salesforce OAuth2. O padrão é https://login.salesforce.com/services/oauth2/token |
Tempo limite de conexão | Sim | Não | Tempo máximo, em milissegundos, para aguardar a inicialização da conexão
antes do tempo limite. O padrão é 30.000 milissegundos. |
URL do proxy | Sim | Não | URL do proxy, que contém um protocolo, endereço e porta. |
SOQL | Sim | Não | Uma consulta SOQL para buscar dados na origem. Exemplos:
|
Nome do SObject | Sim | Não | Nome do objeto do Salesforce a ser lido. Se o valor for fornecido, o conector vai receber todos os campos desse objeto do Salesforce e gerar uma consulta SOQL, como select FIELD_1, FIELD_2 from
${sObjectName} . Será ignorado se a consulta SOQL for fornecida.Há também sObjects que não têm suporte na API Salesforce Bulk. A criação de um job com um objeto sem suporte causa o seguinte erro: Entity is not supported by the Bulk
API . Esses objetos também não têm suporte do Einstein Analytics, que usa a API Bulk para consultar dados.Casos em que a API BULK não é usada:quando o comprimento da consulta envia a consulta ao Salesforce para receber a matriz de informações do lote, a API Bulk não é usada em um caso. Se a consulta estiver dentro do limite, ela vai executar a consulta original. Caso contrário, ele muda para a lógica de objeto amplo. Por exemplo, ele gera uma consulta de ID que recupera apenas informações de lote para IDs que serão usados mais tarde para recuperar dados pela API SOAP. |
Última modificação depois de | Sim | Não | Filtre os dados para incluir apenas registros em que o campo do sistema,
LastModifiedDate , é maior ou igual à data
especificada. Use o formato de data do Salesforce (confira
exemplos). Se nenhum valor for fornecido,
nenhuma data mínima será aplicada. |
Última modificação antes de | Sim | Não | Filtre os dados para incluir apenas registros em que o campo do sistema,
LastModifiedDate , é menor que a data especificada. Use o
formato de data do Salesforce
(confira os exemplos). Especificar esse valor
com a propriedade Last modified after permite ler dados
que foram modificados em um período. Se nenhum valor for fornecido, nenhuma
data limite superior será aplicada. |
Duração | Sim | Não | Filtre os dados para ler apenas registros que foram modificados pela última vez em uma
janela de tempo do tamanho especificado. Por exemplo, se a duração for 6 hours e o pipeline for executado às 9h, ele vai ler os dados que foram atualizados pela última vez entre 3h (inclusive) e 9h (exclusivo).
Especifique a duração com números e as seguintes unidades de tempo:
2 days, 1 hours, 30 minutes . Se um valor já tiver sido especificado para Última modificação após ou Última modificação antes, a duração será ignorada. |
Deslocamento | Sim | Não | Filtre os dados para ler apenas registros em que o campo do sistema,
LastModifiedDate , é menor que o horário de início lógico do
pipeline, menos o deslocamento fornecido. Por exemplo, se a duração for
6 hours , o deslocamento for 1 hours e o pipeline
for executado às 9h, os dados que foram modificados pela última vez entre 2h
(inclusive) e 8h (exclusivo) serão lidos.Especifique a duração usando números e as seguintes unidades de tempo:
2 days, 1 hours, 30 minutes . Se um valor já tiver sido especificado para Ultima modificação após ou Ultima modificação antes, o deslocamento será ignorado. |
Tipo de operação SOQL | Não | Não | Especifique a operação de consulta a ser executada na tabela. Se uma consulta for selecionada,
apenas os registros atuais serão retornados. A seleção de queryAll
retorna todos os registros atuais e excluídos.A operação padrão é query . |
Ativar o agrupamento de PKs | Sim | Não | O fragmentação da chave primária (PK) divide uma consulta em tabelas grandes em partes, ou
fragmentos, com base nos IDs de registro ou nas chaves primárias dos registros consultados. O Salesforce recomenda ativar o agrupamento de PKs ao consultar tabelas com mais de 10 milhões de registros ou quando uma consulta em massa expira constantemente. Para mais informações, consulte Divisão de PKs. O agrupamento de PKs só funciona com consultas que não incluem cláusulas SELECT ou condições diferentes de WHERE .
O agrupamento é aceito para objetos personalizados e qualquer tabela de compartilhamento e histórico
que aceite objetos padrão. |
Tamanho do bloco | Sim | Não | Especifique o tamanho do bloco. O tamanho máximo é 250.000. O tamanho padrão é 100.000. |
Nome do pai do SObject | Sim | Não | Pai do objeto do Salesforce. Isso é usado para ativar o agrupamento de tabelas de histórico ou objetos compartilhados. |
Exemplos de formato de data do Salesforce
Sintaxe do formato | Exemplo |
---|---|
YYYY-MM-DDThh:mm:ss+hh:mm |
1999-01-01T23:01:01+01:00 |
YYYY-MM-DDThh:mm:ss-hh:mm |
1999-01-01T23:01:01-08:00 |
YYYY-MM-DDThh:mm:ssZ |
1999-01-01T23:01:01Z |
Mapeamentos de tipo de dados
A tabela a seguir é uma lista de tipos de dados do Salesforce com os tipos CDAP correspondentes.
Tipo de dados do Salesforce | Tipo de dados do esquema CDAP |
---|---|
_bool |
boolean |
_int |
int |
_long |
long |
_double , currency , percent ,
geolocation (latitude), geolocation
(longitude) |
double |
date |
date |
datetime |
timestamp (microssegundos) |
time |
time (microssegundos) |
picklist |
string |
multipicklist |
string |
combobox |
string |
reference |
string |
base64 |
string |
textarea |
string |
phone |
string |
id |
string |
url |
string |
email |
string |
encryptedstring |
string |
datacategorygroupreference |
string |
location |
string |
address |
string |
anyType |
string |
json |
string |
complexvalue |
string |
Casos de uso
Confira os seguintes casos de uso da fonte em lote do Salesforce:
Práticas recomendadas
Para mais informações sobre como melhorar a performance na origem de lote do Salesforce, consulte as práticas recomendadas.
Notas de lançamento
A seguir
- Siga um tutorial do plug-in do Salesforce.