Cette page explique comment charger des données à partir de Salesforce Objects dans Google Cloudavec Cloud Data Fusion. Le plug-in de source par lot Salesforce lit les sObjects de Salesforce. Les sObjects sont les tables Salesforce à partir desquelles vous prévoyez d'extraire des données. Les opportunités, les contacts, les comptes, les prospects et les objets personnalisés sont des exemples d'objets sObject.
Le plug-in de source par lot Salesforce permet de lire des données à l'aide de requêtes SOQL (Salesforce Object Query Language) et de filtres de date incrémentiels ou par plage.
Avant de commencer
- La source par lot Salesforce Cloud Data Fusion utilise la version 1 de l'API Salesforce Bulk.
- Configurez Salesforce avant de déployer et d'utiliser le plug-in Salesforce Cloud Data Fusion. Pour en savoir plus, consultez la page Créer une application connectée Salesforce pour Cloud Data Fusion.
Configurer le plug-in
- Accédez à l'interface Web de Cloud Data Fusion, puis cliquez sur Studio.
- Vérifiez que Pipeline de données – lot est sélectionné (et non Temps réel).
- Dans le menu Source, cliquez sur Salesforce. Le nœud Salesforce s'affiche dans votre pipeline. Si la source Salesforce ne s'affiche pas sur la page Studio, déployez les plug-ins Salesforce depuis le hub Cloud Data Fusion.
- Pour configurer la source, accédez au nœud Salesforce et cliquez sur Propriétés.
Saisissez les propriétés suivantes. Pour obtenir la liste complète, consultez la section Propriétés.
- Saisissez un libellé pour le nœud Salesforce (par exemple,
Salesforce tables
). - Saisissez un nom de référence pour la source Salesforce de la lignée (par exemple,
Salesforce tables
). Saisissez les informations de connexion. Vous pouvez configurer une connexion ponctuelle ou une connexion existante réutilisable.
Nouvelle connexion
Pour ajouter une connexion ponctuelle à Salesforce, procédez comme suit:
- Laissez l'option Utiliser la connexion désactivée.
Dans la section Connexion, saisissez les informations suivantes du compte Salesforce dans ces champs:
- Username (Nom d'utilisateur)
- Mot de passe
- Jeton de sécurité
- Clé du site consommateur
- Clé secrète du site consommateur
Pour obtenir les identifiants dans Salesforce, consultez la section Obtenir des propriétés à partir de Salesforce.
Connexion réutilisable
Pour réutiliser une connexion existante, procédez comme suit:
- Activez l'option Utiliser la connexion.
- Cliquez sur Parcourir les connexions.
Cliquez sur le nom de la connexion.
Facultatif: Si aucune connexion n'existe et que vous souhaitez en créer une réutilisable, cliquez sur Ajouter une connexion, puis suivez les étapes de l'onglet Nouvelle connexion.
Saisissez le nom de l'objet SObject pour charger toutes les colonnes de l'objet.
Facultatif: Si vous sélectionnez le nom de l'objet sObject, vous pouvez filtrer les données avec les champs suivants:
- Dernière modification après: n'inclut que les enregistrements dont la dernière modification a eu lieu après une heure donnée.
- Dernière modification avant: n'inclut que les enregistrements dont la dernière modification a eu lieu avant une heure donnée.
- Durée: n'inclut que les enregistrements qui ont été modifiés pour la dernière fois dans une période de la taille spécifiée.
- Décalage: n'incluez que les enregistrements dont la date de dernière modification est inférieure à l'heure de début logique du pipeline, moins le décalage donné.
Facultatif: Pour les sObjects compatibles, activez Activer le fractionnement de PK afin d'améliorer les performances d'un pipeline. Pour en savoir plus, consultez la section Améliorer les performances avec le fractionnement de PK.
Facultatif: au lieu de spécifier le nom de l'objet sObject, vous pouvez saisir une requête SOQL, par exemple
SELECT LastName from Contact
. Pour en savoir plus, consultez la section Requêtes SOQL pour la source Salesforce.Pour tester la connectivité, cliquez sur Obtenir un schéma. Cloud Data Fusion se connecte à Salesforce et extrait le schéma de la table listée (techniquement, un sObject).
- Saisissez un libellé pour le nœud Salesforce (par exemple,
Propriétés
Propriété | Macro activée | Propriété obligatoire | Description |
---|---|---|---|
Nom de référence | Non | Oui | Permet d'identifier de manière unique cette source pour des tâches telles que la traçabilité et l'annotation de métadonnées. |
Utiliser la connexion | Non | Non | Utilisez une connexion existante. Si une connexion est utilisée, vous n'avez pas besoin de fournir d'identifiants. |
Parcourir les connexions | Oui | Non | Nom de la connexion à utiliser. |
Nom d'utilisateur | Oui | Oui | Nom d'utilisateur Salesforce. |
Mot de passe | Oui | Oui | Mot de passe Salesforce. |
Jeton de sécurité | Oui | Non | Jeton de sécurité Salesforce. Si le mot de passe ne contient pas le jeton de sécurité, Cloud Data Fusion ajoute le jeton avant de s'authentifier auprès de Salesforce. |
Clé du site consommateur | Oui | Oui | Clé client de l'application. Il s'agit également de l'ID client OAuth. Pour obtenir une clé client, créez une application connectée Salesforce. |
Code secret du site consommateur | Oui | Oui | Code secret client de l'application. On parle également de code secret du client OAuth. Pour obtenir un code secret client, créez une application connectée Salesforce. |
URL de connexion | Oui | Oui | URL de connexion OAuth2 Salesforce. La valeur par défaut est https://login.salesforce.com/services/oauth2/token . |
Délai de connexion | Oui | Non | Durée maximale, en millisecondes, d'attente de l'initialisation de la connexion avant expiration. La valeur par défaut est de 30 000 millisecondes. |
URL du proxy | Oui | Non | URL du proxy, qui contient un protocole, une adresse et un port. |
SOQL | Oui | Non | Requête SOQL permettant d'extraire des données dans la source. Exemples:
|
Nom de l'objet S | Oui | Non | Nom de l'objet Salesforce à lire. Si une valeur est fournie, le connecteur récupère tous les champs de cet objet à partir de Salesforce et génère une requête SOQL, telle que select FIELD_1, FIELD_2 from
${sObjectName} . Ce paramètre est ignoré si une requête SOQL est fournie.Il existe également des sObjects qui ne sont pas compatibles avec l'API Salesforce groupée. La création d'une tâche avec un objet non compatible génère l'erreur suivante: Entity is not supported by the Bulk
API . Ces objets ne sont pas non plus compatibles avec Einstein Analytics, qui utilise l'API Bulk pour interroger les données.Cas où l'API BULK n'est pas utilisée:lorsque la longueur de la requête envoie la requête à Salesforce pour recevoir le tableau d'informations de lot, l'API BULK n'est pas utilisée dans un cas. Si la requête est dans la limite, elle exécute la requête d'origine. Sinon, il passe à la logique d'objet large. Par exemple, il génère une requête d'ID qui ne récupère que des informations de lot pour les ID qui seront utilisés ultérieurement pour récupérer des données via l'API SOAP. |
Dernière modification après le | Oui | Non | Filtrez les données pour n'inclure que les enregistrements dont le champ système, LastModifiedDate , est supérieur ou égal à la date spécifiée. Utilisez le format de date Salesforce (voir les exemples). Si aucune valeur n'est fournie, aucune date limite inférieure n'est appliquée. |
Dernière modification avant le | Oui | Non | Filtrez les données pour n'inclure que les enregistrements dont le champ système, LastModifiedDate , est inférieur à la date spécifiée. Utilisez le format de date Salesforce (voir les exemples). Spécifier cette valeur avec la propriété Last modified after (Dernière modification après) vous permet de lire les données modifiées au cours d'une période donnée. Si aucune valeur n'est fournie, aucune date limite supérieure n'est appliquée. |
Durée | Oui | Non | Filtrez les données pour ne lire que les enregistrements qui ont été modifiés pour la dernière fois au cours d'une période de la taille spécifiée. Par exemple, si la durée est 6 hours et que le pipeline s'exécute à 9h, il lit les données qui ont été mises à jour pour la dernière fois entre 3h (inclus) et 9h (exclu).
Spécifiez la durée avec des nombres et les unités de temps suivantes :
2 days, 1 hours, 30 minutes . Si une valeur est déjà spécifiée pour Dernière modification après ou Dernière modification avant, la durée est ignorée. |
Décalage (offset) | Oui | Non | Filtrez les données pour ne lire que les enregistrements où le champ système, LastModifiedDate , est inférieur à l'heure de début logique du pipeline, moins le décalage donné. Par exemple, si la durée est 6 hours , le décalage est 1 hours et que le pipeline s'exécute à 9h, les données modifiées pour la dernière fois entre 2h (inclus) et 8h (exclu) sont lues.Spécifiez la durée à l'aide de nombres et des unités de temps suivantes :
2 days, 1 hours, 30 minutes . Si une valeur est déjà spécifiée pour Dernière modification après ou Dernière modification avant, le décalage est ignoré. |
Type d'opération SOQL | Non | Non | Spécifiez l'opération de requête à exécuter sur la table. Si une requête est sélectionnée, seuls les enregistrements actuels sont renvoyés. La sélection de queryAll affiche tous les enregistrements actuels et supprimés.L'opération par défaut est query . |
Activer le fractionnement des PK | Oui | Non | Le fractionnement par clé primaire (PK) divise une requête sur de grandes tables en morceaux, ou "chunks", en fonction des ID d'enregistrement ou des clés primaires des enregistrements interrogés. Salesforce vous recommande d'activer le fractionnement de PK lorsque vous interrogez des tables contenant plus de 10 millions d'enregistrements ou lorsqu'une requête groupée expire constamment. Pour en savoir plus, consultez la section Divergence de PK. Le fractionnement de PK ne fonctionne que avec les requêtes qui n'incluent pas de clauses SELECT ni de conditions autres que WHERE .
Le fractionnement est compatible avec les objets personnalisés et toutes les tables de partage et d'historique compatibles avec les objets standards. |
Taille de fragment | Oui | Non | Spécifiez la taille du segment. La taille maximale est de 250 000. La taille par défaut est de 100 000. |
Nom du parent de l'objet S | Oui | Non | Parent de l'objet Salesforce. Il permet d'activer le fractionnement pour les tables d'historique ou les objets partagés. |
Exemples de formats de date Salesforce
Syntaxe de format | Exemple |
---|---|
YYYY-MM-DDThh:mm:ss+hh:mm |
1999-01-01T23:01:01+01:00 |
YYYY-MM-DDThh:mm:ss-hh:mm |
1999-01-01T23:01:01-08:00 |
YYYY-MM-DDThh:mm:ssZ |
1999-01-01T23:01:01Z |
Mappages des types de données
Le tableau suivant est une liste des types de données Salesforce avec les types CDAP correspondants.
Type de données Salesforce | Type de données du schéma CDAP |
---|---|
_bool |
boolean |
_int |
int |
_long |
long |
_double , currency , percent ,
geolocation (latitude), geolocation
(longitude) |
double |
date |
date |
datetime |
timestamp (microsecondes) |
time |
time (microsecondes) |
picklist |
string |
multipicklist |
string |
combobox |
string |
reference |
string |
base64 |
string |
textarea |
string |
phone |
string |
id |
string |
url |
string |
email |
string |
encryptedstring |
string |
datacategorygroupreference |
string |
location |
string |
address |
string |
anyType |
string |
json |
string |
complexvalue |
string |
Cas d'utilisation
Consultez les cas d'utilisation suivants de la source par lot Salesforce:
Bonnes pratiques
Pour en savoir plus sur l'amélioration des performances dans la source de lot Salesforce, consultez les bonnes pratiques.
Notes de version
Étape suivante
- Suivez un tutoriel sur les plug-ins Salesforce.