Une fois que vous avez créé un transfert à l'aide du service de transfert de données BigQuery, vous pouvez :
- obtenir des informations sur une configuration de transfert ;
- répertorier les configurations de transfert ;
- afficher l'historique d'exécution d'un transfert ;
- afficher les détails d'une exécution de transfert, tels que les messages de journal ;
- mettre à jour un transfert ;
- configurer un remplissage ;
- mettre à jour des identifiants ;
- désactiver un transfert ;
- supprimer un transfert.
Obtenir des informations sur les transferts
Une fois que vous avez créé un transfert, vous pouvez obtenir des informations sur sa configuration. Celle-ci inclut les valeurs que vous avez fournies lors de la création du transfert.
Autorisations requises
Pour obtenir des informations sur un transfert, vous devez disposer des autorisations bigquery.transfers.get
. Les rôles Cloud IAM prédéfinis suivants incluent des autorisations bigquery.transfers.get
:
bigquery.admin
bigquery.user
Un utilisateur doté des autorisations bigquery.transfers.get
peut afficher des informations sur tous les transferts d'un projet.
Pour en savoir plus sur les rôles Cloud IAM dans le cadre du service de transfert de données BigQuery, consultez la documentation de référence sur le Contrôle des accès.
Obtenir des informations sur un transfert
Pour obtenir des informations sur une configuration de transfert :
Console
Dans Cloud Console, accédez à la page BigQuery.
Cliquez sur Transferts.
Sur la page Transferts, cliquez sur le transfert approprié dans la liste.
Cliquez sur Configuration pour le transfert sélectionné.
La configuration du transfert et les détails de la source de données s'affichent. L'exemple suivant montre les propriétés de configuration d'une migration Teradata.
bq
Saisissez la commande bq show
, puis indiquez le nom de ressource de la configuration de transfert. L'option --format
peut être utilisée pour contrôler le format de sortie.
bq show \
--format=prettyjson \
--transfer_config resource_name
Où :
- resource_name est le nom de ressource du transfert (également appelé "configuration de transfert"). Si vous ne connaissez pas ce nom, exécutez la commande
bq ls --transfer_config --transfer_location=location
pour répertorier tous les transferts.
Par exemple, saisissez la commande suivante pour afficher la configuration du transfert projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
.
bq show \
--format=prettyjson \
--transfer_config projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
API
Utilisez la méthode projects.locations.transferConfigs.get
et spécifiez la configuration du transfert à l'aide du paramètre name
.
Java
Répertorier les configurations de transfert
Autorisations requises
Pour répertorier tous les transferts ou configurations de transfert d'un projet, vous devez disposer de l'autorisation bigquery.transfers.get
. Les rôles Cloud IAM prédéfinis suivants incluent les autorisations bigquery.transfers.get
:
bigquery.admin
bigquery.user
Un utilisateur doté des autorisations bigquery.transfers.get
peut répertorier tous les transferts d'un projet.
Pour en savoir plus sur les rôles Cloud IAM dans le cadre du service de transfert de données BigQuery, consultez la documentation de référence sur le Contrôle des accès.
Répertorier les transferts
Pour répertorier les configurations de transfert d'un projet :
Console
Dans Cloud Console, accédez à la page BigQuery.
Cliquez sur Transferts.
Si le projet contient des configurations de transfert, la liste s'affiche sur la page Transferts.
bq
Pour répertorier toutes les configurations de transfert pour un projet par emplacement, saisissez la commande bq ls
et spécifiez les options --transfer_location
et --transfer_config
. Vous pouvez également indiquer l'option --project_id
pour spécifier un projet particulier. Si --project_id
n'est pas spécifié, le projet par défaut est utilisé.
L'option --format
peut être utilisée pour contrôler le format de sortie.
Pour répertorier les configurations de transfert pour des sources de données particulières, indiquez l'option --filter
.
Pour afficher un nombre particulier de configurations de transfert au format paginé, indiquez l'option --max_results
pour spécifier le nombre de transferts. La commande renvoie un jeton de page que vous fournissez à l'aide de l'option --page_token
pour afficher les n configurations suivantes.
bq ls \ --transfer_config \ --transfer_location=location \ --project_id=project_id \ --max_results=integer \ --filter=dataSourceIds:data_sources
Où :
- location est la zone des configurations de transfert. L'emplacement est spécifié lorsque vous créez un transfert.
- project_id est l'ID de votre projet.
- integer est le nombre de résultats à afficher par page.
- data_sources correspond à un ou plusieurs des éléments suivants :
amazon_s3
: transfert de données Amazon S3dcm_dt
: transfert de données Campaign Managergoogle_cloud_storage
: transfert de données Cloud Storagecross_region_copy
: copie de l'ensemble de donnéesdfp_dt
: transfert de données Google Ad Manageradwords
: transfert de données Google Adsmerchant_center
: transfert de données Google Merchant Centerplay
: transfert de données Google Playdoubleclick_search
: transfert de données Search Ads 360youtube_channel
: transfert de données de chaîne YouTubeyoutube_content_owner
: transfert de données du propriétaire de contenu YouTuberedshift
: migration Amazon Redshifton_premises
: migration de Teradata
Exemples :
Pour afficher toutes les configurations de transfert aux États-Unis pour votre projet par défaut, saisissez la commande suivante. L'option --format
permet de contrôler la sortie.
bq ls \
--format=prettyjson \
--transfer_config \
--transfer_location=us
Saisissez la commande suivante pour afficher toutes les configurations de transfert aux États-Unis pour l'ID de projet myproject
.
bq ls \
--transfer_config \
--transfer_location=us \
--project_id=myproject
Pour répertorier les trois configurations de transfert les plus récentes, saisissez la commande suivante.
bq ls \
--transfer_config \
--transfer_location=us \
--project_id=myproject \
--max_results=3
La commande renvoie un jeton de page suivante. Copiez le jeton de page et fournissez-le dans la commande bq ls
pour afficher les trois résultats suivants.
bq ls \
--transfer_config \
--transfer_location=us \
--project_id=myproject \
--max_results=3 \
--page_token=AB1CdEfg_hIJKL
Saisissez la commande suivante pour répertorier les configurations de transfert Google Ads et Campaign Manager pour l'ID de projet myproject
.
bq ls \
--transfer_config \
--transfer_location=us \
--project_id=myproject \
--filter=dataSourceIds:dcm_dt,adwords
API
Utilisez la méthode projects.locations.transferConfigs.list
et fournissez l'ID du projet à l'aide du paramètre parent
.
Java
Python
Afficher l'historique d'exécution
Au fur et à mesure que les transferts programmés sont exécutés, un historique d'exécution est conservé pour chaque configuration de transfert. Il inclut les exécutions de transfert qui aboutissent et celles qui échouent. Les exécutions de transfert datant de plus de 90 jours sont automatiquement supprimées de l'historique.
Autorisations requises
Vous devez disposer des autorisations bigquery.transfers.get
pour afficher l'historique d'exécution d'une configuration de transfert. Les rôles IAM prédéfinis bigquery.user
et bigquery.admin
incluent des autorisations bigquery.transfers.get
.
Pour en savoir plus sur les rôles Cloud IAM dans le cadre du service de transfert de données BigQuery, consultez la documentation de référence sur le Contrôle des accès.
Afficher un historique d'exécution
Pour afficher l'historique d'exécution d'une configuration de transfert :
Console
Dans Cloud Console, accédez à la page BigQuery.
Cliquez sur Transferts.
Sur la page Transferts, cliquez sur le transfert approprié dans la liste.
Vous serez sur la page HISTORIQUE D'EXÉCUTION du transfert sélectionné.
bq
Pour répertorier les exécutions de transfert d'une configuration de transfert particulière, saisissez la commande bq
ls
et indiquez l'option --transfer_run
. Vous pouvez également indiquer l'option --project_id
pour spécifier un projet particulier. Si resource_name ne contient pas d'informations sur le projet, la valeur --project_id
est utilisée. Si --project_id
n'est pas spécifié, le projet par défaut est utilisé. L'option --format
peut être utilisée pour contrôler le format de sortie.
Pour afficher un nombre particulier d'exécutions de transfert, indiquez l'option --max_results
. La commande renvoie un jeton de page que vous fournissez à l'aide de l'option --page_token
pour afficher les n configurations suivantes.
Pour répertorier les exécutions de transfert en fonction de l'état d'exécution, indiquez l'option --filter
.
bq ls \ --transfer_run \ --max_results=integer \ --transfer_location=location \ --project_id=project_id \ --filter=states:state, ... \ resource_name
Où :
- integer est le nombre de résultats à renvoyer.
- location est la zone des configurations de transfert. L'emplacement est spécifié lorsque vous créez un transfert.
- project_id est l'ID de votre projet.
- state, ... est l'un des éléments suivants, ou une liste d'éléments séparés par une virgule :
SUCCEEDED
FAILED
PENDING
RUNNING
CANCELLED
- resource_name est le nom de ressource du transfert (également appelé "configuration de transfert"). Si vous ne connaissez pas ce nom, exécutez la commande
bq ls --transfer_config --transfer_location=location
pour répertorier tous les transferts.
Exemples :
Saisissez la commande suivante pour afficher les trois dernières exécutions pour la configuration de transfert projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
.
L'option --format
permet de contrôler la sortie.
bq ls \
--format=prettyjson \
--transfer_run \
--max_results=3 \
--transfer_location=us \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
La commande renvoie un jeton de page suivante. Copiez le jeton de page et fournissez-le dans la commande bq ls
pour afficher les trois résultats suivants.
bq ls \
--format=prettyjson \
--transfer_run \
--max_results=3 \
--page_token=AB1CdEfg_hIJKL \
--transfer_location=us \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
Saisissez la commande suivante pour afficher toutes les exécutions ayant échoué pour la configuration de transfert projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
.
bq ls \
--format=prettyjson \
--transfer_run \
--filter=states:FAILED \
--transfer_location=us \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
API
Utilisez la méthode projects.locations.transferConfigs.runs.list
et spécifiez l'ID du projet à l'aide du paramètre parent
.
Java
Afficher les détails d'une exécution de transfert et les messages de journal
Lorsqu'une exécution de transfert apparaît dans l'historique d'exécution, vous pouvez afficher des détails sur cette dernière, comme les messages de journal, les avertissements et les erreurs, le nom de l'exécution, et l'heure de début et de fin.
Autorisations requises
Vous devez disposer des autorisations bigquery.transfers.get
pour afficher les détails de l'exécution du transfert. Les rôles IAM prédéfinis bigquery.user
et bigquery.admin
incluent des autorisations bigquery.transfers.get
.
Pour en savoir plus sur les rôles Cloud IAM dans le cadre du service de transfert de données BigQuery, consultez la documentation de référence sur le Contrôle des accès.
En outre, pour consulter des messages de journal via Cloud Console, il est nécessaire de disposer d'autorisations permettant d'afficher les données Cloud Logging. Le rôle "Lecteur de journaux" (roles/logging.viewer
) vous donne un accès en lecture seule à toutes les fonctionnalités de Logging. Pour plus d'informations sur les autorisations et les rôles IAM qui s'appliquent aux données des journaux cloud, consultez le guide du contrôle des accès de Cloud Logging.
Afficher les détails d'une exécution de transfert
Pour afficher les détails d'une exécution de transfert :
Console
Dans Cloud Console, accédez à la page BigQuery.
Cliquez sur Transferts.
Sur la page Transferts, cliquez sur le transfert approprié dans la liste.
Vous serez sur la page HISTORIQUE D'EXÉCUTION du transfert sélectionné.
Cliquez sur une exécution spécifique du transfert pour ouvrir le panneau Détails de l'exécution.
Dans la section Détails d'exécution, notez les éventuels messages d'erreur. Si vous contactez l'assistance Google Cloud, ces informations sont nécessaires. Les détails de l'exécution incluent également des messages de journal et des avertissements.
bq
Pour afficher les détails de l'exécution du transfert, saisissez la commande bq show
, puis indiquez le nom de l'exécution du transfert à l'aide de l'option --transfer_run
. L'option --format
peut être utilisée pour contrôler la sortie.
bq show \ --format=prettyjson \ --transfer_run run_name
Où :
- run_name est le nom de l'exécution de transfert. Vous pouvez récupérer ce nom à l'aide de la commande
bq ls
.
Exemple :
Saisissez la commande suivante pour afficher les détails de l'exécution du transfert projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7/runs/1a2b345c-0000-1234-5a67-89de1f12345g
.
bq show \
--format=prettyjson \
--transfer_run \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7/runs/1a2b345c-0000-1234-5a67-89de1f12345g
Pour afficher les messages du journal de transfert pour une exécution de transfert, saisissez la commande bq ls
et indiquez l'option --transfer_log
. Vous pouvez filtrer les messages de journal par type à l'aide de l'option --message_type
.
Pour afficher un certain nombre de messages de journal, indiquez l'option --max_results
. La commande renvoie un jeton de page que vous fournissez à l'aide de l'option --page_token
pour afficher les n messages suivants.
bq ls \ --transfer_log \ --max_results=integer \ --message_type=messageTypes:message_type \ run_name
Où :
- integer est le nombre de messages de journal à renvoyer.
- message_type est le type de message de journal à afficher (une seule valeur ou une liste d'éléments séparés par une virgule) :
INFO
WARNING
ERROR
- run_name est le nom de l'exécution de transfert. Vous pouvez récupérer ce nom à l'aide de la commande
bq ls
.
Exemples :
Saisissez la commande suivante pour afficher les deux premiers messages de journal pour l'exécution du transfert projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7/runs/1a2b345c-0000-1234-5a67-89de1f12345g
.
bq ls \
--transfer_log \
--max_results=2 \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7/runs/1a2b345c-0000-1234-5a67-89de1f12345g
La commande renvoie un jeton de page suivante. Copiez le jeton de page et indiquez-le dans la commande bq ls
pour afficher les deux résultats suivants.
bq ls \
--transfer_log \
--max_results=2 \
--page_token=AB1CdEfg_hIJKL \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7/runs/1a2b345c-0000-1234-5a67-89de1f12345g
Saisissez la commande suivante pour n'afficher que les messages d'erreur pour l'exécution du transfert projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7/runs/1a2b345c-0000-1234-5a67-89de1f12345g
.
bq ls \
--transfer_log \
--message_type=messageTypes:ERROR \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7/runs/1a2b345c-0000-1234-5a67-89de1f12345g
API
Utilisez la méthode projects.transferConfigs.runs.transferLogs.list
et indiquez le nom de l'exécution du transfert à l'aide du paramètre parent
.
Java
Mettre à jour un transfert
Une fois le transfert ajouté, vous pouvez le modifier. Vous pouvez modifier tous les champs que vous avez renseignés au moment de la création du transfert, à l'exception de la source :
- Ensemble de données de destination
- Nom à afficher
- Tout paramètre indiqué pour le type de transfert spécifique
- Paramètres de notification d'exécution
Autorisations requises
Vous devez disposer des autorisations bigquery.transfers.update
pour mettre à jour un transfert. Le rôle Cloud IAM prédéfini bigquery.admin
inclut des autorisations bigquery.transfers.update
.
Pour en savoir plus sur les rôles Cloud IAM dans le cadre du service de transfert de données BigQuery, consultez la documentation de référence sur le Contrôle des accès.
Mettre à jour un transfert
Pour mettre à jour un transfert :
Console
Dans Cloud Console, accédez à la page BigQuery.
Cliquez sur Transferts.
Sur la page Transferts, cliquez sur le transfert approprié dans la liste.
Cliquez sur MODIFIER pour mettre à jour la configuration de transfert.
bq
Saisissez la commande bq update
, indiquez le nom de ressource de la configuration de transfert à l'aide de l'option --transfer_config
, puis spécifiez les options --display_name
, --target_dataset
, --refresh_window_days
ou --params
.
bq update \ --display_name='name' \ --target_dataset=dataset \ --params='parameters' \ --refresh_window_days=integer \ --transfer_config \ resource_name
Où :
- name est le nom à afficher pour la configuration de transfert.
- dataset est l'ensemble de données cible de la configuration de transfert.
- parameters contient les paramètres de la configuration de transfert au format JSON. Exemple :
--params='{"param":"param_value"}'
. Les paramètres suivants sont modifiables :- Google Ads :
customer_id
- Campaign Manager :
bucket
etnetwork_id
- Google Ad Manager :
bucket
etnetwork_code
- Google Merchant Center :
merchant_id
- Google Play :
bucket
ettable_suffix
- Search Ads 360 :
agency_id
,advertiser_id
,include_removed_entities
,table_filter
etcustom_floodlight_variables
- Chaîne YouTube :
table_suffix
- Propriétaire de contenu YouTube :
content_owner_id
ettable_suffix
- Google Ads :
- integer est une valeur comprise entre 0 et 30. Pour en savoir plus sur la définition de la fenêtre d'actualisation, consultez la documentation concernant votre type de transfert.
- resource_name est le nom de ressource du transfert (également appelé "configuration de transfert"). Si vous ne connaissez pas ce nom, exécutez la commande
bq ls --transfer_config --transfer_location=location
pour répertorier tous les transferts.
Exemples :
Saisissez la commande suivante pour mettre à jour le nom à afficher, l'ensemble de données cible, la fenêtre d'actualisation et les paramètres du transfert Google Ads projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
.
bq update \
--display_name='My changed transfer' \
--target_dataset=mydataset2 \
--params='{"customer_id":"123-123-5678"}' \
--refresh_window_days=3 \
--transfer_config \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
API
Utilisez la méthode projects.transferConfigs.patch
et indiquez le nom de ressource du transfert à l'aide du paramètre transferConfig.name
. Si vous ne connaissez pas ce nom, exécutez la commande bq ls --transfer_config --transfer_location=location
pour afficher tous les transferts ou appelez la méthode projects.locations.transferConfigs.list
et indiquez l'ID de projet à l'aide du paramètre parent
.
Java
Python
Configurer des remplissages et des opérations d'actualisation
Actualisation
Notez que les remplissages ne sont pas disponibles pour ces types de transferts. Cependant, vous pouvez configurer une opération d'actualisation.
- Transferts Cloud Storage
- Copier des ensembles de données
Remplissage
Vous pouvez lancer manuellement des remplissages de données à tout moment. En plus des limites imposées par la source, le service de transfert de données BigQuery accepte une durée maximale de 180 jours par demande de remplissage. Les demandes de remplissage simultanées ne sont pas acceptées.
Pour en savoir plus sur le volume de données disponible pour le remplissage, consultez la documentation concernant votre source de données :
- Campaign Manager
- Google Ad Manager
- Google Ads
- Lorsque vous configurez un remplissage pour Google Ads, des instantanés des tables de correspondance sont réalisés une fois par jour, puis ils sont stockés dans la partition pour la dernière date d'exécution.
Lorsque vous programmez un remplissage, les instantanés des tables de correspondance des tables suivantes ne sont PAS mis à jour :
- Annonce
- Groupe d'annonces
- Âge
- Public
- Objectif d'enchères
- Budget
- Campagne
- Critères
- Client
- Sexe
- Mot clé
- Critère de la campagne basée sur la zone
- État du parent
- Emplacement
- Vidéo
- Lorsque vous configurez un remplissage pour Google Ads, des instantanés des tables de correspondance sont réalisés une fois par jour, puis ils sont stockés dans la partition pour la dernière date d'exécution.
Lorsque vous programmez un remplissage, les instantanés des tables de correspondance des tables suivantes ne sont PAS mis à jour :
- Google Merchant Center (bêta)
- Google Play
- Search Ads 360
- Lorsque vous configurez un remplissage pour Search Ads 360, les instantanés des tables de correspondance sont pris une fois par jour et stockés dans la partition à la date de dernière exécution.
Lorsque vous programmez un remplissage, les instantanés des tables de correspondance des tables suivantes ne sont PAS mis à jour :
- Compte
- Annonce
- Annonceur
- AdGroup
- AdGroupTarget
- BidStrategy
- Campagne
- CampaignTarget
- FeedItem
- FloodlightActivity
- Mot clé
- NegativeAdGroupKeyword
- NegativeAdGroupTarget
- NegativeCampaignKeyword
- NegativeCampaignTarget
- ProductAdvertised
- ProductGroup
- ProductLeadAndCrossSellFloodlightStats
- Vidéo
- Emplacement
- Vidéo
- Lorsque vous configurez un remplissage pour Search Ads 360, les instantanés des tables de correspondance sont pris une fois par jour et stockés dans la partition à la date de dernière exécution.
Lorsque vous programmez un remplissage, les instantanés des tables de correspondance des tables suivantes ne sont PAS mis à jour :
- YouTube – Rapports de chaîne
- YouTube – Rapports de propriétaires de contenu
Notez que les remplissages ne sont pas disponibles pour les transferts Cloud Storage. Vous pouvez toutefois configurer une opération d'actualisation d'un transfert Cloud Storage.
Autorisations requises
Vous devez disposer des autorisations bigquery.transfers.update
pour programmer un remplissage. Le rôle Cloud IAM prédéfini bigquery.admin
inclut des autorisations bigquery.transfers.update
.
Pour en savoir plus sur les rôles Cloud IAM dans le cadre du service de transfert de données BigQuery, consultez la documentation de référence sur le Contrôle des accès.
Programmer un remplissage
Pour programmer un remplissage :
Console
Dans Cloud Console, accédez à la page BigQuery.
Cliquez sur Transferts.
Sur la page Transferts, cliquez sur le transfert approprié dans la liste.
Cliquez sur le menu PLUS, puis sélectionnez Programmer le remplissage.
Dans la boîte de dialogue Programmer le remplissage, sélectionnez la date de début et la date de fin.
bq
Saisissez la commande bq mk
, indiquez l'option --transfer_run
, puis spécifiez les paramètres --start_time
et --end_time
.
bq mk \ --transfer_run \ --start_time='start_time' \ --end_time='end_time' \ resource_name
Où :
start_time et end_time sont des horodatages qui finissent par Z, ou ils contiennent un décalage de fuseau horaire valide. Exemple :
2017-08-19T12:11:35.00Z
2017-05-25T00:00:00+00:00
resource_name est le nom de ressource du transfert (également appelé "configuration de transfert"). Si vous ne connaissez pas ce nom, exécutez la commande
bq ls --transfer_config --transfer_location=location
pour répertorier tous les transferts.
Exemples :
Saisissez la commande suivante pour programmer un remplissage pour la configuration de transfert projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
.
bq mk \
--transfer_run \
--start_time 2017-05-25T00:00:00Z \
--end_time 2017-05-25T00:00:00Z \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
API
Utilisez la méthode projects.locations.transferConfigs.startManualRuns
et indiquez la ressource de configuration de transfert à l'aide du paramètre parent
.
Java
Python
Mettre à jour des identifiants
Un transfert emploie les identifiants de l'utilisateur qui l'a créé. Si vous devez modifier l'utilisateur associé à une configuration de transfert, vous pouvez mettre à jour les identifiants du transfert. Ceci est utile si l'utilisateur qui a créé le transfert ne fait plus partie de votre organisation.
Autorisations requises
Vous devez disposer des autorisations bigquery.transfers.update
pour mettre à jour les identifiants. Le rôle Cloud IAM prédéfini bigquery.admin
inclut des autorisations bigquery.transfers.update
.
Pour en savoir plus sur les rôles Cloud IAM dans le cadre du service de transfert de données BigQuery, consultez la documentation de référence sur le Contrôle des accès.
Mettre à jour les identifiants d'un transfert
Pour mettre à jour les identifiants d'un transfert :
Console
Dans Cloud Console, accédez à la page BigQuery.
Cliquez sur Transferts.
Sur la page Transferts, cliquez sur le transfert approprié dans la liste.
Cliquez sur le menu Plus, puis sélectionnez Actualiser les identifiants.
Connectez-vous à votre compte Google et cliquez sur Autoriser pour autoriser le service de transfert de données BigQuery à consulter vos données de rapport et à accéder aux données de BigQuery.
bq
Saisissez la commande bq update
, indiquez le nom de ressource de la configuration de transfert à l'aide de l'option --transfer_config
, puis indiquez l'option --update_credentials
.
bq update \ --update_credentials=boolean \ --transfer_config \ resource_name
Où :
- boolean est une valeur booléenne indiquant si les identifiants doivent être mis à jour pour la configuration de transfert.
- resource_name est le nom de ressource du transfert (également appelé "configuration de transfert"). Si vous ne connaissez pas ce nom, exécutez la commande
bq ls --transfer_config --transfer_location=location
pour répertorier tous les transferts.
Exemples :
Saisissez la commande suivante pour mettre à jour les identifiants pour le transfert Google Ads projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
.
bq update \
--update_credentials=true \
--transfer_config \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
API
Utilisez la méthode projects.transferConfigs.patch
et spécifiez les paramètres authorizationCode
et updateMask
.
Java
Python
Désactiver un transfert
Lorsque vous désactivez un transfert, disabled est ajouté au nom de ce dernier. Dans ce cas de figure, aucune nouvelle exécution de transfert n'est programmée, et aucun nouveau remplissage n'est autorisé. Toute exécution de transfert en cours prend fin.
Si vous désactivez un transfert, cela n'entraîne pas la suppression des données déjà transférées vers BigQuery. Les coûts de stockage BigQuery standards vous sont facturés pour les données précédemment transférées, jusqu'à ce que vous supprimiez l'ensemble de données ou supprimiez les tables.
Autorisations requises
Vous devez disposer des autorisations bigquery.transfers.update
pour désactiver un transfert. Le rôle Cloud IAM prédéfini bigquery.admin
inclut des autorisations bigquery.transfers.update
.
Pour en savoir plus sur les rôles Cloud IAM dans le cadre du service de transfert de données BigQuery, consultez la documentation de référence sur le Contrôle des accès.
Désactiver un transfert
Pour désactiver un transfert :
Console
Dans Google Cloud Console, accédez à la page "BigQuery".
Cliquez sur Transferts.
Sur la page Transferts, cliquez sur le transfert de la liste que vous souhaitez désactiver.
Cliquez sur DÉSACTIVER. Pour réactiver le transfert, cliquez sur ACTIVER.
bq
La désactivation d'un transfert n'est pas compatible avec la CLI.
API
Utilisez la méthode projects.locations.transferConfigs.patch
, puis définissez disabled
sur true
dans la ressource projects.locations.transferConfig
.
Java
Pour réactiver le transfert, procédez comme suit :
Supprimer un transfert
Lorsqu'un transfert est supprimé, aucune nouvelle exécution n'est programmée. Toute exécution de transfert en cours est arrêtée.
Si vous supprimez un transfert, cela n'entraîne pas la suppression des données déjà transférées vers BigQuery. Les coûts de stockage BigQuery standards vous sont facturés pour les données précédemment transférées, jusqu'à ce que vous supprimiez l'ensemble de données ou supprimiez les tables.
Autorisations requises
Vous devez disposer des autorisations bigquery.transfers.update
pour supprimer un transfert. Le rôle Cloud IAM prédéfini bigquery.admin
inclut des autorisations bigquery.transfers.update
.
Pour en savoir plus sur les rôles Cloud IAM dans le cadre du service de transfert de données BigQuery, consultez la documentation de référence sur le Contrôle des accès.
Supprimer un transfert
Pour supprimer un transfert :
Console
Dans Google Cloud Console, accédez à la page "BigQuery".
Cliquez sur Transferts.
Sur la page Transferts, cliquez sur le transfert que vous souhaitez supprimer dans la liste.
Cliquez sur Supprimer. Par mesure de sécurité, vous devez saisir le mot "delete" (supprimer) dans un champ pour confirmer votre intention.
bq
Saisissez la commande bq rm
, puis indiquez le nom de ressource de la configuration de transfert. Vous pouvez utiliser l'option -f
pour supprimer une configuration de transfert sans passer l'étape de confirmation.
bq rm \
-f \
--transfer_config \
resource_name
Où :
- resource_name est le nom de ressource du transfert (également appelé "configuration de transfert"). Si vous ne connaissez pas ce nom, exécutez la commande
bq ls --transfer_config --transfer_location=location
pour répertorier tous les transferts.
Par exemple, saisissez la commande suivante pour supprimer la configuration de transfert projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
.
bq rm \
--transfer_config \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
API
Utilisez la méthode projects.locations.transferConfigs.delete
et indiquez la ressource que vous souhaitez supprimer à l'aide du paramètre name
.
Java
Python
Journalisation et surveillance
Le service de transfert de données BigQuery exporte les journaux et les métriques vers Cloud Logging et Cloud Monitoring afin d'offrir plus de visibilité sur vos transferts. Pour en savoir plus sur la journalisation et la surveillance du service de transfert de données BigQuery, consultez les pages Journaux d'audit, Cloud Logging et Cloud Monitoring.