Un abonnement Cloud Storage est un type d'abonnement à l'exportation qui écrit les messages dans un bucket Cloud Storage existant à mesure qu'ils sont reçus. Vous n'avez pas besoin de configurer un client abonné distinct. Utilisez la console Google Cloud, la Google Cloud CLI, les bibliothèques clientes ou l'API Pub/Sub pour créer, mettre à jour, répertorier, dissocier ou supprimer un abonnement Cloud Storage.
Sans le type d'abonnement Cloud Storage, vous avez besoin d'un abonnement pull ou push, et d'un abonné (tel que Dataflow) qui lit les messages et les écrit dans un bucket Cloud Storage. Les frais liés à l'exécution d'un job Dataflow ne sont pas nécessaires lorsque les messages ne nécessitent pas de traitement supplémentaire avant de les stocker dans un bucket Cloud Storage. Vous pouvez utiliser un abonnement Cloud Storage à la place.
Toutefois, un pipeline Dataflow est toujours recommandé pour les systèmes Pub/Sub où une certaine transformation des données est nécessaire avant qu'elles ne soient stockées dans un bucket Cloud Storage.
Pour savoir comment diffuser des données en flux continu depuis Pub/Sub vers Cloud Storage avec transformation à l'aide de Dataflow, consultez la page Diffuser des messages depuis Pub/Sub à l'aide de Dataflow.
Avant de commencer
Avant de lire ce document, assurez-vous de maîtriser les points suivants:
Découvrez le fonctionnement de Pub/Sub et les différents termes liés à Pub/Sub.
Quels sont les différents types d'abonnements et les avantages d'un abonnement Cloud Storage ?
Fonctionnement de Cloud Storage
Workflow d'abonnement Cloud Storage
L'image suivante illustre le workflow entre un abonnement Cloud Storage et Cloud Storage.
Figure 1 : Workflow pour un abonnement Cloud Storage
Voici une brève description du workflow qui fait référence à la figure 1:
Pub/Sub utilise l'API Cloud Storage pour envoyer des données au bucket Cloud Storage. À la fin d'une opération d'écriture, l'API renvoie une réponse
OK
.Les messages sont envoyés par lots vers le bucket Cloud Storage. Un seul lot correspond à un objet stocké dans le bucket Cloud Storage. Vous pouvez configurer les paramètres de lot en fonction de la taille de l'objet et du temps écoulé depuis sa création.
Le workflow permettant d'écrire un objet dans un bucket Cloud Storage nécessite deux réponses
OK
. La première réponseOK
est envoyée lorsqu'un message est écrit dans un objet. La deuxième réponseOK
est envoyée lorsque l'objet contenant le message est finalisé. Un message ne devient visible dans le bucket qu'une fois que l'objet Cloud Storage qui le contient a été correctement finalisé.En cas d'échec lors de l'opération d'écriture, le message Pub/Sub lui-même fait l'objet d'un accusé de réception négatif. Le message est ensuite renvoyé. Si l'opération d'écriture du message échoue suffisamment de fois et qu'un sujet de lettres mortes est configuré sur l'abonnement, le message est déplacé vers ce sujet.
Propriétés d'un abonnement Cloud Storage
Lorsque vous créez un abonnement Cloud Storage, vous devez spécifier des propriétés supplémentaires. Ces propriétés incluent les propriétés d'abonnement courantes, les exigences concernant les noms de fichiers et les formats, les exigences de stockage, etc. Pour en savoir plus sur ces propriétés, consultez Propriétés d'abonnement Cloud Storage.
Autorisations du compte de service Pub/Sub
Pour créer un abonnement Cloud Storage, le compte de service Pub/Sub doit être autorisé à écrire dans le bucket Cloud Storage spécifique et à lire les métadonnées du bucket.
Pour en savoir plus, consultez la page Attribuer des rôles Cloud Storage au compte de service Pub/Sub.
Gérer les échecs de messages
Lorsqu'un message Pub/Sub ne peut pas être écrit dans un bucket Cloud Storage, il ne peut pas être confirmé. Pour transférer ces messages impossibles à distribuer, configurez un sujet de lettres mortes sur l'abonnement Cloud Storage.
Quotas
Les limites de quota s'appliquent au débit de l'abonné Cloud Storage pour chaque région. Pour en savoir plus sur les quotas pour les abonnements Cloud Storage, consultez les limites de quota des abonnés à l'exportation dans la section Quotas et limites de Pub/Sub.
Tarification
Pour en savoir plus sur la tarification des abonnements Cloud Storage, consultez la page Tarifs de Pub/Sub.
Étapes suivantes
Créez un abonnement Cloud Storage.
Découvrez les outils de configuration Pub/Sub: