Las propiedades de suscripción de Pub/Sub son las características de una suscripción. Puedes establecer propiedades de suscripción cuando creas o actualizas una.
En este documento, se describen las diferentes propiedades de suscripción que puedes configurar para una suscripción.
Antes de comenzar
Obtén más información sobre las suscripciones.
Comprender el flujo de trabajo de la suscripción a la que te diriges create: Pull, Push o BigQuery.
Propiedades de suscripción comunes
Cuando creas una suscripción, debes especificar varias opciones para configura la suscripción. Algunas de estas propiedades son comunes a todos los tipos de suscripciones y se analizan en las siguientes secciones.
Tiempo de retención de mensajes
La opción Duración de retención de mensajes especifica el tiempo que Pub/Sub retiene los mensajes después de la publicación. Después de que transcurra la duración de retención del mensaje, Pub/Sub puede descartar el mensaje independientemente del estado de confirmación del mensaje. Para retener los mensajes confirmados por y la duración de retención de mensajes; consulta Cómo volver a reproducir y descartar mensajes.
Los siguientes son los valores de la opción Duración de la retención de mensajes:
- Valor predeterminado = 7 días
- Valor mínimo = 10 minutos
- Valor máximo = 31 días
Los mensajes no confirmados pueden deberse a suscripciones inactivas, necesidades de copia de seguridad o y un procesamiento lento. Si eres procesar los mensajes en un plazo de 24 horas, los cargos adicionales se que no se generaron. Puedes evitar cargos nuevos administrando estas situaciones de la siguiente manera:
Suscripciones inactivas. Cómo borrar suscripciones inactivas para evitar que se apliquen cargos por la retención de mensajes de la suscripción.
Almacenamiento de copia de seguridad Si usas la retención de suscripciones como almacenamiento de copia de seguridad puedes cambiar a otra opción de almacenamiento, retención de mensajes por temas o retener mensajes confirmados. La retención de mensajes por tema almacena mensajes solo una vez a nivel del tema y permanecen disponibles para todas las y suscripciones para consumir cuando sea necesario.
Demoras en el procesamiento: Agrega más suscriptores (si es posible) para procesar el mensajes nuevos en un día.
Retener mensajes confirmados
Si especificas la duración de la retención de mensajes, también puedes especificar si deseas retener los mensajes confirmados.
La opción Retain acknowledged messages te permite retener los mensajes confirmados durante el período de retención de mensajes especificado. Esta opción aumenta las tarifas de almacenamiento de mensajes. Para obtener más información, consulta los costos de almacenamiento.
Período de vencimiento
La opción Período de vencimiento te permite extender el período de vencimiento de tu suscripción.
Las suscripciones sin actividad del suscriptor o sin cambios en las propiedades de la suscripción vencen. Si Pub/Sub detecta la actividad de los suscriptores o si actualizas alguna de las propiedades de suscripción. se reiniciará el reloj de eliminación de suscripciones. Ejemplos de actividades de los suscriptores incluyen conexiones abiertas, extracciones activas o envíos exitosos.
Si especificas el período de vencimiento, el valor debe ser mayor que la duración de la retención de mensajes especificada en la opción Duración de la retención de mensajes.
Los siguientes son los valores de la opción Período de vencimiento:
- Valor predeterminado = 31 días
- Valor mínimo = 1 día
Para evitar que una suscripción venza, establece el período de vencimiento en never expire
.
Fecha límite de confirmación
La opción Plazo de confirmación especifica el plazo inicial después del cual se vuelve a enviar un mensaje no confirmado. Puedes extender la confirmación fecha límite por mensaje mediante el envío ModifyAckDeadline solicitudes.
Los siguientes son los valores de la opción Fecha límite para el acuse de recibo:
- Valor predeterminado = 10 segundos
- Valor mínimo = 10 segundos
- Valor máximo = 600 segundos
En algunos casos, las bibliotecas cliente de Pub/Sub pueden controlar la frecuencia de entrega y modificar de forma dinámica la fecha límite de confirmación.
De esta manera, es posible que el mensaje se vuelva a entregar antes de la fecha límite de confirmación que estableciste. Para anular este comportamiento, usa minDurationPerAckExtension
y maxDurationPerAckExtension
. Para obtener más información sobre el uso de estos valores, consulta
Asistencia para la entrega “exactamente una vez” en las bibliotecas cliente.
Filtro de suscripción
Usa la opción Filtro de suscripción para especificar una cadena con un expresión de filtrado. Si una suscripción tiene un filtro, la suscripción solo entrega los mensajes que coinciden con él. El servicio de Pub/Sub automáticamente reconoce los mensajes que no coinciden con el filtro.
Puedes filtrar los mensajes por sus atributos, pero no por los datos que contengan.
Si no se especifica, la suscripción no filtra los mensajes y los suscriptores los reciben todos.
Los filtros no se pueden cambiar ni quitar después de aplicarlos.
Cuando recibes mensajes de una suscripción con un filtro, no generas tarifas de salida para los mensajes que Pub/Sub confirma de forma automática. Se cobran tarifas por la entrega de mensajes y el almacenamiento relacionado con las búsquedas para estos mensajes.
Para obtener más información, consulta Cómo filtrar mensajes de una suscripción.
Ordenamiento de mensajes
Cuando una suscripción tiene habilitado el orden de mensajes, los clientes suscriptores reciben mensajes publicados en la misma región con el misma clave de ordenamiento en el orden en que el servicio recibió los mensajes.
Cuando se usa la entrega ordenada, los acuses de recibo de los mensajes posteriores no se procesan hasta que se procesan los acuses de recibo de los mensajes anteriores.
Los publicadores deben enviar mensajes con una clave de ordenamiento para que Pub/Sub pueda entregar los mensajes en orden.
Si no se establece, es posible que Pub/Sub no entregue los mensajes en orden, incluso si tienen una clave de ordenamiento.
Tema de mensajes no entregados
Cuando no se puede entregar un mensaje después de una cantidad determinada de intentos de entrega o un suscriptor no puede confirmarlo, puedes configurar un tema de mensajes no entregados al que se puedan volver a publicar estos mensajes.
Si estableces un tema de mensajes no entregados, también puedes especificar la cantidad máxima de intentos de entrega. Los siguientes son los valores de la cantidad máxima de intentos de entrega para el tema de mensajes no entregados:
- Valor predeterminado = 5 intentos de entrega
- Valor mínimo = 5 intentos de entrega
- Valor máximo = 100 intentos de entrega
Si el tema de mensajes no entregados está en un proyecto diferente al de la suscripción, también debes especificar el ID del proyecto con el tema de mensajes no entregados.
Para obtener más información, consulte Cómo reenviar a temas de mensajes no entregados.
Política de reintentos
Si vence el plazo de confirmación o el suscriptor responde con una confirmación de recepción negativa, Pub/Sub puede volver a enviar el mensaje. Este intento de reenvío se conoce como la política de reintentos de la suscripción.
De forma predeterminada, la política de reintentos de una suscripción se establece en Usa Reintentar de inmediato. Con esta opción, Pub/Sub vuelve a enviar el mensaje cuando finaliza el plazo de confirmación vence o un suscriptor responde con una confirmación negativa.
También puedes establecer el valor en Reintentar después de un retraso de retirada exponencial. En este caso, debes especificar los valores máximos y mínimos de la demora.
Aquí hay algunas pautas para establecer los valores de valores mínimos de retirada:
Si se establece el valor máximo para la duración de retirada, el valor predeterminado para la duración la duración de la retirada es de 10 segundos.
Si estableces el valor mínimo para la duración de retirada, el valor predeterminado para La duración máxima de la retirada es de 600 segundos.
La duración de retirada más larga que puedes especificar es de 600 segundos.
Política de reintentos y mensajes por lotes
Si los mensajes están en un lote, Pub/Sub inicia la retirada exponencial cuando ocurre una de las siguientes situaciones:
El suscriptor envía una confirmación negativa por cada mensaje del lote.
Vence el plazo límite de confirmación.
Política de reintentos y suscripción de envío
Si recibes mensajes de una suscripción de envío, Pub/Sub podría volver a entregar mensajes después de la retirada de envío en lugar de la duración de retirada exponencial. Cuando la retirada de envío es más larga que la duración de la retirada exponencial, Pub/Sub vuelve a entregar los mensajes no confirmados después de la retirada de envío.
Extrae propiedades de suscripción
Cuando configuras una suscripción de extracción, puedes especificar las siguientes propiedades.
Entrega “exactamente una vez”
Entrega exactamente una vez. Si se configura, Pub/Sub cumple con las garantías de entrega exactamente una vez. Si no se especifica, la suscripción admite la entrega al menos una vez para cada mensaje.
Propiedades de suscripción de envío
Cuando configuras una suscripción de envío, puedes especificar lo siguiente propiedades.
Extremos
URL del extremo (obligatoria). Una dirección HTTPS de acceso público. El servidor para el extremo de envío debe tener un certificado SSL válido firmado por una autoridad certificadora. El servicio Pub/Sub entrega mensajes a los extremos de envío desde la misma región de Google Cloud en la que el servicio de Pub/Sub almacena los mensajes. El servicio Pub/Sub entrega mensajes de la misma región de Google Cloud según el criterio del mejor esfuerzo.
Pub/Sub ya no requiere títulos de propiedad para los dominios URL de suscripción de envío. Si tu dominio recibe solicitudes POST de Pub/Sub inesperadas, puedes informar sospechas de abuso.
Autenticación
Habilita la autenticación. Cuando está habilitada, los mensajes que Pub/Sub entrega al extremo de envío incluyen un encabezado de autorización para permitir que el extremo autentique la solicitud. Los mecanismos de autenticación y autorización automáticos están disponibles para los extremos de las funciones de App Engine estándar y Cloud Run alojados en el mismo proyecto que la suscripción.
La configuración de autenticación para una suscripción de envío autenticada consta de una cuenta de servicio administrada por el usuario, y los parámetros del público se especifican en un create, parche o ModifyPushConfig llamada. También debes otorgar un rol específico a un agente de servicio, como se explica en la siguiente sección.
Cuenta de servicio administrada por el usuario (obligatorio). La cuenta de servicio asociada con la suscripción de envío. Esta cuenta se usa como el reclamo
email
del token web JSON (JWT) generado. A continuación, se incluye una lista de los requisitos de la cuenta de servicio:Esta cuenta de servicio debe estar en el mismo proyecto que la suscripción push.
El principal que crea o modifica la suscripción push debe tener el permiso
iam.serviceAccounts.actAs
en la cuenta de servicio. Puedes otorgar un rol con este permiso en el proyecto, la carpeta o la organización para permitir que el llamador use la identidad de varias cuentas de servicio, o bien otorgar un rol con este permiso en la cuenta de servicio para permitir que el llamador use la identidad solo de esta cuenta de servicio.
Público. Es una cadena única que no distingue mayúsculas de minúsculas y que el webhook usa para validar el público objetivo de este token en particular.
Agente de servicio (obligatorio).
Pub/Sub crea automáticamente una cuenta de servicio para ti con el formato
service-{PROJECT_NUMBER}@gcp-sa-pubsub.iam.gserviceaccount.com
A este agente de servicio se le debe otorgar el
iam.serviceAccounts.getOpenIdToken
(incluido en lasroles/iam.serviceAccountTokenCreator
para permitir que Pub/Sub cree tokens JWT para solicitudes push autenticadas.
Separación de la carga útil
La opción Habilitar la separación de la carga útil quita de los mensajes de Pub/Sub todos los metadatos, excepto los datos del mensaje. Con el desenmarañamiento de la carga útil, los datos del mensaje se entregan directamente como el cuerpo HTTP.
- Escribir metadatos. Vuelve a agregar los metadatos de los mensajes que se quitaron anteriormente al encabezado de la solicitud.
Propiedades de BigQuery
Cuando seleccionas un tipo de publicación de suscripción como Escribir en BigQuery, puedes especificar las siguientes propiedades adicionales.
Usar el esquema de tema
Esta opción permite que Pub/Sub use el esquema del tema de Pub/Sub al que está adjunta la suscripción. Además, Pub/Sub escribe los campos de los mensajes en las direcciones columnas en la tabla de BigQuery.
Cuando uses esta opción, recuerda verificar los siguientes requisitos adicionales:
Los campos del esquema del tema y del esquema de BigQuery deben tener los mismos nombres, y sus tipos deben ser compatibles entre sí.
Cualquier campo opcional en el esquema del tema también debe estar opcional en el esquema de BigQuery.
Los campos obligatorios en el esquema del tema no es necesario que sean obligatorios en el esquema de BigQuery.
Si hay campos de BigQuery que no están presentes en el esquema del tema, estos campos de BigQuery debe estar en el modo
NULLABLE
.Si el esquema de tema tiene campos adicionales que no están presentes en el esquema de BigQuery y estos campos se pueden descartar, selecciona la opción Descartar campos desconocidos.
Puedes seleccionar solo una de las propiedades de suscripción, Usar esquema de tema o Usar esquema de tabla.
Si no seleccionas las opciones Use topic schema o Use table schema,
asegúrate de que la tabla de BigQuery tenga una columna llamada data
de
escribe BYTES
, STRING
o JSON
. Pub/Sub escribe el mensaje en
esta columna de BigQuery.
Es posible que no veas cambios en el esquema de temas de Pub/Sub o El esquema de la tabla de BigQuery se aplica de inmediato con mensajes se escribe en la tabla de BigQuery. Por ejemplo, si la columna Drop campo desconocidos está habilitada y hay un campo presente en la el esquema de Pub/Sub, pero no el esquema de BigQuery, mensajes escritos en la tabla de BigQuery podrían no contener el campo después de agregarlo al esquema de BigQuery. Con el tiempo, se sincronizan los esquemas y los mensajes posteriores incluyen el campo.
Cuando usas la opción Usar esquema de tema para tu suscripción a BigQuery, también puedes aprovechar la captura de datos modificados (CDC) de BigQuery. La CDC actualiza tus tablas de BigQuery procesar y aplicar cambios a las filas existentes.
Si deseas obtener más información sobre esta función, consulta Cómo transmitir actualizaciones de tablas con la captura de datos modificados.
Para aprender a usar esta función con suscripciones a BigQuery, consulta Captura de datos modificados de BigQuery.
Usar el esquema de tabla
Esta opción permite que Pub/Sub use el esquema de la tabla de BigQuery para escribir los campos de un mensaje en JSON en las columnas correspondientes. Cuando uses esta opción, recuerda verifica los siguientes requisitos adicionales:
Los mensajes publicados deben estar en formato JSON.
Se admiten las siguientes conversiones de JSON:
Tipo de JSON Tipo de datos de BigQuery string
NUMERIC
,BIGNUMERIC
,DATE
,TIME
,DATETIME
oTIMESTAMP
number
NUMERIC
,BIGNUMERIC
,DATE
,TIME
,DATETIME
oTIMESTAMP
- Cuando utilizas
number
para las conversiones deDATE
,DATETIME
,TIME
oTIMESTAMP
, la cantidad debe cumplir con las representaciones admitidas. - Cuando se usa la conversión de
number
aNUMERIC
oBIGNUMERIC
, la precisión y el rango de valores se limitan a los que acepta el estándar IEEE 754 para aritmética de punto flotante. Si necesitas alta precisión o un rango de valores más amplio, utilizastring
paraNUMERIC
oBIGNUMERIC
conversiones. - Cuando se usan conversiones de
string
aNUMERIC
oBIGNUMERIC
, Pub/Sub supone que la cadena es un número legible por humanos (p. ej.,"123.124"
). Si el procesamiento de la cadena como un número legible por humanos falla, Pub/Sub la trata como bytes codificados con BigDecimalByteStringEncoder.
- Cuando utilizas
Si el tema de la suscripción tiene un esquema asociado y, luego, la propiedad de codificación de mensajes debe establecerse en
JSON
.Si hay campos de BigQuery que no están presentes en los mensajes, estos campos de BigQuery deben estar en el modo
NULLABLE
.Si los mensajes tienen campos adicionales que no están presentes en el el esquema de BigQuery y estos campos se pueden descartar, la opción Descartar campos desconocidos.
Puedes seleccionar solo una de las propiedades de suscripción, Usar el esquema de tema. o Usar un esquema de tabla.
Si no seleccionas la opción Usar el esquema de tema o Usar el esquema de tabla, asegúrate de que la tabla de BigQuery tenga una columna llamada data
de tipo BYTES
, STRING
o JSON
. Pub/Sub escribe el mensaje en
esta columna de BigQuery.
Es posible que no veas los cambios en el esquema de la tabla de BigQuery de inmediato con los mensajes escritos en la tabla de BigQuery. Por ejemplo, si la opción Descartar campos desconocidos está habilitada y un campo está presente en los mensajes, pero no en el esquema de BigQuery, es posible que los mensajes escritos en la tabla de BigQuery aún no contengan el campo después de agregarlo al esquema de BigQuery. Con el tiempo, las sincronizaciones de esquema y los mensajes posteriores incluyen el campo.
Cuando usas la opción Usar el esquema de tabla para tu suscripción a BigQuery, también puede aprovechar la captura de datos modificados (CDC) de BigQuery. La CDC actualiza las tablas de BigQuery procesando y aplicando los cambios en las tablas existentes filas.
Para obtener más información sobre esta función, consulta Transmite actualizaciones de tablas con captura de datos modificados.
Para obtener información sobre cómo utilizar esta función con suscripciones a BigQuery, consulta Captura de datos modificados de BigQuery.
Quitar campos desconocidos
Esta opción se usa con las opciones Usar el esquema de tema o Usar el esquema de tabla. Esta opción permite que Pub/Sub descarte cualquier campo que esté presente en el tema. pero no en el de BigQuery. Si no se establece Descartar campos desconocidos, los mensajes con campos adicionales no se escriben en BigQuery y permanecen en las tareas pendientes de la suscripción. La suscripción termina en un estado de error.
Escribir metadatos
Esta opción permite que Pub/Sub escribir los metadatos de cada mensaje en columnas adicionales del en la tabla de BigQuery. De lo contrario, los metadatos no se escriben en la tabla de BigQuery.
Si seleccionas la opción Escribir metadatos, asegúrate de que el La tabla de BigQuery tiene los campos que se describen en la siguiente tabla.
Si no seleccionas la opción Escribir metadatos, la tabla de BigQuery de destino solo requiere el campo data
, a menos que
use_topic_schema
es verdadero. Si seleccionas las opciones Escribir metadatos y
Usar esquema del tema, el esquema del tema no debe
contener ningún campo con nombres que coincidan con los de los parámetros de metadatos.
Esta limitación incluye las versiones en mayúsculas y minúsculas de estos parámetros en formato de barra invertida.
Parámetros | |
---|---|
subscription_name |
STRING Es el nombre de una suscripción. |
message_id |
STRING ID de un mensaje |
publish_time |
TIMESTAMP Indica la hora de publicación de un mensaje. |
data |
BYTES, STRING o JSON El cuerpo del mensaje. El campo |
attributes |
STRING o JSON Es un objeto JSON que contiene todos los atributos del mensaje. También contiene campos adicionales que forman parte del Un mensaje de Pub/Sub que incluye la clave de ordenamiento, si están presentes. |
Propiedades de Cloud Storage
Cuando seleccionas un tipo de entrega de suscripciones como Write to Cloud Storage, puedes especificar las siguientes propiedades adicionales.
Nombre del bucket
Ya debe existir un bucket de Cloud Storage antes de crear una suscripción a Cloud Storage.
Los mensajes se envían como lotes y se almacenan en el bucket de Cloud Storage. Un solo lote o archivo se almacena como un objeto. en el bucket.
El bucket de Cloud Storage debe tener inhabilitada la opción Pago del solicitante.
Para crear un bucket de Cloud Storage, consulta Crea buckets.
Prefijo, sufijo y fecha y hora del nombre de archivo
Los archivos de salida de Cloud Storage generados por la Cloud Storage
se almacenan como objetos en el bucket de Cloud Storage. El nombre
del objeto almacenado en el bucket de Cloud Storage es de los siguientes:
formato: <file-prefix><UTC-date-time>_<uuid><file-suffix>
.
La siguiente lista incluye detalles del formato de archivo y los campos que personalizar:
<file-prefix>
es el prefijo del nombre de archivo personalizado. Este paso es opcional,<UTC-date-time>
es una cadena personalizable generada automáticamente según el momento en que se crea el objeto.<uuid>
es una cadena aleatoria generada automáticamente para el objeto.<file-suffix>
es el sufijo del nombre de archivo personalizado. Este paso es opcional, El sufijo del nombre del archivo no puede terminar en “/”.Puedes cambiar el prefijo y el sufijo del nombre de archivo:
Por ejemplo, si el valor del prefijo del nombre de archivo es
prod_
y el valor de el sufijo del nombre de archivo es_archive
, se muestraprod_2023-09-25T04:10:00+00:00_uN1QuE_archive
Si no especificas el prefijo y el sufijo del nombre de archivo, se almacenará en el bucket de Cloud Storage tiene el siguiente formato:
<UTC-date-time>_<uuid>
Los requisitos para nombrar objetos de Cloud Storage también se aplican al nombre de archivo. el prefijo y el sufijo. Para obtener más información, consulta Acerca de los objetos de Cloud Storage.
Puedes cambiar la forma en que se muestran la fecha y la hora en el nombre del archivo:
Comparadores de fecha y hora obligatorios que puedes usar solo una vez: año (
YYYY
oYY
), mes (MM
), día (DD
), hora (hh
), minuto (mm
) y segundo (ss
). Por ejemplo,YY-YYYY
oMMM
no es válido.Coincidencias opcionales que puedes usar solo una vez: separador de fecha y hora (
T
) y compensación de zona horaria (Z
o+00:00
).Elementos opcionales que puedes usar varias veces: guion (
-
), guion bajo (_
), dos puntos (:
) y barra diagonal (/
).Por ejemplo, si el valor del formato de fecha y hora del nombre de archivo es
YYYY-MM-DD/hh_mm_ssZ
, un nombre de objeto de muestra esprod_2023-09-25/04_10_00Z_uNiQuE_archive
Si el formato de fecha y hora del nombre de archivo termina en un carácter que no es un comparador, ese carácter reemplazará el separador entre
<UTC-date-time>
y<uuid>
. Por ejemplo, si el valor del formato de fecha y hora del nombre de archivo esYYYY-MM-DDThh_mm_ss-
, un nombre de objeto de muestra esprod_2023-09-25T04_10_00-uNiQuE_archive
.
Agrupación en lotes de archivos
Las suscripciones a Cloud Storage te permiten decidir cuándo quieres crear un nuevo archivo de salida que se almacena como un objeto en el bucket de Cloud Storage. Pub/Sub escribe un archivo de salida cuando uno de los se cumplan las condiciones de lotes especificadas. Los siguientes son los Condiciones de procesamiento por lotes de Cloud Storage:
Duración máxima del lote de almacenamiento. Este es un parámetro de configuración obligatorio. La suscripción a Cloud Storage escribe un nuevo archivo de salida si se supera el valor especificado de duración máxima. Si no se especifica el valor, se aplica un valor predeterminado de 5 minutos. Los siguientes son los valores aplicables para la duración máxima:
- Valor mínimo: 1 minuto
- Valor predeterminado = 5 minutos
- Valor máximo = 10 minutos
Cantidad máxima de bytes por lotes de almacenamiento. Este es un parámetro de configuración opcional. El La suscripción a Cloud Storage escribe un nuevo archivo de salida si la se excede el valor especificado de la cantidad máxima de bytes. Los siguientes son los valores aplicables para los bytes máximos:
- Valor mínimo = 1 KB
- Valor máximo = 10 GiB
Mensajes por lotes de almacenamiento máximos. Este es un parámetro de configuración opcional. La suscripción a Cloud Storage escribe un nuevo archivo de salida si se supera la cantidad máxima de mensajes especificada. Las siguientes son las aplicables valores para la cantidad máxima de mensajes:
- Valor mínimo = 1,000
Por ejemplo, puedes configurar la duración máxima en 6 minutos y los bytes máximos en 2 GB. Si, en el cuarto minuto, el archivo de salida alcanza un tamaño de archivo de 2 GB, Pub/Sub finaliza el archivo anterior y comienza a escribir en uno nuevo.
Una suscripción a Cloud Storage puede escribir en varios archivos de un bucket de Cloud Storage de forma simultánea. Si configuraste tu suscripción para crear un archivo nuevo cada 6 minutos, es posible que observes que se crean varios archivos de Cloud Storage cada 6 minutos.
En algunas situaciones, Pub/Sub puede comenzar a escribir en un archivo nuevo antes de la hora configurada por las condiciones de procesamiento por lotes de archivos. Un archivo también puede exceder el valor de bytes máximos si la suscripción recibe mensajes más grandes que el valor de bytes máximos.
Formato de archivo
Cuando creas una suscripción a Cloud Storage, puedes especificar el formato de los archivos de salida que se almacenarán en un bucket de Cloud Storage como Texto o Avro.
Texto: Los mensajes se almacenan como texto sin formato. Un carácter de línea nueva separa un mensaje del mensaje anterior en el archivo. Solo se almacenan las cargas útiles de los mensajes, no los atributos ni otros metadatos.
Avro: Los mensajes se almacenan en Formato binario de Apache Avro. Cuando seleccionas Avro, puedes habilitar las siguientes propiedades adicionales:
Escribir metadatos: Esta opción te permite almacenar los metadatos del mensaje junto con el mensaje. Los metadatos como los campos
subscription_name
,message_id
,publish_time
yattributes
se escriben en campos de nivel superior en el objeto Avro de salida, mientras que todas las demás propiedades de mensaje que no son datos (por ejemplo, order_key, si está presente) se agregan como entradas en el mapaattributes
.Si la escritura de metadatos está inhabilitada, solo la carga útil del mensaje se escribe en el objeto Avro de salida. Este es el esquema de Avro para los mensajes de salida con los metadatos de escritura inhabilitados:
{ "type": "record", "namespace": "com.google.pubsub", "name": "PubsubMessage", "fields": [ { "name": "data", "type": "bytes" } ] }
Este es el esquema de Avro para los mensajes de salida con los metadatos de escritura habilitados:
{ "type": "record", "namespace": "com.google.pubsub", "name": "PubsubMessageWithMetadata", "fields": [ { "name": "subscription_name", "type": "string" }, { "name": "message_id", "type": "string" }, { "name": "publish_time", "type": { "type": "long", "logicalType": "timestamp-micros" } }, { "name": "attributes", "type": { "type": "map", "values": "string" } }, { "name": "data", "type": "bytes" } ] }
Usar el esquema de tema: Esta opción permite que Pub/Sub use el esquema del tema de Pub/Sub al que se adjunta la suscripción cuando se escriben archivos de Avro.
Cuando uses esta opción, recuerda verificar los siguientes requisitos adicionales:
El esquema del tema debe estar en formato Apache Avro.
Si están habilitados usar el esquema de tema y escribir metadatos, el esquema de tema debe tener un objeto Record en su raíz. Pub/Sub expandirá la lista de campos del registro para incluir los campos de metadatos. Como resultado, el registro no puede contener ningún campo con el mismo nombre que los campos de metadatos (
subscription_name
,message_id
,publish_time
oattributes
).
¿Qué sigue?
- Crea una suscripción de extracción.
- Crea una suscripción de envío.
- Crea una suscripción a BigQuery.
- Crea una suscripción a Cloud Storage.