本文档简要介绍了 BigQuery 订阅、其工作流和相关属性。
BigQuery 订阅是一种导出订阅，可在收到消息时将其写入现有 BigQuery 表。您无需配置单独的订阅方客户端。您可以使用 Google Cloud 控制台、Google Cloud CLI、客户端库或 Pub/Sub API 创建、更新、列出、分离或删除 BigQuery 订阅。
如果不使用 BigQuery 订阅类型，您需要拉取或推送订阅以及订阅者（例如 Dataflow），以读取消息并将其写入 BigQuery 表。如果消息在存储到 BigQuery 表之前不需要额外处理，则无需运行 Dataflow 作业的开销；您可以改用 BigQuery 订阅。
不过，对于需要在将数据存储在 BigQuery 表中之前进行一些数据转换的 Pub/Sub 系统，我们仍然建议使用 Dataflow 流水线。如需了解如何使用 Dataflow 将经过转换的数据从 Pub/Sub 流式传输到 BigQuery，请参阅从 Pub/Sub 流式传输到 BigQuery。
Dataflow 中的 Pub/Sub 订阅到 BigQuery 模板默认会强制执行“正好一次”传送。这通常通过 Dataflow 流水线中的去重机制来实现。不过，BigQuery 订阅仅支持至少传送一次。如果精确去重对您的用例至关重要，请考虑在 BigQuery 中使用下游进程来处理可能的重复数据。
准备工作
在阅读本文档之前，请确保您熟悉以下内容：
Pub/Sub 的工作原理以及不同的 Pub/Sub 术语。
Pub/Sub 支持的不同订阅类型，以及您可能需要使用 BigQuery 订阅的原因。
BigQuery 的运作方式，以及如何配置和管理 BigQuery 表。
BigQuery 订阅工作流
下图显示了 BigQuery 订阅和 BigQuery 之间的工作流。
下面简要介绍了引用图 1 的工作流程：
- Pub/Sub 使用 BigQuery Storage Write API 将数据发送到 BigQuery 表。
- 这些消息会分批发送到 BigQuery 表。
- 写入操作成功完成后，API 会返回“OK”响应。
- 如果写入操作出现任何失败，系统会对 Pub/Sub 消息本身发送负确认。然后，系统会重新发送消息。如果消息失败次数足够多，并且订阅上配置了死信主题，则系统会将消息移至死信主题。
BigQuery 订阅的属性
您为 BigQuery 订阅配置的属性决定了 Pub/Sub 将消息写入的 BigQuery 表以及该表的架构类型。
如需了解详情，请参阅 BigQuery 属性。
架构兼容性
只有在您创建 BigQuery 订阅时选择使用主题架构选项时，本部分才适用。
Pub/Sub 和 BigQuery 使用不同的方式来定义其架构。Pub/Sub 架构采用 Apache Avro 或 Protocol Buffer 格式定义，而 BigQuery 架构采用多种格式定义。
以下是有关 Pub/Sub 主题与 BigQuery 表之间的架构兼容性的重要信息列表。
任何包含格式错误字段的消息都不会写入 BigQuery。
在 BigQuery 架构中，
INT、SMALLINT、INTEGER、BIGINT、TINYINT和BYTEINT是INTEGER的别名；DECIMAL是NUMERIC的别名；BIGDECIMAL是BIGNUMERIC的别名。如果主题架构中的数据类型为
string，而 BigQuery 表中的数据类型为JSON、TIMESTAMP、DATETIME、DATE、TIME、NUMERIC或BIGNUMERIC，则 Pub/Sub 消息中此字段的任何值都必须遵循为 BigQuery 数据类型指定的格式。支持某些 Avro 逻辑类型，如下表所示。未列出的任何逻辑类型仅与其注解的等效 Avro 类型匹配，如 Avro 规范中所详述。
以下是将不同架构格式映射到 BigQuery 数据类型的集合。
Avro 类型
| Avro 类型 | BigQuery 数据类型 |
null |
Any NULLABLE |
boolean |
BOOLEAN |
int |
INTEGER、NUMERIC 或 BIGNUMERIC |
long |
INTEGER、NUMERIC 或 BIGNUMERIC |
float |
FLOAT64、NUMERIC 或 BIGNUMERIC |
double |
FLOAT64、NUMERIC 或 BIGNUMERIC |
bytes |
BYTES、NUMERIC 或 BIGNUMERIC |
string |
STRING、JSON、TIMESTAMP、DATETIME、DATE、TIME、NUMERIC 或 BIGNUMERIC |
record |
RECORD/STRUCT |
array/Type |
REPEATED Type |
值类型为 ValueType 的 map
|
REPEATED STRUCT <key STRING, value
ValueType> |
union，有两种类型，一种是 null，另一种是 Type |
NULLABLE Type |
其他 union |
不可映射 |
fixed |
BYTES、NUMERIC 或 BIGNUMERIC |
enum |
INTEGER |
Avro 逻辑类型
| Avro 逻辑类型 | BigQuery 数据类型 |
timestamp-micros |
TIMESTAMP |
date |
DATE |
time-micros |
TIME |
duration |
INTERVAL |
decimal |
NUMERIC 或 BIGNUMERIC |
协议缓冲区类型
| 协议缓冲区类型 | BigQuery 数据类型 |
double |
FLOAT64、NUMERIC 或 BIGNUMERIC |
float |
FLOAT64、NUMERIC 或 BIGNUMERIC |
int32 |
INTEGER、NUMERIC、BIGNUMERIC 或 DATE |
int64 |
INTEGER、NUMERIC、BIGNUMERIC、DATE、DATETIME 或 TIMESTAMP |
uint32 |
INTEGER、NUMERIC、BIGNUMERIC 或 DATE |
uint64 |
NUMERIC 或 BIGNUMERIC |
sint32 |
INTEGER、NUMERIC 或 BIGNUMERIC |
sint64 |
INTEGER、NUMERIC、BIGNUMERIC、DATE、DATETIME 或 TIMESTAMP |
fixed32 |
INTEGER、NUMERIC、BIGNUMERIC 或 DATE |
fixed64 |
NUMERIC 或 BIGNUMERIC |
sfixed32 |
INTEGER、NUMERIC、BIGNUMERIC 或 DATE |
sfixed64 |
INTEGER、NUMERIC、BIGNUMERIC、DATE、DATETIME 或 TIMESTAMP |
bool |
BOOLEAN |
string |
STRING、JSON、TIMESTAMP、DATETIME、DATE、TIME、NUMERIC 或 BIGNUMERIC |
bytes |
BYTES、NUMERIC 或 BIGNUMERIC |
enum |
INTEGER |
message |
RECORD/STRUCT |
oneof |
不可映射 |
map<KeyType, ValueType> |
REPEATED RECORD<key KeyType, value
ValueType> |
enum |
INTEGER |
repeated/array of Type |
REPEATED Type |
日期和时间整数表示法
将整数映射到日期或时间类型之一时，数字必须表示正确的值。以下是 BigQuery 数据类型与表示它们的整数之间的映射。
| BigQuery 数据类型 | 整数表示法 |
DATE |
自 Unix 纪元（1970 年 1 月 1 日）开始计算的天数 |
DATETIME |
日期和时间（以微秒为单位），使用 CivilTimeEncoder 表示为民用时间 |
TIME |
时间（以微秒为单位），使用 CivilTimeEncoder 表示为民用时间 |
TIMESTAMP |
从 Unix 纪元（1970 年 1 月 1 日 00:00:00 UTC）开始计算的微秒数 |
BigQuery 变更数据捕获
当订阅属性中的 use_topic_schema 或 use_table_schema 设置为 true 时，BigQuery 订阅支持变更数据捕获 (CDC) 更新。如需将此功能与 use_topic_schema 搭配使用，请使用以下字段设置主题的架构：
_CHANGE_TYPE（必需）：设置为UPSERT或DELETE的string字段。如果写入 BigQuery 表的 Pub/Sub 消息将
_CHANGE_TYPE设置为UPSERT，则 BigQuery 会更新具有相同键的行（如果存在）或插入新行（如果不存在）。如果写入 BigQuery 表的 Pub/Sub 消息将
_CHANGE_TYPE设置为DELETE，则 BigQuery 会删除表中具有相同键的行（如果存在）。
_CHANGE_SEQUENCE_NUMBER（可选）：设置的int64(long) 字段，用于确保按顺序处理对 BigQuery 表进行的更新和删除操作。同一行键的消息必须包含单调递增的_CHANGE_SEQUENCE_NUMBER值。序列号低于为某行处理的最高序列号的消息不会对 BigQuery 表中的相应行产生任何影响。请注意，Pub/Sub 需要基于整数的值，而不是直接与 BigQuery 交互时使用的基于字符串的值。
如需将此功能与 use_table_schema 搭配使用，请在 JSON 消息中添加上述字段。
Pub/Sub 服务账号权限
如需创建 BigQuery 订阅，Pub/Sub 服务账号必须有权写入特定 BigQuery 表并读取表元数据。如需了解详情，请参阅向 Pub/Sub 服务账号分配 BigQuery 角色。
处理消息故障
如果 Pub/Sub 消息无法写入 BigQuery，则无法确认该消息。如需转发此类无法传送的消息，请在 BigQuery 订阅上配置死信主题。转发到死信主题的 Pub/Sub 消息包含属性 CloudPubSubDeadLetterSourceDeliveryErrorMessage，其中包含 Pub/Sub 消息无法写入 BigQuery 的原因。
如果 Pub/Sub 无法将消息写入 BigQuery，则会以类似于推送延迟行为的方式延迟消息传送。不过，如果订阅附加了死信主题，当消息传送失败是由于架构兼容性错误时，Pub/Sub 不会推迟传送。
配额和限制
每个区域的 BigQuery 订阅者吞吐量存在配额限制。如需了解详情，请参阅 Pub/Sub 配额和限制。
BigQuery 订阅使用 BigQuery Storage Write API 写入数据。如需了解 Storage Write API 的配额和限制，请参阅 BigQuery Storage Write API 请求。BigQuery 订阅仅会消耗 Storage Write API 的吞吐量配额。在本例中，您可以忽略其他 Storage Write API 配额注意事项。
价格
如需了解 BigQuery 订阅的价格，请参阅 Pub/Sub 价格页面。
后续步骤
创建订阅，例如 BigQuery 订阅。
排查 BigQuery 订阅问题。
了解 BigQuery。
查看 Pub/Sub 的价格，包括 BigQuery 订阅。
使用
gcloudCLI 命令创建或修改订阅。使用 REST API 创建或修改订阅。