Esta página oferece algumas dicas comuns de solução de problemas para assinaturas do BigQuery.
Verificar o estado de uma assinatura do BigQuery
Para verificar o estado de uma assinatura, siga estas etapas:
No console do Google Cloud, acesse a página de assinaturas do Pub/Sub.
Verifique o ícone Estado da sua assinatura do BigQuery.
Se o ícone for uma marca de seleção verde, a assinatura está íntegra.
Se o ícone for um ponto de exclamação vermelho, a assinatura está em um estado de erro.
Clique na assinatura do BigQuery.
A página de detalhes da assinatura é aberta.
Verifique a mensagem de erro em Estado da assinatura.
Dependendo da mensagem de erro, acesse a seção relevante nesta página para resolver o problema.
Depois que o problema for resolvido, a assinatura vai retornar a um estado saudável.
Não foi possível criar ou atualizar a assinatura
Estes são alguns dos problemas comuns que você pode encontrar se tiver problemas para criar ou atualizar uma assinatura do BigQuery.
Erro de tabela não encontrada
Se a tabela especificada no fluxo de trabalho de criação ou atualização de assinatura não existir, o fluxo de trabalho vai retornar um erro de tabela não encontrada. No console do Google Cloud, a mensagem é semelhante a esta:
The BigQuery table or dataset specified cannot be found.
Para resolver o problema, crie a tabela e verifique se é possível verificar o estado dela antes de usá-la com uma assinatura do BigQuery.
Erro de incompatibilidade de esquema
Se os esquemas da tabela e do tópico não forem compatíveis, o fluxo de trabalho de criação ou atualização de assinatura retornará um erro de incompatibilidade de esquema. No console do Google Cloud, a mensagem é semelhante a esta:
Incompatible schema type for field project_ids: expected INT64, got STRING
A mensagem de erro especificada é para incompatibilidade de esquema de um campo chamado project_ids.
Dependendo do tipo de incompatibilidade de esquema, você pode
encontrar uma variação diferente da mensagem de erro.
Para resolver o problema, verifique se os mapeamentos de esquema são compatíveis.
Erro da conta de serviço
Se você não tiver configurado a conta de serviço do Pub/Sub com as permissões corretas, o fluxo de trabalho de criação ou atualização de assinaturas vai retornar um erro. No console do Google Cloud, a mensagem é semelhante a esta:
Service account service-1234234234@gcp-sa-pubsub.iam.gserviceaccount.com
is missing permissions required to write to the BigQuery table:
bigquery.tables.get, bigquery.tables.updateData.
Para resolver o problema, verifique se a conta de serviço tem as permissões corretas.
O estado da assinatura mostra um ponto de exclamação vermelho
Se você editar a tabela depois de criar uma assinatura, isso poderá afetar a forma como o Pub/Sub grava mensagens na tabela. Se uma mudança resultar em um problema, o campo de estado da assinatura será definido como um estado de erro.
Na página de detalhes da assinatura, verifique o estado do campo Subscription state.
O campo Subscription state fornece um erro mais específico,
que pode ser um dos seguintes:
tabela não encontrada: a tabela foi excluída. Crie uma tabela e verifique o estado dela. Consulte Como conseguir informações sobre tabelas.
Permissão de tabela negada: a conta de serviço do Pub/Sub não tem mais permissão para gravar na tabela. Verifique se a conta de serviço tem as permissões corretas.
Incompatibilidade de esquema de tabela: o esquema de tabela não é mais compatível com as configurações de assinatura do BigQuery. Confira se os mapeamentos de esquema são compatíveis.
Enquanto uma assinatura do Pub/Sub está no estado de erro,
as mensagens não são gravadas na tabela do BigQuery e permanecem no
atraso da assinatura. As mensagens não são entregues a um
tópico de mensagens inativas anexado, se configurado. As mensagens não confirmadas são retidas
pelo período definido em message_retention_duration(sete dias, por padrão).
Um backlog está se acumulando
Se você notar um acúmulo de mensagens na assinatura ou mensagens enviadas para o tópico de mensagens inativas de uma assinatura, analise as possíveis causas a seguir.
Mensagem de erro INVALID_ARGUMENT
Esse erro ocorre quando a mensagem fornecida está em um formato que o Pub/Sub considera válido, mas o esquema da tabela de destino do BigQuery não. Isso significa que um ou mais campos na mensagem têm valores que não são permitidos pelo esquema da tabela do BigQuery. Revise a compatibilidade do esquema para verificar se os tipos e formatos de dados estão corretos. Alguns dos erros mais comuns incluem:
Uma string vazia (
"") não é um JSON válido. Ao enviar dados para uma coluna de tabela JSON do BigQuery com nullable, forneça um objeto JSON vazio({}),nullou uma string JSON vazia("\"\"")para representar valores ausentes. Enviar uma string vazia resulta em um erro.Se um valor de campo de mensagem exceder o comprimento máximo do campo do BigQuery, a mensagem vai falhar devido a limitações de tamanho.
Para resolver problemas de erros de INVALID_ARGUMENT, adicione um
tópico de mensagens inativas à
assinatura de interesse. O tópico de mensagens inativas captura mensagens que não
foram gravadas no BigQuery, junto com um atributo chamado
CloudPubSubDeadLetterSourceDeliveryErrorMessage
que explica o motivo da falha.
Essas falhas de entrega também podem ser vistas no Analisador de métricas.
Selecione a métrica pubsub.googleapis.com/subscription/push_request_count e
filtre por response_code=invalid_argument.
Mensagem de erro RESOURCE_EXHAUSTED
Se as mensagens estiverem sendo gravadas no BigQuery lentamente, talvez seja necessário
aumentar a cota de envio do Pub/Sub ou a capacidade de gravação do armazenamento
do BigQuery do projeto. Para verificar se você está enfrentando limitações de cota,
examine a métrica de solicitações push (subscription/push_request_count)
em busca de erros resource_exhausted.
Outra maneira de diagnosticar problemas de cota é verificar a cota do projeto. Navegue até IAM e administrador > Cotas no projeto que contém seu recurso do Pub/Sub ou sua instância do BigQuery. Pesquise a cota relevante, pubsub.googleapis.com/regionalpushsubscriber ou
bigquerystorage.googleapis.com/write/append_bytes. Se uma das cotas precisar de um aumento, você pode solicitar uma cota maior.
Tabela particionada por hora mostrando __UNPARTITIONED__ na coluna de ID da partição
Quando uma tabela de destino do BigQuery é particionada por hora, as linhas
são inicialmente armazenadas em uma partição especial chamada __UNPARTITIONED__ na
visualização INFORMATION_SCHEMA.PARTITIONS.
Esse é o comportamento esperado para tabelas que usam a partição por tempo de processamento.
O BigQuery usa um buffer de streaming para otimizar o processo de gravação.
Os dados podem residir na partição __UNPARTITIONED__ até que um volume
suficiente seja acumulado ou pelo menos uma hora tenha se passado. Depois que essas condições forem atendidas,
o BigQuery vai reparticionar os dados na partição por hora adequada.
É possível monitorar dados na partição __UNPARTITIONED__ usando a
visualização INFORMATION_SCHEMA.PARTITIONS.
A seguir
- Se você ainda tiver problemas com sua assinatura do BigQuery, consulte Como receber suporte.