Esta página fornece algumas dicas comuns para solução de problemas para assinaturas do BigQuery.
Verificar o estado de uma assinatura do BigQuery
Para verificar o estado de uma assinatura, siga estas etapas:
No console do Google Cloud, acesse o Pub/Sub página de assinatura.
Verifique o ícone Estado da sua assinatura do BigQuery.
Se o ícone for uma marca de seleção verde, a assinatura está íntegra.
Se o ícone for um ponto de exclamação vermelho, a assinatura está em um estado de erro.
Clique na assinatura do BigQuery.
A página de detalhes da assinatura é aberta.
Verifique a mensagem de erro no Estado da assinatura.
Dependendo da mensagem de erro, vá para a seção relevante nesta para solucionar o problema.
Depois que o problema é resolvido, a assinatura finalmente retorna a um um estado íntegro.
Não foi possível criar ou atualizar a assinatura
Estes são alguns dos problemas comuns que você pode enfrentar criar ou atualizar uma assinatura do BigQuery.
Erro de tabela não encontrada
Se a tabela especificada no fluxo de trabalho de criação ou atualização de assinatura não existir, o fluxo de trabalho vai retornar um erro de tabela não encontrada. No console do Google Cloud, a mensagem será semelhante a esta:
The BigQuery table or dataset specified cannot be found.
Para resolver o problema, crie a tabela e verifique se é possível seu estado antes de usá-lo com uma assinatura do BigQuery.
Erro de incompatibilidade de esquema
Se os esquemas da tabela e do tópico não forem compatíveis, o fluxo de trabalho de criação ou atualização de assinaturas retorna um erro de incompatibilidade de esquema. No console do Google Cloud, a mensagem é semelhante a esta:
Incompatible schema type for field project_ids: expected INT64, got STRING
A mensagem de erro especificada é de incompatibilidade de esquema em um campo chamado project_ids.
Dependendo do tipo de incompatibilidade de esquema, é possível
ver uma variação diferente da mensagem de erro.
Para resolver o problema, verifique se os mapeamentos de esquema são compatíveis.
Erro da conta de serviço
Se você não tiver configurado a conta de serviço do Pub/Sub com as permissões corretas, o fluxo de trabalho de criação ou atualização de assinaturas vai retornar um erro. No console do Google Cloud, a mensagem é semelhante a esta:
Service account service-1234234234@gcp-sa-pubsub.iam.gserviceaccount.com
is missing permissions required to write to the BigQuery table:
bigquery.tables.get, bigquery.tables.updateData.
Para resolver o problema, verifique se a conta de serviço as permissões corretas.
O estado da assinatura mostra um ponto de exclamação vermelho
Se você editar a tabela depois de criar uma assinatura, isso poderá afetar como o Pub/Sub grava mensagens na tabela. Se uma mudança resultar em um problema, o campo de estado da assinatura será definido como um estado de erro.
Na página de detalhes da assinatura, verifique o estado do campo Subscription state.
O campo Subscription state fornece um erro mais específico,
que pode ser um dos seguintes:
table not found: a tabela foi excluída. Crie uma tabela e verifique o estado dela. Consulte Receber informações da tabela.
permissão de tabela negada: o número da conta de serviço do Pub/Sub tem permissão para gravar na tabela. Verifique se a conta de serviço tem as permissões corretas.
Incompatibilidade de esquema de tabela: o esquema de tabela não é mais compatível com as configurações de assinatura do BigQuery. Confira se os mapeamentos de esquema são compatíveis.
Enquanto uma assinatura do Pub/Sub estiver em estado de erro,
as mensagens não são gravadas na tabela do BigQuery e permanecem
do backlog de assinaturas. As mensagens não são entregues a um
tópico de mensagens inativas anexado, se configurado. As mensagens não confirmadas são retidas
para o período definido em message_retention_duration(7 dias, por padrão).
Um backlog está se acumulando
Se você notar um acúmulo de mensagens na assinatura ou mensagens enviadas para o tópico de mensagens inativas de uma assinatura, analise as possíveis causas a seguir.
Mensagem de erro INVALID_ARGUMENT
Esse erro acontece quando a mensagem fornecida está em um formato que o Pub/Sub considera válida, mas o esquema da tabela de destino do BigQuery não. Isso significa que um ou mais campos na mensagem têm valores que não são permitidos pelo esquema da tabela do BigQuery. Revise a compatibilidade do esquema para verificar se os tipos e formatos de dados estão corretos. Alguns dos erros mais comuns incluem:
Uma string vazia (
"") não é um JSON válido. Ao enviar dados para um elemento anulável, Coluna da tabela do BigQuery em JSON, forneça um objeto JSON vazio({}),nullou uma string JSON vazia("\"\"")para representar os valores ausentes. Enviando uma string vazia resulta em erro.Se um valor de campo de mensagem exceder o comprimento máximo do campo do BigQuery, a mensagem vai falhar devido a limitações de tamanho.
Para resolver erros do INVALID_ARGUMENT, adicione um
tópico de mensagens inativas para o
inscrição de interesse. O tópico de mensagens inativas captura mensagens que não
foram gravadas no BigQuery, junto com um atributo chamado
CloudPubSubDeadLetterSourceDeliveryErrorMessage
que explica o motivo da falha.
Essas falhas de entrega também podem ser vistas no Metrics Explorer.
Selecione a métrica pubsub.googleapis.com/subscription/push_request_count e
filtre por response_code=invalid_argument.
Mensagem de erro RESOURCE_EXHAUSTED
Se as mensagens estiverem sendo gravadas no BigQuery lentamente, talvez seja necessário
aumentar a cota de envio do Pub/Sub ou a capacidade de gravação do armazenamento
do BigQuery do projeto. Para verificar se você está encontrando limitações de cota,
examine a métrica de solicitações de push (subscription/push_request_count)
para erros resource_exhausted.
Outra maneira de diagnosticar problemas de cota é verificar a cota do projeto. Navegue até IAM e administrador > Cotas no projeto que contém seu recurso do Pub/Sub ou sua instância do BigQuery. Pesquise a cota relevante,
pubsub.googleapis.com/regionalpushsubscriber ou
bigquerystorage.googleapis.com/write/append_bytes. Se uma das cotas precisar
aumentar, solicite uma cota maior.
Tabela particionada por hora mostrando __UNPARTITIONED__ na coluna de ID da partição
Quando uma tabela de destino do BigQuery é particionada por hora, as linhas
são inicialmente armazenadas em uma partição especial chamada __UNPARTITIONED__ na
visualização INFORMATION_SCHEMA.PARTITIONS.
Esse é o comportamento esperado para tabelas que usam particionamento por tempo de ingestão.
O BigQuery usa um buffer de streaming para otimizar o processo de gravação.
Os dados podem ficar na partição __UNPARTITIONED__ até que haja volume suficiente
se acumula ou pelo menos uma hora tenha passado. Depois que essas condições forem atendidas,
O BigQuery particiona novamente os dados na partição por hora apropriada.
É possível monitorar os dados na partição __UNPARTITIONED__ usando a
INFORMATION_SCHEMA.PARTITIONS visualização.
A seguir
- Se você ainda tiver problemas com o BigQuery assinatura, consulte Como receber suporte.