Nesta página, mostramos como resolver problemas com a rede do Dataflow.
A interface de rede precisará especificar uma sub-rede se o recurso de rede estiver no modo de sub-rede personalizado
O erro a seguir ocorre quando você executa um job do Dataflow:
Workflow failed. Causes: Invalid Error: Message: Invalid value for field
'resource.properties.networkInterfaces[0].subnetwork': ''. Network interface
must specify a subnet if the network resource is in custom subnet mode. HTTP
Code: 400
Esse problema ocorrerá se a rede VPC chamada default tiver sido convertida de uma rede VPC de modo automático para uma rede VPC de modo personalizado.
Para resolver esse problema, especifique o parâmetro de sub-rede ao usar uma rede VPC de modo personalizado. Para mais informações, consulte Especificar uma rede e uma sub-rede.
Não são permitidas referências entre projetos para esse recurso
O erro a seguir ocorre quando você executa um job do Dataflow em uma rede VPC compartilhada:
Invalid value for field 'resource.properties.networkInterfaces[0].subnetwork':
'https://www.googleapis.com/compute/v1/projects/PROJECT/regions/REGION/subnetworks/SUBNETWORK'.
Cross-project references for this resource are not allowed.
Esse problema ocorre se você especificar uma sub-rede em uma rede VPC compartilhada, mas o projeto de serviço não estiver anexado ao projeto host da VPC compartilhada.
Para resolver esse problema, um administrador da VPC compartilhada precisa anexar o projeto de serviço ao projeto host.
A rede ou sub-rede não está acessível para a conta de serviço do Dataflow ou não existe
Um dos erros a seguir ocorre quando você tenta executar um job do Dataflow. O job falha.
Workflow failed. Causes: Network default is not accessible to Dataflow Service
account or does not exist
Workflow failed. Causes: Subnetwork SUBNETWORK is not
accessible to Dataflow Service account or does not exist
Este problema pode ocorrer pelos seguintes motivos:
- Você omite os parâmetros de sub-rede e rede ao criar o job do Dataflow, mas não existe uma rede VPC de modo automático chamada
defaultno seu projeto. Talvez você não tenha uma rede padrão se ela tiver sido excluída ou se uma restrição da política da organização impedir a criação de uma rede padrão. - A sub-rede não existe.
- O parâmetro de sub-rede foi especificado incorretamente.
- Não existem as permissões necessárias para a conta de serviço do Dataflow.
Para resolver esse problema, siga as diretrizes para especificar uma rede e uma sub-rede.
A RPC expirou ou falhou ao se conectar nas portas 12345 ou 12346
Um dos erros a seguir ocorre ao executar um job do Dataflow que não usa o Streaming Engine ou o Dataflow Shuffle. O job fica travado ou falha.
Para jobs de streaming:
Rpc to WORKER_HARNESS:12345 completed with error
UNAVAILABLE: failed to connect to all addresses; last error : UNKNOWN:
ipv4:WORKER_IP_ADDRESS:12345: Failed to connect to remote
host: FD Shutdown
Para jobs em lote:
(g)RPC timed out when SOURCE_WORKER_HARNESS talking to
DESTINATION_WORKER_HARNESS:12346.
Esse problema ocorrerá se não existir uma regra de firewall que permita o tráfego de rede nas portas TCP 12345 e 12346. Quando o job usa vários workers, eles não podem se comunicar uns com os outros.
Para resolver esse problema, consulte as etapas de solução de problemas em DEADLINE_EXCEEDED ou servidor sem resposta.
Um único worker é iniciado e interrompido repetidamente
O problema a seguir ocorre quando você inicia um job do Dataflow. Na página Métricas do job do Dataflow, o gráfico Utilização da CPU (todos os workers) mostra que um worker é iniciado repetidamente e, em seguida, interrompido após alguns minutos. Apenas um worker fica disponível por vez.
O seguinte erro ocorre:
The Dataflow job appears to be stuck because no worker activity has been seen
in the last 1h. Please check the worker logs in Stackdriver Logging.
Nenhum registro de worker é criado.
Nos registros dos jobs, várias mensagens semelhantes a esta podem aparecer:
Autoscaling: Raised the number of workers to 1 based on the rate of progress in
the currently running stage(s).
Esse problema ocorrerá se a rede VPC não tiver uma rota padrão para a Internet e uma rota padrão para a sub-rede.
Para resolver esse problema, adicione rotas padrão à sua rede VPC. Para mais informações, consulte Acesso à Internet para o Dataflow.
A sub-rede não tem o Acesso privado do Google
O erro a seguir ocorre quando você inicia um job do Dataflow em que endereços IP externos estão desativados:
Workflow failed. Causes: Subnetwork SUBNETWORK on project
PROJECT_ID network NETWORK in
region REGION does not have Private Google Access, which
is required for usage of private IP addresses by the Dataflow workers.
Esse problema ocorre quando você desativa os endereços IP externos sem ativar o Acesso privado do Google.
Para resolver esse problema, ative o Acesso privado do Google para a sub-rede que o job do Dataflow usa.