Resolva problemas do Cloud Data Fusion

Esta página mostra-lhe como resolver problemas com o Cloud Data Fusion.

Recupere informações de erro para uma execução de pipeline com falha

Quando uma execução da pipeline falha, pode obter informações de erro detalhadas. O Cloud Data Fusion 6.11.0 classifica os erros de pipeline por categoria, motivo e mensagem. Esta classificação acelera a resolução e reduz a necessidade de examinar registos complexos.

Para ver os detalhes do erro, siga estes passos:

Consola

  1. Na Google Cloud consola, abra a instância do Cloud Data Fusion e aceda ao pipeline na página Studio.

  2. No nó onde ocorreu o erro, clique em Ver erros.

  3. Reveja os detalhes do erro, que incluem a categoria do erro, o motivo do erro e a mensagem de erro.

  4. Opcional: para transferir registos não processados para análise adicional, clique em Transferir registos não processados.

  5. Opcional: para ver os registos não processados, clique em Ver registos.

REST

Envie um pedido POST para o seguinte ponto final:

 curl -H "Authorization: Bearer $(gcloud auth print-access-token)"
 -H "Content-Type: application/json" 
 ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/apps/PIPELINE_NAME/workflows/DataPipelineWorkflow/runs/RUN_ID/classify -X POST

Substitua o seguinte:

  • NAMESPACE_ID: o ID do espaço de nomes
  • PIPELINE_NAME: o nome do pipeline
  • RUN_ID: o ID de execução do pipeline

Segue-se uma resposta de exemplo para um erro de plugin:

 [
    {
       "stageName": "Stage Name",
       "errorCategory": "Plugin-x",
       "errorReason": "Input path gs://x does not exist",
       "errorMessage": "Input path gs://x does not exist",
       "errorType": "SYSTEM/USER/UNKNOWN",
       "dependency": "true/false"
    }
 ]
 ```
You can also [view advanced logs for your pipelines](/data-fusion/docs/how-to/viewing-stackdriver-logs).

Resolva problemas com a criação da instância do Cloud Data Fusion

Quando cria uma instância do Cloud Data Fusion, pode encontrar o seguinte problema:

Read access to project PROJECT_ID was denied.

Para resolver este problema, desative e reative a API Cloud Data Fusion e, em seguida, crie a instância.