Risolvere gli errori relativi ai tipi di programma non supportati

In questa pagina viene descritto come risolvere un problema noto in Cloud Data Fusion 6.8.0 e 6.8.1 In caso di errore di una pipeline di dati con un errore di tipo di programma non supportato in in Cloud Data Fusion. Questo problema è stato risolto nella versione 6.8.2.

Per ridurre il tempo di avvio delle pipeline, Cloud Data Fusion versione 6.8.0 e 6.8.1 Le istanze memorizzano nella cache gli artefatti necessari per avviare una pipeline in un Cluster Dataproc all'interno di un bucket Cloud Storage. Uno di questi artefatti memorizzati nella cache è application.jar. A seconda dell'ordine in cui esegui le pipeline, alcune potrebbero non riuscire con il seguente errore:

Unsupported program type: Spark

Ad esempio, dopo aver creato una nuova istanza 6.8.1 (o aver eseguito l'upgrade alla versione 6.8.1), la prima volta che esegui una pipeline che contiene solo azioni, l'operazione riesce. Tuttavia, le esecuzioni successive della pipeline, che includono origini o sink, potrebbero non riuscire con questo errore.

Consiglio

Per risolvere il problema, procedi in uno dei seguenti modi:

di Gemini Advanced.

Puoi disattivare la memorizzazione nella cache per:

  • Per tutte le pipeline in un'istanza.
  • Per un determinato spazio dei nomi.
  • Per i profili Dataproc specifici che contengono le pipeline in errore.
  • Solo per le pipeline in errore.

Disabilita la memorizzazione nella cache di Cloud Storage per tutte le pipeline in un'istanza

Per disabilitare la memorizzazione nella cache di Cloud Storage per tutte le pipeline in un'istanza, segui questi passaggi:

Console

  1. Vai all'istanza:

    1. Nella console Google Cloud, vai alla pagina di Cloud Data Fusion.

    2. Per aprire l'istanza in Cloud Data Fusion Studio: Fai clic su Istanze e poi su Visualizza istanza.

      Vai a Istanze

  2. Fai clic su Amministratore di sistema > Preferenze di Sistema e imposta il valore per Da system.profile.properties.gcsCacheEnabled a false.

    Finestra di dialogo Preferenze

API REST

Per impostare system.profile.properties.gcsCacheEnabled su false, consulta: Imposta le preferenze.

Disabilita la memorizzazione nella cache di Cloud Storage per uno spazio dei nomi specifico

Per disabilitare la memorizzazione nella cache di Cloud Storage per un determinato spazio dei nomi, segui questi passaggi passaggi:

Console

  1. Vai all'istanza:

    1. Nella console Google Cloud, vai alla pagina di Cloud Data Fusion.

    2. Per aprire l'istanza in Cloud Data Fusion Studio: Fai clic su Istanze e poi su Visualizza istanza.

      Vai a Istanze

  2. Fai clic su Amministrazione di sistema > Spazi dei nomi e seleziona il tuo spazio dei nomi.

  3. Fai clic su Preferenze > Modifica e imposta il valore per Da system.profile.properties.gcsCacheEnabled a false.

    Finestra di dialogo delle preferenze dello spazio dei nomi

API REST

Per eseguire l'impostazione tramite l'API REST, consulta Imposta le preferenze.

Disabilita la memorizzazione nella cache di Cloud Storage per un profilo Dataproc

Per disabilitare la memorizzazione nella cache di Cloud Storage per I profili Dataproc che contengono le pipeline in errore, seguono questi passaggi:

Console

  • Imposta gcsCacheEnabled su false nel profilo Dataproc.

Disabilita la memorizzazione nella cache di Cloud Storage solo per le pipeline in errore

Per disabilitare la memorizzazione nella cache di Cloud Storage solo per le pipeline in errore, segui questi passaggi:

Console

  1. Vai all'istanza:

    1. Nella console Google Cloud, vai alla pagina di Cloud Data Fusion.

    2. Per aprire l'istanza in Cloud Data Fusion Studio: Fai clic su Istanze e poi su Visualizza istanza.

      Vai a Istanze

  2. Fai clic su Elenco e seleziona la pipeline in errore.
  3. Clic Espandi accanto a Esegui e imposta l'argomento runtime Da system.profile.properties.gcsCacheEnabled a false.
  4. Ripeti l'operazione per qualsiasi altra pipeline in errore.

Finestra di dialogo del runtime

API REST

La memorizzazione nella cache di Cloud Storage può essere disabilitata all'avvio di una pipeline tramite REST e anche specificando facoltativamente argomenti di runtime come una mappa JSON corpo della richiesta. Per ulteriori informazioni, vedi Avvia un programma.