Risolvere gli errori relativi ai tipi di programmi non supportati

Questa pagina descrive come risolvere un problema noto in Cloud Data Fusion 6.8.0 e 6.8.1 in cui una pipeline di dati non riesce con un errore di tipo di programma non supportato in Cloud Data Fusion. Questo problema è stato risolto nella versione 6.8.2.

Per ridurre il tempo di avvio delle pipeline, le istanze Cloud Data Fusion 6.8.0 e 6.8.1 memorizzano nella cache gli elementi necessari per avviare una pipeline in un cluster Dataproc all'interno di un bucket Cloud Storage. Uno di questi elementi memorizzati nella cache è application.jar. A seconda dell'ordine in cui esegui le pipeline, alcune potrebbero non riuscire con il seguente errore:

Unsupported program type: Spark

Ad esempio, dopo aver creato una nuova istanza 6.8.1 (o aver eseguito l'upgrade a 6.8.1), la prima volta che esegui una pipeline contenente solo azioni, l'operazione va a buon fine. Tuttavia, le esecuzioni successive della pipeline, che includono origini o destinazioni, potrebbero non riuscire con questo errore.

Suggerimento

Per risolvere il problema, esegui una delle seguenti operazioni:

Puoi disattivare la memorizzazione nella cache per uno dei seguenti elementi:

  • Per tutte le pipeline di un'istanza.
  • Per un determinato spazio dei nomi.
  • Per i profili Dataproc specifici che contengono le pipeline con errori.
  • Solo per le pipeline non riuscite.

Disattiva la memorizzazione nella cache di Cloud Storage per tutte le pipeline in un'istanza

Per disattivare la memorizzazione nella cache di Cloud Storage per tutte le pipeline di un'istanza:

Console

  1. Vai all'istanza:

    1. Nella console Google Cloud, vai alla pagina Cloud Data Fusion.

    2. Per aprire l'istanza in Cloud Data Fusion Studio, fai clic su Istanze e poi su Visualizza istanza.

      Vai a Istanze

  2. Fai clic su Amministrazione sistema > Preferenze di sistema e imposta il valore di system.profile.properties.gcsCacheEnabled su false..

    Finestra di dialogo Preferenze

API REST

Per impostare system.profile.properties.gcsCacheEnabled su false, consulta Impostare le preferenze.

Disattivare la memorizzazione nella cache di Cloud Storage per un determinato spazio dei nomi

Per disattivare la memorizzazione nella cache di Cloud Storage per un determinato spazio dei nomi:

Console

  1. Vai all'istanza:

    1. Nella console Google Cloud, vai alla pagina Cloud Data Fusion.

    2. Per aprire l'istanza in Cloud Data Fusion Studio, fai clic su Istanze e poi su Visualizza istanza.

      Vai a Istanze

  2. Fai clic su Amministrazione di sistema > Spazi dei nomi e seleziona il tuo spazio dei nomi.

  3. Fai clic su Preferenze > Modifica e imposta il valore di system.profile.properties.gcsCacheEnabled su false.

    Finestra di dialogo Preferenze dello spazio dei nomi

API REST

Per impostarlo tramite l'API REST, consulta Impostare le preferenze.

Disattivare la memorizzazione nella cache di Cloud Storage per un profilo Dataproc

Per disattivare la memorizzazione nella cache di Cloud Storage per i profili Dataproc specifici che contengono le pipeline con errori, segui questi passaggi:

Console

  • Imposta gcsCacheEnabled su false nel profilo Dataproc.

Disattiva la memorizzazione nella cache di Cloud Storage solo per le pipeline con errori

Per disattivare la memorizzazione nella cache di Cloud Storage solo per le pipeline con errori, segui questi passaggi:

Console

  1. Vai all'istanza:

    1. Nella console Google Cloud, vai alla pagina Cloud Data Fusion.

    2. Per aprire l'istanza in Cloud Data Fusion Studio, fai clic su Istanze e poi su Visualizza istanza.

      Vai a Istanze

  2. Fai clic su Elenca e seleziona la pipeline con errori.
  3. Fai clic su Espandi accanto a Esegui e imposta l'argomento di runtime system.profile.properties.gcsCacheEnabled su false.
  4. Ripeti l'operazione per tutte le altre pipeline con errori.

Finestra di dialogo di runtime

API REST

La memorizzazione nella cache di Cloud Storage può essere disattivata quando si avvia una pipeline tramite l'API REST e, facoltativamente, specificando gli argomenti di runtime come mappa JSON nel corpo della richiesta. Per ulteriori informazioni, consulta Avvia un programma.