Um die Startzeit für Pipelines zu verkürzen, speichern Instanzen von Cloud Data Fusion Version 6.8.0 und 6.8.1 die Artefakte, die zum Starten einer Pipeline in einem Dataproc-Cluster in einem Cloud Storage-Bucket erforderlich sind, im Cache.
Eines dieser im Cache gespeicherten Artefakte ist application.jar. Abhängig von der Reihenfolge, in der Sie Ihre Pipelines ausführen, schlagen einige Pipelines möglicherweise mit dem folgenden Fehler fehl:
Unsupported program type: Spark
Wenn Sie beispielsweise nach dem Erstellen einer neuen Instanz der Version 6.8.1 oder einem Upgrade auf Version 6.8.1 zum ersten Mal eine Pipeline ausführen, die nur Aktionen enthält, ist sie erfolgreich. Die nächste Pipelineausführung, die Quellen oder Senken enthält, kann jedoch mit diesem Fehler fehlschlagen.
Empfehlung
Führen Sie einen der folgenden Schritte aus, um das Problem zu beheben:
- Empfohlen:Führen Sie ein Upgrade der Instanz auf Cloud Data Fusion 6.8.2 oder höher aus.
- Deaktivieren Sie das Cloud Storage-Caching mithilfe eines Präferenz- oder Laufzeitarguments.
Sie können das Caching für Folgendes deaktivieren:
- Für alle Pipelines in einer Instanz.
- Für einen bestimmten Namespace.
- Für die bestimmten Dataproc-Profile, die die fehlgeschlagenen Pipelines enthalten.
- Nur für die fehlgeschlagenen Pipelines.
Cloud Storage-Caching für alle Pipelines in einer Instanz deaktivieren
So deaktivieren Sie das Cloud Storage-Caching für alle Pipelines in einer Instanz:
Console
- Rufen Sie die Instanz auf:
Rufen Sie in der Google Cloud Console die Seite „Cloud Data Fusion“ auf.
Klicken Sie zum Öffnen der Instanz in Cloud Data Fusion Studio auf Instanzen und dann auf Instanz anzeigen.
Klicken Sie auf System Admin > Systemeinstellungen und legen Sie den Wert für
system.profile.properties.gcsCacheEnabledauffalse.fest.
REST API
Informationen zum Festlegen von system.profile.properties.gcsCacheEnabled auf false finden Sie unter Einstellungen festlegen.
Cloud Storage-Caching für einen bestimmten Namespace deaktivieren
So deaktivieren Sie das Cloud Storage-Caching für einen bestimmten Namespace:
Console
- Rufen Sie die Instanz auf:
Rufen Sie in der Google Cloud Console die Seite „Cloud Data Fusion“ auf.
Klicken Sie zum Öffnen der Instanz in Cloud Data Fusion Studio auf Instanzen und dann auf Instanz anzeigen.
- Klicken Sie auf System Admin > Namespaces und wählen Sie Ihren Namespace aus.
Klicken Sie auf Einstellungen > Bearbeiten und legen Sie den Wert für
system.profile.properties.gcsCacheEnabledauffalsefest.
REST API
Informationen dazu, wie Sie dies über die REST API festlegen, finden Sie unter Einstellungen festlegen.
Cloud Storage-Caching für ein Dataproc-Profil deaktivieren
So deaktivieren Sie das Cloud Storage-Caching für die Dataproc-Profile, die die fehlgeschlagenen Pipelines enthalten:
Console
- Legen Sie im Dataproc-Profil
gcsCacheEnabledauffalsefest.
Cloud Storage-Caching nur für fehlgeschlagene Pipelines deaktivieren
So deaktivieren Sie das Cloud Storage-Caching nur für die fehlgeschlagenen Pipelines:
Console
- Rufen Sie die Instanz auf:
Rufen Sie in der Google Cloud Console die Seite „Cloud Data Fusion“ auf.
Klicken Sie zum Öffnen der Instanz in Cloud Data Fusion Studio auf Instanzen und dann auf Instanz anzeigen.
- Klicken Sie auf Liste und wählen Sie die fehlerhafte Pipeline aus.
- Klicken Sie neben Ausführen auf
Maximieren und legen Sie das Laufzeitargument
system.profile.properties.gcsCacheEnabledauffalsefest. - Wiederholen Sie diese Schritte für alle anderen fehlgeschlagenen Pipelines.
REST API
Das Cloud Storage-Caching kann deaktiviert werden, wenn eine Pipeline über die REST API gestartet oder optional Laufzeitargumente als JSON-Zuordnung im Anfragetext angegeben werden. Weitere Informationen finden Sie unter Programm starten.