排解不支援的節目類型錯誤

本頁說明如何解決 Cloud Data Fusion 6.8.0 和 6.8.1 中的已知問題,在 Cloud Data Fusion 中,資料管道會因不支援的程式類型錯誤而失敗。這個問題已在 6.8.2 版中解決。

為縮短管道的啟動時間,Cloud Data Fusion 6.8.0 和 6.8.1 版本的執行個體會在 Cloud Storage 值區中的 Dataproc 叢集中快取啟動管道所需的構件。其中一個快取的構件是 application.jar。視管線執行順序而定,部分管線可能會發生下列錯誤:

Unsupported program type: Spark

舉例來說,建立新的 6.8.1 例項 (或升級至 6.8.1) 後,第一次執行只包含動作的管道就會成功。不過,下次執行管道 (包括來源或接收端) 可能會因這個錯誤而失敗。

建議

如要解決這個問題,請執行下列任一操作:

您可以為下列任一項目停用快取功能:

  • 針對執行個體中的所有管道。
  • 針對特定命名空間。
  • 針對包含失敗管道的特定 Dataproc 設定檔。
  • 僅限失敗的管道。

為執行個體中的所有管道停用 Cloud Storage 快取

如要為執行個體中的所有管道停用 Cloud Storage 快取功能,請按照下列步驟操作:

控制台

  1. 前往您的執行個體:
    1. 在 Google Cloud 控制台中,前往 Cloud Data Fusion 頁面。

    2. 如要在 Cloud Data Fusion Studio 中開啟執行個體,請依序按一下「Instances」和「View instance」

      前往「Instances」(執行個體)

  2. 依序點選「系統管理」 >「系統偏好設定」,然後將 system.profile.properties.gcsCacheEnabled 的值設為 false.

    「偏好設定」對話方塊

REST API

如要將 system.profile.properties.gcsCacheEnabled 設為 false,請參閱「設定偏好設定」一文。

為特定命名空間停用 Cloud Storage 快取

如要停用特定命名空間的 Cloud Storage 快取,請按照下列步驟操作:

控制台

  1. 前往您的執行個體:
    1. 在 Google Cloud 控制台中,前往 Cloud Data Fusion 頁面。

    2. 如要在 Cloud Data Fusion Studio 中開啟執行個體,請依序按一下「Instances」和「View instance」

      前往「Instances」(執行個體)

  2. 依序按一下「系統管理員」「命名空間」,然後選取所需命名空間。
  3. 依序點選「偏好設定」「編輯」,然後將 system.profile.properties.gcsCacheEnabled 的值設為 false

    命名空間偏好設定對話方塊

REST API

如要透過 REST API 設定這項設定,請參閱「設定偏好設定」。

為 Dataproc 設定檔停用 Cloud Storage 快取

如要針對包含失敗管道的特定 Dataproc 設定檔停用 Cloud Storage 快取功能,請按照下列步驟操作:

控制台

  • 在 Dataproc 設定檔中將 gcsCacheEnabled 設為 false

只針對失敗的管道停用 Cloud Storage 快取

如要僅針對失敗的管道停用 Cloud Storage 快取功能,請按照下列步驟操作:

控制台

  1. 前往您的執行個體:
    1. 在 Google Cloud 控制台中,前往 Cloud Data Fusion 頁面。

    2. 如要在 Cloud Data Fusion Studio 中開啟執行個體,請依序按一下「Instances」和「View instance」

      前往「Instances」(執行個體)

  2. 按一下「清單」,然後選取失敗的管道。
  3. 按一下「Run」旁的 「Expand」,然後將執行階段引數 system.profile.properties.gcsCacheEnabled 設為 false
  4. 針對其他失敗的管道重複執行上述步驟。

執行階段對話方塊

REST API

您可以透過 REST API 啟動管道,並選擇性地在要求主體中將執行階段引數指定為 JSON 對應,來停用 Cloud Storage 快取。詳情請參閱「啟動計畫」。