為縮短管道的啟動時間,Cloud Data Fusion 6.8.0 和 6.8.1 版本的執行個體會在 Cloud Storage 值區中的 Dataproc 叢集中快取啟動管道所需的構件。其中一個快取的構件是 application.jar
。視管線執行順序而定,部分管線可能會發生下列錯誤:
Unsupported program type: Spark
舉例來說,建立新的 6.8.1 例項 (或升級至 6.8.1) 後,第一次執行只包含動作的管道就會成功。不過,下次執行管道 (包括來源或接收端) 可能會因這個錯誤而失敗。
建議
如要解決這個問題,請執行下列任一操作:
- 建議做法: 將執行個體升級至 Cloud Data Fusion 6.8.2 以上版本。
- 透過偏好設定或執行階段引數停用 Cloud Storage 快取。
您可以為下列任一項目停用快取功能:
- 針對執行個體中的所有管道。
- 針對特定命名空間。
- 針對包含失敗管道的特定 Dataproc 設定檔。
- 僅限失敗的管道。
為執行個體中的所有管道停用 Cloud Storage 快取
如要為執行個體中的所有管道停用 Cloud Storage 快取功能,請按照下列步驟操作:
控制台
- 前往您的執行個體:
在 Google Cloud 控制台中,前往 Cloud Data Fusion 頁面。
如要在 Cloud Data Fusion Studio 中開啟執行個體,請依序按一下「Instances」和「View instance」。
依序點選「系統管理」 >「系統偏好設定」,然後將
system.profile.properties.gcsCacheEnabled
的值設為false.
。
REST API
如要將 system.profile.properties.gcsCacheEnabled
設為 false
,請參閱「設定偏好設定」一文。
為特定命名空間停用 Cloud Storage 快取
如要停用特定命名空間的 Cloud Storage 快取,請按照下列步驟操作:
控制台
- 前往您的執行個體:
在 Google Cloud 控制台中,前往 Cloud Data Fusion 頁面。
如要在 Cloud Data Fusion Studio 中開啟執行個體,請依序按一下「Instances」和「View instance」。
- 依序按一下「系統管理員」「命名空間」,然後選取所需命名空間。
依序點選「偏好設定」「編輯」,然後將
system.profile.properties.gcsCacheEnabled
的值設為false
。
REST API
如要透過 REST API 設定這項設定,請參閱「設定偏好設定」。
為 Dataproc 設定檔停用 Cloud Storage 快取
如要針對包含失敗管道的特定 Dataproc 設定檔停用 Cloud Storage 快取功能,請按照下列步驟操作:
控制台
- 在 Dataproc 設定檔中將
gcsCacheEnabled
設為false
。
只針對失敗的管道停用 Cloud Storage 快取
如要僅針對失敗的管道停用 Cloud Storage 快取功能,請按照下列步驟操作:
控制台
- 前往您的執行個體:
在 Google Cloud 控制台中,前往 Cloud Data Fusion 頁面。
如要在 Cloud Data Fusion Studio 中開啟執行個體,請依序按一下「Instances」和「View instance」。
- 按一下「清單」,然後選取失敗的管道。
- 按一下「Run」旁的
system.profile.properties.gcsCacheEnabled
設為false
。
「Expand」,然後將執行階段引數 - 針對其他失敗的管道重複執行上述步驟。
REST API
您可以透過 REST API 啟動管道,並選擇性地在要求主體中將執行階段引數指定為 JSON 對應,來停用 Cloud Storage 快取。詳情請參閱「啟動計畫」。