排查不受支持的节目类型错误

本页介绍了如何解决 Cloud Data Fusion 6.8.0 和 6.8.1 中的已知问题,该问题是 Cloud Data Fusion 中的数据流水线因出现“不支持的程序类型”错误而失败。此问题已在 6.8.2 版中得到解决。

为了缩短流水线的启动时间,Cloud Data Fusion 版本 6.8.0 和 6.8.1 实例会将在 Dataproc 集群中启动流水线所需的工件缓存在 Cloud Storage 存储桶中。其中一个缓存工件是 application.jar。根据 但某些流水线可能会因以下原因失败 错误:

Unsupported program type: Spark

例如,在创建新的 6.8.1 实例(或升级到 6.8.1)后, 首次运行仅包含操作的流水线时,它会成功。 不过,下次运行流水线(包括源或接收器)时,可能会因此错误而失败。

建议

如需解决此问题,请执行以下任一操作:

您可以为以下任一项停用缓存:

  • 针对实例中的所有流水线。
  • 对于给定命名空间。
  • 针对包含失败流水线的特定 Dataproc 配置文件。
  • 仅适用于失败的流水线。

为实例中的所有流水线停用 Cloud Storage 缓存

要为实例中的所有流水线停用 Cloud Storage 缓存,请执行以下操作: 请按以下步骤操作:

控制台

  1. 前往您的实例:
    1. 在 Google Cloud 控制台中,转到 Cloud Data Fusion 页面。

    2. 如需在 Cloud Data Fusion Studio 中打开实例,请点击实例,然后点击查看实例

      转到实例

  2. 依次点击系统管理 > 系统偏好设置,然后将 system.profile.properties.gcsCacheEnabled 的值设置为 false.

    “偏好设置”对话框

REST API

如需将 system.profile.properties.gcsCacheEnabled 设置为 false,请参阅设置偏好设置

为给定命名空间停用 Cloud Storage 缓存

如需为给定命名空间停用 Cloud Storage 缓存,请按照下列步骤操作: 步骤:

控制台

  1. 转到您的实例:
    1. 在 Google Cloud 控制台中,转到 Cloud Data Fusion 页面。

    2. 如需在 Cloud Data Fusion Studio 中打开实例,请点击实例,然后点击查看实例

      转到实例

  2. 依次点击系统管理 > 命名空间,然后选择您的命名空间。
  3. 依次点击偏好设置 > 修改,然后将 system.profile.properties.gcsCacheEnabled 的值设置为 false

    命名空间偏好设置对话框

REST API

如需通过 REST API 进行设置,请参阅设置偏好设置

为 Dataproc 配置文件停用 Cloud Storage 缓存

要针对特定实例停用 Cloud Storage 缓存, 包含失败流水线的 Dataproc 配置文件,请遵循 具体步骤:

控制台

  • 在 Dataproc 配置文件中将 gcsCacheEnabled 设置为 false

仅为失败的流水线停用 Cloud Storage 缓存

如需仅为失败的流水线停用 Cloud Storage 缓存,请按照下列步骤操作: 具体步骤:

控制台

  1. 前往您的实例:
    1. 在 Google Cloud 控制台中,转到 Cloud Data Fusion 页面。

    2. 如需在 Cloud Data Fusion Studio 中打开实例,请点击实例,然后点击查看实例

      转到实例

  2. 点击列表,然后选择失败的流水线。
  3. 点击 点击运行旁边的展开,然后设置运行时参数 从 system.profile.properties.gcsCacheEnabled 更改为 false
  4. 对任何其他失败的流水线重复上述操作。

运行时对话框

REST API

您可以在通过 REST API 启动流水线时停用 Cloud Storage 缓存,也可以在请求正文中选择将运行时参数指定为 JSON 映射来停用 Cloud Storage 缓存。如需了解详情,请参阅 启动程序