지원되지 않는 프로그램 유형 오류 문제 해결

이 페이지에서는 Cloud Data Fusion에서 지원되지 않는 프로그램 유형 오류가 발생하여 데이터 파이프라인이 실패하는 경우 Cloud Data Fusion 6.8.0 및 6.8.1에서 알려진 문제를 해결하는 방법을 설명합니다. 이 문제는 버전 6.8.2에서 해결되었습니다.

파이프라인 시작 시간을 줄이기 위해 Cloud Data Fusion 버전 6.8.0 및 6.8.1 인스턴스는 Cloud Storage 버킷 내 Dataproc 클러스터의 파이프라인을 시작하는 데 필요한 아티팩트를 캐시합니다. 캐시되는 아티팩트 중 하나는 application.jar입니다. 파이프라인을 실행하는 순서에 따라 일부 파이프라인이 다음 오류로 실패할 수 있습니다.

Unsupported program type: Spark

예를 들어 새로운 6.8.1 인스턴스를 만들거나 6.8.1로 업그레이드한 후에 작업만 포함된 파이프라인을 처음 실행하면 성공합니다. 하지만 소스 또는 싱크를 포함하는 다음 파이프라인을 실행하면 이 오류로 실패할 수 있습니다.

권장사항

이 문제를 해결하려면 다음 중 한 가지를 따르세요.

• 권장: Cloud Data Fusion 버전 6.8.2 이상으로 인스턴스를 업그레이드합니다.
• 환경설정 또는 런타임 인수에 따라 Cloud Storage 캐싱을 사용 중지합니다.

참고: Cloud Storage 캐싱을 사용 중지하면 아티팩트가 더 적게 캐시되므로 파이프라인에서 실행 시작에 소요되는 시간이 약간 늘어납니다.

다음에 대해 캐싱을 사용 중지할 수 있습니다.

• 인스턴스의 모든 파이프라인
• 특정 네임스페이스의 경우
• 실패한 파이프라인을 포함하는 특정 Dataproc 프로필
• 실패한 파이프라인에만

인스턴스의 모든 파이프라인에서 Cloud Storage 캐싱 사용 중지

인스턴스의 모든 파이프라인에서 Cloud Storage 캐싱을 사용 중지하려면 다음 단계를 따르세요.

콘솔

1. 인스턴스로 이동합니다.

   1. Google Cloud 콘솔에서 Cloud Data Fusion 페이지로 이동합니다.

   2. Cloud Data Fusion Studio에서 인스턴스를 열려면 인스턴스를 클릭한 다음 인스턴스 보기를 클릭합니다.

      인스턴스로 이동

2. 시스템 관리자 > 시스템 환경설정을 클릭하고 system.profile.properties.gcsCacheEnabled의 값을 false.로 설정합니다.

   

REST API

system.profile.properties.gcsCacheEnabled를 false로 설정하려면 환경설정을 참조하세요.

참고: 이 변경사항은 인스턴스에 있는 모든 파이프라인의 시작 시간에 영향을 미칩니다.

특정 네임스페이스에서 Cloud Storage 캐싱 사용 중지

특정 네임스페이스에서 Cloud Storage 캐싱을 사용 중지하려면 다음 단계를 따르세요.

콘솔

1. 인스턴스로 이동합니다.

   1. Google Cloud 콘솔에서 Cloud Data Fusion 페이지로 이동합니다.

   2. Cloud Data Fusion Studio에서 인스턴스를 열려면 인스턴스를 클릭한 다음 인스턴스 보기를 클릭합니다.

      인스턴스로 이동

2. 시스템 관리자 > 네임스페이스를 클릭하고 네임스페이스를 선택합니다.

3. 환경설정 > 수정을 클릭하고 system.profile.properties.gcsCacheEnabled의 값을 false로 설정합니다.

   

REST API

REST API를 통해 설정하려면 환경설정을 참조하세요.

참고: 이 변경사항은 네임스페이스에 있는 모든 파이프라인의 시작 시간에 영향을 미칩니다.

Dataproc 프로필에서 Cloud Storage 캐싱 사용 중지

실패한 파이프라인이 포함된 특정 Dataproc 프로필에 대해 Cloud Storage 캐싱을 사용 중지하려면 다음 단계를 따르세요.

콘솔

• Dataproc 프로필에서 gcsCacheEnabled를 false로 설정합니다.

참고: 이 변경사항은 이 Dataproc 프로필을 사용하는 모든 파이프라인의 시작 시간에 영향을 줍니다.

실패한 파이프라인에 대해서만 Cloud Storage 캐싱 사용 중지

실패한 파이프라인에 대해서만 Cloud Storage 캐싱을 사용 중지하려면 다음 단계를 따르세요.

콘솔

1. 인스턴스로 이동합니다.

   1. Google Cloud 콘솔에서 Cloud Data Fusion 페이지로 이동합니다.

   2. Cloud Data Fusion Studio에서 인스턴스를 열려면 인스턴스를 클릭한 다음 인스턴스 보기를 클릭합니다.

      인스턴스로 이동

2. 목록을 클릭하고 실패한 파이프라인을 선택합니다.
3. 실행 옆에 있는 펼치기를 클릭하고 런타임 인수 system.profile.properties.gcsCacheEnabled를 false로 설정합니다.
4. 실패하는 다른 파이프라인에 대해서도 작업을 반복합니다.

REST API

Cloud Storage 캐싱은 REST API를 통해 파이프라인을 시작할 때 사용 중지할 수 있고, 선택적으로 요청 본문에서 JSON 맵으로 JSON 맵으로 런타임 인수를 지정하여 사용 중지할 수도 있습니다. 자세한 내용은 프로그램 시작을 참조하세요.

참고: 이 변경사항은 특정 파이프라인의 시작 시간에만 영향을 줍니다.