이 페이지에서는 Cloud Data Fusion에서 임시 Dataproc 클러스터를 삭제할 때의 문제를 해결하는 방법을 보여줍니다.
파이프라인 실행 프로비저닝 중에 Cloud Data Fusion이 임시 Dataproc 클러스터를 만들면 파이프라인 실행이 완료된 후 클러스터가 삭제됩니다. 드물지만 클러스터 삭제가 실패합니다.
적극 권장: 최신 Cloud Data Fusion 버전으로 업그레이드하여 적절한 클러스터 유지보수를 수행하세요.
최대 유휴 시간 설정
이 문제를 해결하려면 최대 유휴 시간 값을 구성합니다. 이렇게 하면 파이프라인 완료에 대한 명시적 호출이 실패하더라도 Dataproc이 클러스터를 자동으로 삭제할 수 있습니다.
Max Idle Time은 Cloud Data Fusion 버전 6.4 이상에서 사용할 수 있습니다.
Cloud Data Fusion 6.6 이상에서는 최대 유휴 시간이 기본적으로 4시간으로 설정됩니다.
기본 컴퓨팅 프로필에서 기본 시간을 재정의하려면 다음 단계를 따르세요.
- Cloud Data Fusion 웹 인터페이스에서 인스턴스를 엽니다.
- 시스템 관리자 > 구성 > 시스템 환경설정을 클릭합니다.
- 시스템 환경설정 수정을 클릭하고
system.profile.properties.idleTTL키와 값을 IntegerUnit 형식(예:30m)으로 추가합니다.
권장: 6.6 이전 버전은 Max Idle Time을 수동으로 30분 이상으로 설정합니다.
수동으로 클러스터 삭제
버전을 업그레이드하지 못하거나 Max Idle Time 옵션을 구성할 수 없는 경우 비활성 클러스터를 수동으로 삭제합니다.
클러스터가 생성된 각 프로젝트 ID를 가져옵니다.
파이프라인의 런타임 인수에서 Dataproc 프로젝트 ID가 실행에 맞게 맞춤설정되었는지 확인하세요.
Dataproc 프로젝트 ID가 명시적으로 지정되지 않은 경우 사용되는 프로비저닝 도구를 결정한 다음 프로젝트 ID를 확인합니다.
파이프라인 런타임 인수에서
system.profile.name값을 확인합니다.
프로비저닝 도구 설정을 열고 Dataproc 프로젝트 ID가 설정되었는지 확인합니다. 설정이 없거나 필드가 비어 있으면 Cloud Data Fusion 인스턴스가 실행 중인 프로젝트가 사용됩니다.
각 프로젝트에 대해 다음을 수행합니다.
Google Cloud Console에서 프로젝트를 열고 Dataproc 클러스터 페이지로 이동합니다.
생성된 날짜부터 가장 오래된 것부터 최신 순으로 클러스터를 정렬합니다.
정보 패널이 숨겨져 있으면 정보 패널 표시를 클릭하고 라벨 탭으로 이동합니다.
사용 중이지 않은 모든 클러스터(예: 하루 이상 경과)에 Cloud Data Fusion 버전 라벨이 있는지 확인합니다. 이는 Cloud Data Fusion에서 생성되었음을 나타냅니다.
클러스터 이름 옆에 있는 체크박스를 선택하고 삭제를 클릭합니다.
클러스터 삭제 건너뛰기
디버깅을 위해 임시 클러스터의 자동 삭제를 중지할 수 있습니다.
삭제를 중지하려면 Skip Cluster Deletion 속성을 True로 설정합니다. 디버깅이 완료된 후에는 클러스터를 수동으로 삭제해야 합니다.