클러스터 재사용

이 페이지에서는 Cloud Data Fusion에서 파이프라인 실행에 Dataproc 클러스터를 재사용하는 방법을 설명합니다. 자세한 내용은 클러스터를 재사용하는 경우 및 기존 Dataproc 클러스터에 대해 파이프라인 실행을 참조하세요.

시작하기 전에

  • 버전 6.5.0 이상의 Cloud Data Fusion 인스턴스가 있어야 합니다.

클러스터 재사용 사용 설정

새 컴퓨팅 프로필 또는 배포된 파이프라인에 사용된 프로필에서 클러스터를 재사용할 수 있습니다.

새 프로필에서 클러스터 재사용 사용 설정

  1. 인스턴스로 이동합니다.

    1. Google Cloud 콘솔에서 Cloud Data Fusion 페이지로 이동합니다.

    2. Cloud Data Fusion 웹 인터페이스에서 인스턴스를 열려면 인스턴스를 클릭한 후 인스턴스 보기를 클릭합니다.

      인스턴스로 이동

  2. 시스템 관리자 > 구성 > 시스템 컴퓨팅 프로필을 클릭합니다.

  3. 새 프로필 만들기를 클릭합니다.

  4. Dataproc 프로비저닝 도구를 선택합니다.

  5. Dataproc의 프로필 만들기 창에서 클러스터에 대한 세부정보를 입력합니다.

    1. 프로필 라벨 및 프로필 이름 필드에 프로필을 식별할 수 있는 이름(예: execution_compute-profile)을 입력합니다.
    2. 설명 필드에서 프로필 목적을 설명합니다(예: Profile used for pipeline execution).
    3. 최대 유휴 시간 필드에 값을 입력합니다. 자세한 내용은 최대 유휴 시간 설정을 참조하세요.
    4. 클러스터 삭제 건너뛰기 필드를 True로 설정합니다. 자세한 내용은 클러스터를 재사용하는 경우를 참조하세요.
    5. 선택사항: 다른 선택적 필드를 구성합니다.
    6. 만들기를 클릭합니다.

배포된 파이프라인에서 클러스터 재사용 사용 설정

  1. 인스턴스로 이동합니다.

    1. Google Cloud 콘솔에서 Cloud Data Fusion 페이지로 이동합니다.

    2. Cloud Data Fusion 웹 인터페이스에서 인스턴스를 열려면 인스턴스를 클릭한 후 인스턴스 보기를 클릭합니다.

      인스턴스로 이동

  2. 목록을 클릭합니다.

  3. 배포됨 탭을 클릭하고 파이프라인 이름을 클릭합니다. 배포된 파이프라인이 Cloud Data Fusion 웹 인터페이스의 스튜디오 페이지에서 열립니다.

  4. 구성을 클릭합니다.

  5. Compute 구성 창에서 선택한 프로필로 이동하여 맞춤설정을 클릭합니다.

  6. 창이 열리면 다음 값을 입력합니다.

    1. 최대 유휴 시간 필드에 값을 입력합니다. 자세한 내용은 최대 유휴 시간 설정을 참조하세요.
    2. 클러스터 삭제 건너뛰기를 True로 설정합니다. 자세한 내용은 클러스터를 재사용하는 경우를 참조하세요.

  7. 완료를 클릭합니다.

다음 단계