컴퓨팅 프로필 관리

컴퓨팅 프로필은 파이프라인이 실행되는 방법과 위치를 지정합니다. 프로필은 파이프라인의 물리적 실행 환경을 설정하고 삭제하는 데 필요한 모든 정보를 캡슐화합니다. 컴퓨팅 프로필은 프로비저닝 도구 이름과 해당 프로비저닝 도구 구성 설정을 지정합니다.

각 컴퓨팅 프로필에는 시스템 또는 사용자라는 범위가 있습니다. 이 네임스페이스에 시스템 컴퓨팅 프로필을 사용할 수 있습니다. 사용자 컴퓨팅 프로필은 네임스페이스 내에 있으며 해당 네임스페이스의 파이프라인만 사용자 컴퓨팅 프로필을 사용할 수 있습니다. 컴퓨팅 프로필을 일괄 파이프라인에 할당할 수 있습니다. 컴퓨팅 프로필이 파이프라인에 할당되면 프로필에 지정된 프로비저닝 도구가 파이프라인이 실행될 클러스터를 만드는 데 사용됩니다.

예를 들어 관리자는 소규모, 중간 규모, 대규모 컴퓨팅 프로필을 만들기로 결정할 수 있습니다. 회사의 Google Cloud 계정에 Dataproc 클러스터를 만들고 삭제하는 데 필요한 Google Cloud 사용자 인증 정보로 각 프로필을 구성합니다.

  • 소규모 프로필은 5노드 클러스터를 만들도록 구성됩니다.
  • 중간 규모 프로필은 20노드 클러스터를 만들도록 구성됩니다.
  • 대규모 프로필은 50노드 클러스터를 만들도록 구성됩니다.

관리자는 매시간 소량의 데이터에서 실행되도록 예약된 파이프라인에 소규모 프로필을 할당합니다. 대규모 프로필은 매일 대량의 데이터에서 실행되도록 예약된 파이프라인에 할당됩니다.

기본 컴퓨팅 프로필

기본적으로 Cloud Data Fusion은 자동 확장을 컴퓨팅 프로필로 사용합니다. 워크로드에 가장 적절한 클러스터 작업자(노드) 수를 예측하는 것은 어려우며 전체 파이프라인에 단일 클러스터 크기를 사용하는 것이 적합하지 않은 경우가 많습니다. Dataproc 자동 확장은 클러스터 리소스 관리를 자동화하는 메커니즘을 제공하고 클러스터 작업자 VM 자동 확장을 사용 설정합니다. 자세한 내용은 자동 확장을 참조하세요.

프로필 목록을 볼 수 있는 컴퓨팅 구성 페이지에는 프로필에서 확장할 수 있는 최대 vCPU 수(예: Up to 84)가 있는 총 코어 열이 있습니다.

시스템 및 사용자 컴퓨팅 프로필

컴퓨팅 프로필은 클러스터를 만들 때 사용할 프로비저닝 도구를 나타내고 클러스터 구성을 지정합니다. 또한 클러스터를 만들 때 사용해야 하는 프로비저닝 도구 구성을 지정합니다.

  • 시스템 컴퓨팅 프로필을 만들려면 Cloud Data Fusion Stuido의 시스템 관리자 페이지로 이동합니다. 이 페이지에는 모든 시스템 컴퓨팅 프로필이 나열되며 이 페이지를 통해 새 시스템 컴퓨팅 프로필을 만들 수 있습니다.
  • 사용자 컴퓨팅 프로필을 만들려면 Cloud Data Fusion Studio의 네임스페이스 관리 페이지로 이동한 후 프로필을 만들 네임스페이스를 선택합니다. 그런 다음 해당 네임스페이스 내에만 있는 프로필을 만들 수 있습니다.

컴퓨팅 프로필 할당

다음과 같은 방법으로 컴퓨팅 프로필을 일괄 파이프라인에 할당할 수 있습니다.

  • Cloud Data Fusion 인스턴스에 기본 프로필을 할당합니다.
  • 특정 네임스페이스에 기본 프로필을 할당합니다.
  • 수동으로 시작된 실행에 사용할 프로필을 일괄 파이프라인에 할당합니다.
  • 프로필을 파이프라인 일정에 할당합니다.

실행을 트리거하는 일정에 프로필이 설정되어 있거나 파이프라인을 수동으로 실행하고 프로필이 해당 파이프라인에 할당된 경우 Cloud Data Fusion은 해당 컴퓨팅 프로필을 사용합니다.

프로필이 설정되어 있지 않으면 Cloud Data Fusion에서 네임스페이스의 기본 프로필을 사용합니다. 네임스페이스에 기본 프로필이 설정되어 있지 않으면

Cloud Data Fusion에서 시스템 기본 프로필을 사용합니다. 시스템 기본값이 설정되어 있지 않으면 기본 제공 프로필이 사용됩니다.

기본 컴퓨팅 프로필 할당

기본 프로필을 Cloud Data Fusion 네임스페이스나 인스턴스에 할당하려면 Cloud Data Fusion Studio로 이동하여 시스템 관리자 > 구성 > 시스템 컴퓨팅 프로필을 클릭합니다. 기본값을 선택하려면 프로필 이름 옆에 있는 별표를 클릭합니다.

선택사항: 환경설정 마이크로서비스를 사용하여 기본 프로필 설정

  • 기본 프로필을 설정하려면 system.profile.name 키와 system:<profile-name> 값으로 Cloud Data Fusion 인스턴스의 환경설정을 설정합니다.
  • 네임스페이스의 기본 프로필을 설정하려면 system.profile.name 키와 <scope>:<profile-name> 값으로 선택한 네임스페이스의 환경설정을 설정합니다.

수동 실행에 컴퓨팅 프로필 할당

수동 파이프라인 실행에 사용할 프로필을 할당하려면 다음 단계를 수행합니다.

  1. 파이프라인 세부정보 페이지로 이동합니다.
  2. 구성 > 컴퓨팅 구성을 클릭합니다.
  3. 프로필을 선택하고 저장을 클릭합니다. 선택한 프로필은 파이프라인이 수동으로 실행될 때마다 사용됩니다.

또는 환경설정 마이크로서비스를 사용하여 system.profile.name 키와 <scope>:<profile-name> 값으로 DataPipelineWorkflow 항목의 환경설정을 설정해 수동 실행 프로필을 설정할 수 있습니다.

예약에 컴퓨팅 프로필 할당

파이프라인의 일정을 만들 때마다 프로필을 일정에 할당할 수 있습니다. 일정에서 파이프라인 실행을 트리거할 때마다 실행에 해당 프로필이 사용됩니다. 이는 다른 파이프라인에서 트리거하는 시간 일정과 일정에도 적용됩니다.

컴퓨팅 프로필 구성 재정의

프로필을 만들 때 각 구성 설정을 잠가 변경할 수 없게 만들 수 있습니다. 그러나 구성 설정이 잠겨 있지 않으면 런타임 시 재정의될 수 있습니다. 프로필 구성을 재정의하려면 다음 단계를 수행합니다.

  1. 파이프라인 목록 페이지에서 실행하려는 배포된 파이프라인을 선택합니다.
  2. 파이프라인 세부정보 페이지에서 구성을 클릭합니다.
  3. 컴퓨팅 프로필을 선택하고 맞춤설정을 클릭합니다.
  4. 설정을 변경하고 저장을 클릭합니다.

런타임 인수와 일정 속성을 사용하여 클러스터 크기와 기타 설정을 수정할 수 있습니다.

  • 사용되는 프로필을 재정의하려면 system.profile.name 키와 <scope>:<profile-name> 값으로 런타임 인수를 설정합니다.
  • 프로필 속성을 재정의하려면 system.profile.properties.<property-name> 키와 해당 속성의 값과 같은 값으로 런타임 인수를 설정합니다.

예를 들어 numWorkerssetting을 10 값으로 재정의하려면 system.profile.properties.numWorkers 키와 10 값으로 환경설정이나 런타임 인수를 설정합니다.

다음 단계