매크로, 환경설정, 런타임 인수 관리

이 페이지에서는 Cloud Data Fusion 파이프라인에서 환경설정, 매크로, 런타임 인수를 설정하는 방법을 설명합니다.

핵심 용어

매크로: 매크로는 Cloud Data Fusion 플러그인 구성 내에 있는 자리표시자입니다. ${ }로 묶인 변수(예: ${input_file_path})로 표시됩니다. 매크로는 런타임 시 실제 값으로 대체되는 자리표시자 값을 사용할 수 있도록 하여 파이프라인에 유연성을 도입합니다. 이렇게 하면 파일 경로 및 테이블 이름과 같은 파라미터를 동적으로 구성할 수 있습니다.
환경설정: 환경설정은 시스템 자체, 네임스페이스, 애플리케이션(파이프라인 포함), 파이프라인 내 개별 프로그램을 포함하여 Cloud Data Fusion 내 다양한 수준에서 적용되는 사전 정의된 구성입니다. 환경설정을 사용하면 일반적으로 사용되는 구성의 기본값을 설정할 수 있습니다. 기본값은 하위 수준의 파이프라인과 프로그램에서 상속될 수 있으므로 반복적인 구성 태스크가 줄어듭니다.
런타임 인수: 런타임 인수는 파이프라인을 배포하거나 실행할 때 매크로의 값을 제공하고 환경설정을 재정의할 수 있는 키-값 쌍입니다. 맞춤설정할 수 있으며 기본 파이프라인이나 환경설정을 수정하지 않고도 파이프라인 실행별로 구성을 조정할 수 있습니다.

매크로 설정

플러그인 속성 값에 매크로를 사용하려면 다음 단계를 수행합니다.

Cloud Data Fusion Studio에서 플러그인 노드로 이동하여 속성을 클릭합니다.
매크로를 사용하려는 필드로 이동하여 필드 옆에 있는** M**을 클릭합니다.
매크로의 키를 입력합니다. 예를 들어 파일 소스의 플러그인 속성에서 형식 필드에 ${format.type} 키를 입력합니다.

매크로 값 설정

파이프라인의 데이터를 미리 보고 파이프라인을 실행하기 전에 매크로 값을 설정합니다. 다음 위치에서 매크로 값을 설정할 수 있습니다.

인수 setter 플러그인
런타임 인수
애플리케이션 환경설정
네임스페이스 환경설정
시스템 환경설정

매크로를 사용하여 파이프라인을 실행하면 다음 작업이 실행됩니다.

Cloud Data Fusion은 먼저 파이프라인에 인수 setter 플러그인이 포함되어 있는지 확인합니다.
- 인수 setter가 있으면 Cloud Data Fusion은 매크로 값을 사용합니다.
- 인수 setter가 없거나 인수 setter에 할당되지 않은 매크로가 있으면 Cloud Data Fusion은 대신 파이프라인 런타임 인수의 값을 사용합니다.
런타임 인수는 애플리케이션 환경설정에서 매크로를 상속합니다.
애플리케이션 환경설정은 네임스페이스 환경설정에서 매크로를 상속합니다.
네임스페이스 환경설정은 시스템 환경설정에서 매크로를 상속합니다.

예시

매크로는 경로 필드에서 자주 사용됩니다. 하드 코딩 경로를 사용하는 대신 동적 경로를 사용할 수 있습니다. 예를 들어 Cloud Storage 소스 플러그인에서 경로 값을 여러 매크로로 바꿀 수 있습니다. gs://${bucket.name}/${folder}/${file.name} 값은 버킷, 폴더, 파일 요소를 나눕니다.

다음 예시에서는 정적 버킷과 이름이 정적 버킷이 아닌 파일에서 데이터를 로드합니다. 버킷 이름을 입력하고 파일 이름에 매크로 gs://<BUCKET_NAME>/${folder}/${file.name}을 사용합니다.

환경설정 지정

다음 섹션에서는 환경설정이 설정, 상속 또는 재정의되는 환경설정 계층 구조를 설명합니다.

시스템 환경설정 설정

시스템 환경설정을 설정할 수 있습니다. 매크로 이름은 고유해야 하므로 각 환경설정은 해당 매크로를 사용하는 모든 파이프라인에 적용됩니다.

예를 들어 데이터베이스 소스가 있는 파이프라인이 있고 데이터베이스 이름과 사용자 이름에 매크로를 사용합니다. 시스템 환경설정에서 데이터베이스 및 사용자 이름 환경설정을 설정할 수 있습니다. 해당 인스턴스의 모든 네임스페이스와 모든 파이프라인은 해당 환경설정을 상속합니다.

시스템 환경설정을 설정하려면 다음 단계를 수행합니다.

Cloud Data Fusion Studio에서 시스템 관리자 > 구성을 클릭합니다.
시스템 환경설정 > 시스템 환경설정 수정을 클릭합니다.
환경설정 대화상자에서 새 환경설정을 입력하거나 기존 환경설정을 수정합니다.
Save & Close(저장 후 닫기)를 클릭합니다. 모든 네임스페이스, 애플리케이션, 파이프라인에서 이러한 환경설정을 사용할 수 있습니다.

네임스페이스 환경설정 설정

개별 네임스페이스의 환경설정을 설정할 수 있습니다.

네임스페이스 환경설정을 설정하면 상속된 시스템 환경설정이 표시됩니다. 네임스페이스 환경설정을 설정할 때 다른 값을 설정하여 상속된 환경설정을 재정의할 수 있습니다. 새 네임스페이스 환경설정을 추가할 수도 있습니다.

네임스페이스 환경설정을 설정하려면 다음 단계를 수행합니다.

Cloud Data Fusion Studio에서 시스템 관리자 > 구성을 클릭합니다.
네임스페이스를 클릭하고 네임스페이스를 선택하여 구성 페이지를 엽니다.
상속된 환경설정을 수정하거나 새 환경설정을 추가하려면 환경설정 탭으로 이동하고 수정을 클릭합니다. 새 환경설정을 입력하거나 상속된 시스템 환경설정을 재정의할 수 있는 환경설정 대화상자가 열립니다. <span class="material-icons">add</span> 추가를 클릭하고 매크로의 키와 새 값을 입력합니다.
Save & Close(저장 후 닫기)를 클릭합니다. 네임스페이스 환경설정이 새 값으로 생성되며 이 환경설정이 시스템 환경설정보다 우선 적용됩니다.

애플리케이션 환경설정 지정

네임스페이스에서 배포된 각 파이프라인의 환경설정을 설정할 수 있습니다. 애플리케이션 환경설정을 설정하면 상속된 시스템 및 네임스페이스 환경설정이 표시됩니다. 애플리케이션 환경설정을 설정할 때 다른 값을 설정하여 상속된 환경설정을 재정의하거나 새 애플리케이션 환경설정을 추가할 수 있습니다.

Cloud Data Fusion Studio에서 를 클릭하고 네임스페이스 메뉴를 클릭하여 애플리케이션 환경설정을 추가할 네임스페이스를 선택합니다.
제어 센터를 클릭합니다.
환경설정 설정 렌치 아이콘을 클릭합니다. 환경설정 페이지가 표시되고 상속된 모든 환경설정이 나열됩니다.
상속된 환경설정을 수정하거나 새 환경설정을 추가하려면 환경설정 탭으로 이동하고 수정을 클릭합니다. 새 환경설정을 입력하거나 상속된 시스템 환경설정을 재정의할 수 있는 환경설정 대화상자가 열립니다. <span class="material-icons">add</span> 추가를 클릭하고 매크로의 키와 새 값을 입력합니다.
Save & Close(저장 후 닫기)를 클릭합니다. 애플리케이션 환경설정이 시스템 또는 네임스페이스 환경설정을 재정의하는 새 값으로 생성됩니다. 배포된 파이프라인을 실행하면 애플리케이션 환경설정은 런타임 인수로 표시되며 원하는 경우 수정할 수 있습니다.

런타임 인수 설정

파이프라인을 배포하거나 실행할 때 매크로 값을 제공하고 환경설정을 재정의할 수 있는 런타임 인수를 설정합니다.

데이터 미리보기용 런타임 인수

Cloud Data Fusion Studio에서 데이터를 미리 볼 때 파이프라인의 각 매크로 값을 설정하려면 목록 > 구성을 클릭합니다.

배포된 파이프라인 실행을 위한 런타임 인수

파이프라인에 매크로가 포함된 경우 파이프라인을 배포한 후 매크로 값을 설정하는 런타임 인수를 추가합니다.

매크로가 포함된 파이프라인을 배포할 때 실행 옆에 있는 드롭다운 메뉴를 클릭하여 런타임 인수 대화상자를 열고 각 매크로 값을 설정합니다.

파이프라인 환경설정 설정

파이프라인 환경설정을 설정하려면 다음 단계를 수행합니다.

Cloud Data Fusion Studio에서 목록 > 배포됨을 클릭하고 배포된 파이프라인을 선택하여 봅니다.
파이프라인 캔버스에서 실행 옆에 있는 드롭다운 메뉴를 클릭합니다. 런타임 인수 대화상자가 열립니다.
열리는 런타임 인수 대화상자에서 파이프라인의 각 매크로 값을 지정합니다.

환경설정, 매크로, 런타임 인수 개요

다음 수준에서 환경설정을 설정할 수 있습니다.

시스템 환경설정: 전체 인스턴스의 기본값과 같은 환경설정을 설정하는 최상위 수준입니다.
네임스페이스 환경설정: 시스템 환경설정에서 환경설정을 상속합니다. 특정 네임스페이스의 환경설정을 설정할 수 있습니다.
애플리케이션 환경설정: 네임스페이스 환경설정에서 환경설정을 상속합니다. 파이프라인을 포함하는 개별 애플리케이션에 고유할 수 있습니다.
런타임 인수: 상위 수준의 환경설정을 재정의하는 키-값 쌍입니다.

시스템 환경설정 수준에서 환경설정을 설정하면 매크로 값이 자동으로 네임스페이스 환경설정, 애플리케이션 환경설정, 런타임 인수에 채워집니다.

네임스페이스 수준에서 환경설정을 설정하면 환경설정은 애플리케이션 환경설정의 상속된 환경설정 목록에 표시됩니다. 파이프라인에서 환경설정에 정의된 매크로를 사용하면 런타임 인수는 환경설정에 정의된 키-값 쌍을 사용합니다. 각 환경설정 수준과 런타임 인수에서 환경설정 값을 재정의할 수 있습니다.

다음과 같은 사용 사례에 환경설정, 매크로, 런타임 인수를 사용합니다.

파이프라인 개발. 플러그인 속성에 동적 값이 필요한 위치에 매크로를 삽입합니다.
선택사항: 환경설정 설정. 다양한 수준의 환경설정에서 매크로 기본값을 설정합니다.
파이프라인 배포 및 실행. 파이프라인을 실행하면 다음 작업이 실행됩니다.
- 시스템 환경설정이나 네임스페이스 환경설정과 같은 관련 수준의 환경설정이 적용됩니다.
- 제공하는 모든 런타임 인수에서 환경설정의 매크로에 할당된 값을 재정의합니다.
- Cloud Data Fusion은 런타임 인수(또는 런타임 인수가 제공되지 않은 경우 환경설정)의 값을 대체하여 매크로를 확인합니다.

예시

파이프라인에 동적으로 변경되어야 하는 테이블 이름 값이 있는 BigQuery 싱크가 있습니다. 이를 설정하려면 다음을 수행합니다.

매크로를 설정합니다. 싱크 속성의 테이블 이름 필드에서 ${output_table}. 매크로를 사용합니다.
**환경설정을 설정합니다. **애플리케이션 환경설정에서 ${output_table} 환경설정을 다음 기본값 data_staging으로 설정합니다.
런타임 인수를 설정합니다. 파이프라인을 실행할 때 런타임 인수(예: output_table=final_analytics_data)를 제공합니다.

파이프라인 실행 중에 ${output_table}, 매크로가 final_analytics_data로 대체됩니다.