스튜디오 관리 운영

이 페이지에서는 Cloud Data Fusion Studio에서 구성을 관리하기 위해 제공하는 관리 기능을 설명합니다. Cloud Data Fusion은 각 인스턴스에 여러 네임스페이스가 있을 수 있는 계층 구조를 따릅니다. 관리자는 Cloud Data Fusion Studio에서 모든 네임스페이스를 중앙에서 관리하거나 개별적으로 관리할 수 있습니다. Cloud Data Fusion Studio는 다음과 같은 시스템 및 네임스페이스 제어를 제공합니다.

시스템 관리

Cloud Data Fusion Studio에서 시스템 관리자를 클릭하면 다음 탭이 표시됩니다.

  • 관리 탭: 다양한 Cloud Data Fusion 서비스의 상태를 확인합니다. 각 서비스의 로그도 볼 수 있습니다.

  • 구성 탭: 다음 컨트롤을 만들고 보고 수정합니다.

프로비저닝 도구는 파이프라인이 실행되는 클라우드 환경을 생성, 초기화, 소멸하는 작업을 담당합니다. 각 프로비저닝 도구는 생성 및 삭제되는 클러스터 유형을 제어하는 데 사용되는 구성 집합을 노출합니다. 프로비저닝 도구에 따라 다른 클러스터 유형을 만듭니다.

각 컴퓨팅 프로필에는 시스템 또는 사용자라는 범위가 있습니다. 그 아래의 모든 네임스페이스에 시스템 컴퓨팅 프로필을 사용할 수 있습니다. 사용자 컴퓨팅 프로필은 네임스페이스 내에 있으며 해당 네임스페이스의 파이프라인만 사용자 컴퓨팅 프로필을 사용할 수 있습니다.

시스템 관리자 구성 탭에서 모든 네임스페이스에 적용되는 시스템 컴퓨팅 프로필을 만들 수 있습니다. Cloud Data Fusion에서 기본 컴퓨팅 프로필을 할당합니다.

컴퓨팅 프로필을 만들 때 프로필에서 클라우드 런타임 세부정보를 만들고 구성하는 데 사용하는 프로비저닝 도구를 선택합니다.

시스템 환경설정

환경설정은 시스템 자체, 네임스페이스, 애플리케이션(파이프라인 포함), 파이프라인 내 개별 프로그램을 포함하여 Cloud Data Fusion 내 다양한 수준에서 적용되는 사전 정의된 구성입니다. 환경설정을 사용하면 일반적으로 사용되는 구성의 기본값을 설정할 수 있습니다. 기본값은 하위 수준의 파이프라인과 프로그램에서 상속될 수 있으므로 반복적인 구성 태스크가 줄어듭니다. 자세한 내용은 매크로, 환경설정, 런타임 인수 관리를 참조하세요.

HTTP 호출 작업

시스템 관리자 페이지에서 HTTP 호출 작업을 사용하면 Cloud Data Fusion Studio 인터페이스에서 직접 Cloud Data Fusion 자체 API 또는 다른 Google Cloud 서비스 API와 상호작용할 수 있습니다. 하지만 외부 데이터 소스로 데이터 처리 파이프라인을 빌드하는 경우 더 포괄적인 솔루션을 위해 파이프라인 내에서 HTTP 플러그인과 HTTP 호출 실행자를 대신 사용하세요. HTTP 호출 작업과 약간 다르지만 기본 개념은 비슷합니다.

구성 및 사용 사례

HTTP 호출 작업은 주로 Cloud Data Fusion 내에서 관리 작업 또는 구성 목적으로 사용됩니다. 이를 통해 Cloud Data Fusion Studio에서 직접 Cloud Data Fusion API 또는 HTTP API를 노출하는 다른 Google Cloud 서비스와 상호작용할 수 있습니다.

구성

HTTP 호출에 대해 다음 세부정보를 정의할 수 있습니다.

  • URL: 호출하려는 웹 서비스의 대상 엔드포인트입니다.
  • 메서드: 사용할 HTTP 메서드(예: GET, POST, PUT)입니다.
  • 선택사항: 헤더: 요청에 필요한 커스텀 헤더입니다.
  • 선택사항: 본문: POST 및 PUT 호출과 같이 요청 본문에 전송할 데이터입니다.

그런 다음 정의된 HTTP 호출을 실행하고 Cloud Data Fusion Studio 내에서 웹 서비스의 응답을 볼 수 있습니다.

사용 사례
  • Cloud Data Fusion API 호출을 테스트합니다. HTTP 호출 작업을 사용하여 웹 인터페이스에서 직접 Cloud Data Fusion API 기능을 테스트하거나 살펴볼 수 있습니다. 이 작업은 API 동작을 이해하거나 잠재적인 문제를 해결하는 데 도움이 될 수 있습니다.
  • 네임스페이스를 관리합니다(고급). 네임스페이스 관리를 위한 전용 UI가 있지만, 네임스페이스 생성, 삭제 또는 구성을 위해 Cloud Data Fusion API를 직접 호출하면 HTTP 호출 작업을 고급 태스크에 사용할 수 있습니다.
  • 다른 Google Cloud 서비스와 상호작용합니다(제한적). 사용하는 다른 Google Cloud 서비스에 공개적으로 문서화된 HTTP API가 있는 경우 HTTP 호출 작업을 사용하여 이러한 서비스와 상호작용할 수 있지만, 이는 흔하지 않은 사용 사례입니다.
중요 고려사항
  • 보안: 특히 민감한 정보가 포함되었거나 환경에 영향을 줄 수 있는 Cloud Data Fusion API 호출을 사용하는 경우 HTTP 호출 작업을 조심스럽게 사용해야 합니다. 각 API 호출을 실행하기 전에 그 영향을 파악해야 합니다.
  • 제한사항: HTTP 호출 작업은 주로 관리 작업 및 테스트 목적으로 사용됩니다. Cloud Data Fusion 내에서 데이터 조작이 포함된 복잡한 데이터 처리 파이프라인을 빌드하도록 설계되지 않았습니다.
  • 파이프라인의 대안: 외부 데이터 소스 또는 서비스를 데이터 파이프라인에 통합하려면 파이프라인 정의 내에서 HTTP 플러그인 및 연결된 HTTP 호출 실행자를 사용하세요. 이를 통해 데이터 처리 워크플로 내에서 HTTP 상호작용을 보다 강력하고 제어된 방식으로 관리할 수 있습니다.

네임스페이스 관리

Cloud Data Fusion Studio에서 네임스페이스 관리자를 클릭하면 특정 네임스페이스의 구성을 관리할 수 있습니다. 각 네임스페이스에 대해 다음 측면을 정의할 수 있습니다.

  • 컴퓨팅 프로필: 네임스페이스 관리자에 설정된 프로필은 사용자 컴퓨팅 프로필입니다. 해당 네임스페이스의 파이프라인만 이러한 사용자 컴퓨팅 프로필을 사용할 수 있습니다. 자세한 내용은 컴퓨팅 프로필 관리를 참조하세요.
  • 환경설정: 네임스페이스 수준에서 정의된 환경설정은 네임스페이스, 애플리케이션(파이프라인 포함), 파이프라인에 속한 개별 프로그램에 적용됩니다. 자세한 내용은 매크로, 환경설정, 런타임 인수 관리를 참조하세요.
  • 연결: Cloud Data Fusion을 사용하면 데이터 파이프라인에서 소스 및 싱크에 대한 연결을 재사용할 수 있습니다. 네임스페이스 관리 페이지에서 연결을 추가할 수 있습니다. 자세한 내용은 연결 만들기 및 관리를 참조하세요.
  • 드라이버: Cloud Data Fusion의 일부 플러그인은 JDBC 드라이버를 네임스페이스에 추가해야 합니다. 예를 들어 MySQL 일괄 소스 플러그인으로 파이프라인을 실행하려면 먼저 지원되는 MySQL 드라이버를 네임스페이스에 추가해야 합니다. 네임스페이스 관리자 페이지 또는 허브에서 직접 네임스페이스에 JDBC 드라이버를 업로드하거나 삭제할 수 있습니다. 자세한 내용은 플러그인 드라이버를 참조하세요.
  • 소스 제어 관리: 소스 제어 관리를 사용하면 배포된 파이프라인의 개발 프로세스를 효율적으로 관리하기 위해 네임스페이스를 소스 제어 시스템의 저장소에 연결할 수 있습니다. 자세한 내용은 소스 제어 관리를 사용하여 파이프라인 관리를 참조하세요.
  • 서비스 계정: Google Cloud 리소스에 대한 액세스를 제어하기 위해 Cloud Data Fusion의 네임스페이스는 기본적으로 Cloud Data Fusion API 서비스 에이전트를 사용합니다.

데이터 격리를 강화위해 맞춤설정된 Identity and Access Management(IAM) 서비스 계정(네임스페이스별 서비스 계정이라고 함)을 각 네임스페이스와 연결할 수 있습니다. 네임스페이스마다 다를 수 있는 맞춤설정된 IAM 서비스 계정을 사용하면 Cloud Data Fusion에서 파이프라인 설계 시간 파이프라인 작업(예: 파이프라인 미리보기, Wrangler, 파이프라인 유효성 검사)의 네임스페이스 간 Google Cloud 리소스에 대한 액세스를 제어할 수 있습니다. 자세한 내용은 네임스페이스 서비스 계정으로 액세스 제어를 참조하세요.

다음 단계