플러그인 유형

이 페이지에서는 Cloud Data Fusion 인스턴스를 만들 때 기본적으로 설치되는 플러그인 유형에 대해 설명합니다. 이러한 플러그인은 인스턴스의 기본 네임스페이스와 새로 생성하는 모든 네임스페이스에서 사용할 수 있습니다. 허브에서 추가 플러그인을 다운로드할 수 있습니다.

Cloud Data Fusion에는 다음과 같은 카테고리의 플러그인이 있습니다. Cloud Data Fusion Studio 페이지의 왼쪽 패널에 표시됩니다.

소스

소스 플러그인은 파이프라인이 데이터를 읽는 데이터베이스, 파일 또는 실시간 스트림에 연결됩니다. 웹 인터페이스를 사용하여 데이터 파이프라인의 소스를 설정하므로 코드를 사용하여 하위 수준 연결을 구성할 필요가 없습니다.

변환

변환 플러그인은 소스에서 데이터를 로드한 후에 데이터를 변경합니다. 예를 들어 이러한 플러그인을 사용하여 레코드를 클론하거나, 파일 형식을 JSON으로 변경하거나, JavaScript를 사용하여 커스텀 변환을 만들 수 있습니다.

분석

분석 플러그인은 여러 소스의 데이터를 조인하고 분석 및 머신러닝 작업을 실행하는 등의 집계를 실행합니다.

싱크

싱크 플러그인은 Cloud Storage, BigQuery, Spanner, 관계형 데이터베이스, 파일 시스템, 메인프레임과 같은 리소스에 데이터를 씁니다. Cloud Data Fusion 웹 인터페이스 또는 REST API를 사용하여 싱크에 기록되는 데이터를 쿼리할 수 있습니다.

조건 및 작업

조건 및 작업 플러그인은 워크플로 중에 실행되는 작업을 예약하지만 워크플로의 데이터를 직접 조작하지는 않습니다.

사용 사례 예시

  • 데이터베이스 작업 플러그인을 파이프라인에 추가하여 파이프라인 끝에 실행되도록 데이터베이스 명령어를 예약합니다.
  • 파일 이동 플러그인을 파이프라인에 추가하여 Cloud Storage 내에서 파일을 이동하는 작업을 트리거합니다.

오류 핸들러 및 알림

파이프라인의 단계에서 null 값, 논리 오류 또는 기타 오류가 발생하면 오류 핸들러 플러그인이 이를 포착합니다. 이 플러그인을 사용하여 파이프라인의 변환 또는 분석 플러그인 뒤의 출력에서 오류를 찾습니다. 분석을 위해 오류를 데이터베이스에 기록할 수 있습니다.

다음 단계