Cloud Data Fusion 플러그인

플러그인은 Cloud Data Fusion의 기능을 확장하는 데 사용할 수 있는 맞춤설정 가능한 모듈입니다. 여러 플러그인 유형은 소스, 변환, 분석, 작업, 싱크, 오류 핸들러, 알림 게시자, 조건으로 분류합니다. 아래 플러그인 참조표에는 Cloud Data Fusion에서 사용할 수 있는 모든 플러그인 목록이 나와 있습니다. 필요한 플러그인이 없는 경우 Cloud Data Fusion의 플러그인 API를 사용하여 자체 플러그인을 빌드할 수 있습니다.

이 표에서는 Cloud Data Fusion에서 사용할 수 있는 다양한 유형의 플러그인을 설명합니다.

유형 설명
소스 소스는 데이터를 가져오는 데이터베이스, 파일, 실시간 스트림에 연결되는 커넥터입니다. 소스를 사용 설정하면 간단한 UI를 사용하여 데이터를 수집할 수 있으므로 낮은 수준의 연결 코딩에 대해 걱정할 필요가 없습니다.
변환 변환을 사용하면 데이터를 수집한 후 조작할 수 있습니다. 예를 들어 레코드를 클론하고 JSON 형식을 지정할 수 있습니다. 자바스크립트 플러그인을 사용하여 커스텀 변환을 작성할 수도 있습니다.
분석 분석 플러그인은 분석 및 머신러닝 작업을 실행할 뿐만 아니라 여러 소스의 데이터를 그룹화 및 조인하는 데 사용됩니다. Data Fusion은 다양한 사용 사례에 사용되는 플러그인을 기본 제공합니다.
작업 작업 플러그인은 워크플로 중에 실행되도록 예약되지만 워크플로의 데이터를 직접 조작하지는 않는 커스텀 작업을 정의합니다. 예를 들어 데이터베이스 커스텀 작업을 사용하면 파이프라인의 끝에서 임의의 데이터베이스 명령어를 실행할 수 있습니다. 또는 Cloud Storage 내에서 파일을 이동하는 작업을 트리거할 수 있습니다.
싱크 데이터는 싱크에 기록되어야 합니다. Cloud Data Fusion에는 Cloud Storage, BigQuery, Cloud Spanner, 관계형 데이터베이스, 파일 시스템, 메인프레임과 같은 다양한 싱크가 포함되어 있습니다.
오류 핸들러 노드에서 null 값, 논리 오류, 기타 오류 소스가 발견되는 경우 오류 핸들러 플러그인을 사용하여 오류를 포착할 수 있습니다. 이 플러그인을 변환 또는 분석 플러그인의 출력에 연결하여 오류를 포착할 수 있습니다. 그런 다음 파이프라인의 별도 오류 처리 흐름에서 이러한 오류를 처리할 수 있습니다.
알림 게시자 또 다른 플러그인 유형은 특이한 이벤트가 발생하는 경우 알림을 게시할 수 있게 해주는 알림 게시자입니다. 다운스트림 프로세스는 이러한 알림을 구독하여 알림에 대한 커스텀 처리를 트리거할 수 있습니다.
조건 파이프라인은 조건 형식으로 제어 흐름 플러그인을 제공할 수도 있습니다. 조건 플러그인을 사용하면 지정된 조건의 평가 값이 true인지 false인지에 따라 파이프라인을 개별 경로 2개로 분기할 수 있습니다.