Cloud Data Fusion 플러그인 참조

이 소스 플러그인은 Cloud Storage 버킷의 경로에서 객체를 읽습니다.

이 싱크 플러그인은 CSV, Avro, Parquet, JSON과 같은 다양한 형식으로 Cloud Storage의 디렉터리에 있는 하나 이상의 파일에 레코드를 씁니다.

Multi Database Table

데이터베이스 내의 여러 테이블에서 읽습니다. 전체 데이터베이스로부터 단일 파이프라인으로 데이터를 로드하기 위해 Cloud Storage 멀티 싱크 및 BigQuery 멀티 싱크와 같은 멀티 싱크 플러그인과 함께 사용됩니다.

MySQL

구성 가능한 SQL 쿼리를 사용하여 MySQL 인스턴스에서 읽습니다. 쿼리에서 반환한 각 행에 하나의 레코드를 출력합니다.

구성 가능한 SQL 쿼리를 사용하여 Oracle 테이블에서 읽습니다. 쿼리에서 반환한 각 행에 하나의 레코드를 출력합니다.

이 소스는 Salesforce에서 기회, 연락처, 계정, 리드, 커스텀 객체 등과 같은 sObject를 일괄적으로 읽습니다.

SAP ODP

운영 데이터 프로비저닝(ODP)을 통해 일괄 기반 및 델타 기반 데이터 추출을 위해 SAP 소스에 연결합니다.

구성 가능한 SQL 쿼리를 사용하여 SQL Server에서 읽습니다. 쿼리에서 반환한 각 행에 하나의 레코드를 출력합니다.

Google Cloud

Cloud Storage, BigQuery, Cloud Bigtable, Datastore, Pub/Sub, Google Workspace 등 Google Cloud 제품에 제공되는 모든 플러그인을 확인합니다.

BigQuery

이 소스는 BigQuery 테이블의 전체 콘텐츠를 읽습니다.

BigQuery Argument Setter

BigQuery 테이블에서 읽어 파이프라인에 설정할 인수를 가져옵니다.

BigQuery 실행

이 플러그인은 BigQuery SQL 쿼리를 실행합니다.

BigQuery Multi Table

이 싱크는 여러 BigQuery 테이블에 씁니다. 데이터는 먼저 Cloud Storage의 임시 위치에 기록된 후 BigQuery로 로드됩니다.

BigQuery 테이블

이 싱크는 BigQuery 테이블에 씁니다. 데이터는 먼저 Cloud Storage의 임시 위치에 기록된 후 BigQuery로 로드됩니다.

Cloud Bigtable에 데이터를 쓰는 일괄 싱크입니다.

이 소스는 Cloud Bigtable에서 데이터를 읽습니다.

Dataplex Sink

Dataplex 지원 애셋으로 데이터를 수집합니다.

Dataplex Source

Cloud Storage 또는 BigQuery 애셋에 있는 Dataplex 항목(테이블)에서 데이터를 읽습니다.

Datastore

이 소스는 Datastore에서 데이터를 읽습니다. Datastore는 자동 확장 및 고성능을 위해 설계된 NoSQL 문서 데이터베이스입니다.

Datastore

이 싱크는 Cloud Datastore에 데이터를 씁니다. Datastore는 자동 확장 및 고성능을 위해 설계된 NoSQL 문서 데이터베이스입니다.

Firestore

일괄 파이프라인의 Cloud Firestore에서 읽습니다.

Firestore

일괄 및 스트리밍 파이프라인의 Cloud Firestore에 쓰기 위한 플러그인입니다.

이 싱크 플러그인은 CSV, Avro, Parquet, JSON과 같은 다양한 형식으로 Cloud Storage의 디렉터리에 있는 하나 이상의 파일에 레코드를 씁니다.

이 소스 플러그인은 Cloud Storage 버킷의 경로에서 객체를 읽습니다.

Cloud Storage Argument Setter

Cloud Storage 파일에서 읽어 파이프라인에 설정할 인수를 가져옵니다.

Cloud Storage Delete

이 플러그인은 Cloud Storage 버킷의 객체를 삭제합니다.

Cloud Storage Copy

이 플러그인은 한 Cloud Storage 버킷에서 다른 Cloud Storage 버킷으로 객체를 복사합니다. 단일 객체를 복사하거나 객체 디렉터리를 복사할 수 있습니다.

Cloud Storage Create

이 플러그인은 Cloud Storage 버킷에 객체를 만듭니다.

Cloud Storage Done File Marker

파이프라인 완료, 성공 또는 실패 시 지정된 Cloud Storage 버킷에 빈 DONE(또는 SUCCESS) 파일을 만들어 종속 프로세스를 조정합니다.

Cloud Storage Move

이 플러그인은 한 Cloud Storage 버킷에서 다른 Cloud Storage 버킷으로 객체를 이동합니다. 단일 객체를 이동하거나 객체 디렉터리를 이동할 수 있습니다.

Cloud Storage Multi FIle

이 플러그인은 MultiTableDatabase 소스와 함께 사용하여 여러 데이터베이스의 레코드를 별도의 디렉터리에 씁니다.

Cloud DLP Decrypt

이전에 Cloud Data Loss Prevention(DLP)에서 암호화한 민감한 정보를 형식 보존 암호화와 같은 복원 가능한 암호화 변환을 사용하여 복호화합니다.

Cloud Data Loss Prevention(DLP) API를 사용한 사용자 정의 템플릿과의 일치 여부에 따라 민감한 레코드를 구분합니다.

Cloud DLP Redact

일부 사전 정의된 DLP 필터 또는 맞춤 사용자 정의 템플릿을 일치시켜 Cloud Data Loss Prevention(DLP)을 사용해 민감한 레코드를 수정합니다.

Google Drive API를 통해 지정된 Google Drive 디렉터리에서 파일을 읽습니다.

싱크 플러그인은 Google Drive API를 통해 파이프라인의 파일을 Google Drive 디렉터리에 저장합니다.

지정된 Google Drive 디렉터리에 스프레드시트를 씁니다.

지정된 Google Drive 디렉터리에서 스프레드시트를 읽습니다.

Pub/Sub

이 싱크는 스트리밍 파이프라인의 Pub/Sub 주제에 씁니다.

Pub/Sub

이 소스는 Pub/Sub 구독에서 실시간으로 읽습니다.

이 싱크는 Cloud Spanner 테이블에 씁니다.

이 소스는 Cloud Spanner 테이블에서 읽습니다.

Speech To Text

이 플러그인은 Speech-to-Text를 사용하여 오디오 파일을 텍스트로 변환합니다.

집계

avg, count, count(*), first, last, max, min, sum, 테이블 조인을 포함한 수집 등의 함수를 집계하는 플러그인입니다.

그룹화 기준

하나 이상의 필드별로 그룹화한 다음 각 그룹에서 avg, count, count(*), first, last, max, min, sum, 수집 등의 집계 함수를 수행합니다.

Joiner

조인 키에 따라 하나 이상의 입력에 있는 레코드를 조인합니다. 출력 필드의 내부 및 외부 조인, 선택, 이름 바꾸기를 지원합니다.

Top N

Top N은 플러그인 구성에 지정된 기준에 따라 입력 세트에서 상위 'n'개의 레코드를 반환합니다.

Window Aggregation

데이터 기간에 집계 함수를 적용합니다.

알림

알림용 플러그인입니다.

이메일

파이프라인 실행이 끝날 때 이메일을 보냅니다.

Email by SendGrid

파이프라인 실행이 끝날 때 이메일을 보내는 작업입니다.

Cloud Storage Done File Marker

파이프라인 완료, 성공 또는 실패 시 지정된 Cloud Storage 버킷에 빈 DONE(또는 SUCCESS) 파일을 만들어 종속 프로세스를 조정합니다.

HTTP Callback

파이프라인 실행 종료 시 HTTP 요청을 수행합니다.

Kafka Alert Publisher

Kafka Alert Publisher으로 JSON 객체로 알림을 Kafka에 게시할 수 있습니다.

파이프라인 실행 종료 시 MariaDB 쿼리를 실행합니다. 성공이나 실패 시에만 실행되거나 실행 종료 시 항상 실행되도록 구성할 수 있습니다.

파이프라인 실행 종료 시 Netezza 쿼리를 실행합니다. 성공이나 실패 시에만 실행되거나 실행 종료 시 항상 실행되도록 구성할 수 있습니다.

파이프라인 실행 종료 시 Oracle 쿼리를 실행합니다. 성공이나 실패 시에만 실행되거나 실행 종료 시 항상 실행되도록 구성할 수 있습니다.

파이프라인 실행 종료 시 PostgreSQL 쿼리를 실행합니다. 성공이나 실패 시에만 실행되거나 실행 종료 시 항상 실행되도록 구성할 수 있습니다.

파이프라인 실행 종료 시 SQL Server 쿼리를 실행합니다. 성공이나 실패 시에만 실행되거나 실행 종료 시 항상 실행되도록 구성할 수 있습니다.

파이프라인 실행 종료 시 Teradata 쿼리를 실행합니다. 성공이나 실패 시에만 실행되거나 실행 종료 시 항상 실행되도록 구성할 수 있습니다.

TMS

CDAP 거래 트랜잭션 시스템(TMS)에 알림을 JSON 객체로 게시합니다.

Apache

Apache용 플러그인입니다.

Cassandra

Apache Cassandra에 데이터를 쓰는 일괄 싱크입니다.

Cassandra

Apache Cassandra에서 읽는 일괄 소스입니다.

row key에 필드 매핑이 1회, column qualifiers에 매핑되는 다른 모든 레코드 필드가 있는 HBase 테이블에 레코드를 씁니다.

HBase 테이블의 column family에서 읽는 일괄 소스입니다.

Hive Bulk Export

Hive Export는 선택된 쿼리를 입력으로 받아 Hive 테이블에서 해당 쿼리를 실행하고 지정된 위치에 결과를 저장합니다.

Hive Bulk Import

Hive Load 문을 사용하여 디렉터리/파일의 데이터를 Hive 테이블로 가져옵니다.

Kafka Alert Publisher으로 JSON 객체로 알림을 Kafka에 게시할 수 있습니다.

Kafka Alert Publisher

Kafka Consumer

일괄 파이프라인에서 Apache Kafka의 이벤트를 읽는 Kafka 일괄 소스입니다.

Kafka Consumer

스트리밍 파이프라인에서 Apache Kafka의 이벤트를 읽는 Kafka 스트리밍 소스입니다.

Kafka Producer

이벤트를 Kafka에 CSV 또는 JSON으로 쓸 수 있게 해주는 Kafka 싱크입니다.

쿠두

Apache Kudu로 데이터를 수집하는 CDAP 플러그인입니다. 일괄 파이프라인과 실시간 파이프라인 모두에 플러그인을 구성할 수 있습니다.

쿠두

Apache Kudu 테이블에서 데이터를 읽기 위한 CDAP 플러그인입니다.

PySpark Program

Python에서 사용자 제공 Spark 코드를 실행합니다.

Repartitioner

이 플러그인은 Spark RDD의 파티션을 다시 나눕니다.

Scala Spark Compute

모든 Spark 기능에 대한 전체 액세스 권한으로 RDD를 RDD로 변환하는 Scala의 사용자 제공 Spark 코드를 실행합니다.

Scala Spark Program

Scala에서 사용자 제공 Spark 코드를 실행합니다.

Spark

모든 Spark 기능에 대한 전체 액세스 권한이 있는 입력 RDD 또는 Dataframe에서 작동하는 사용자 제공 Spark 코드를 Scala에서 실행합니다.

Webserver Log Parser

URI, IP, 브라우저, 기기, HTTP 상태 코드, 타임스탬프와 같은 관련 정보의 입력 소스로부터 로그를 파싱합니다.

API

다양한 API를 위한 플러그인입니다.

Anaplan

Anaplan 모델에서 데이터 파이프라인으로 데이터를 로드하기 위한 소스 플러그인입니다.

Anaplan

CDAP에서 Anaplan 서버로의 데이터 가져오기를 지원하는 싱크 플러그인입니다.

Anaplan Function

지정된 Anaplan 모델에 사전 정의된 작업/프로세스를 수행합니다. 데이터 가져오기 및 내보내기를 준비하는 데 가장 일반적으로 사용됩니다.

Facebook Ads

일괄 파이프라인의 Facebook Insights API에서 광고 데이터를 읽습니다.

GitHub

일괄 파이프라인의 GitHub에서 읽습니다.

Google Ads Multiple Reports

일괄 파이프라인에서 Google Ads 계정의 모든 Google Ads 보고서를 읽습니다.

Google Ads Single Report

일괄 파이프라인에서 Google Ads 계정의 지정된 보고서 유형을 읽습니다.

Google Analytics Batch

일괄 파이프라인의 Google 애널리틱스 360에서 읽습니다.

Google Analytics Streaming

스트리밍 파이프라인의 Google 애널리틱스 360에서 읽습니다.

Google Drive API를 통해 지정된 Google Drive 디렉터리에서 파일을 읽습니다.

싱크 플러그인은 Google Drive API를 통해 파이프라인의 파일을 Google Drive 디렉터리에 저장합니다.

Google Search Console

일괄 파이프라인의 Google Search Console에서 읽습니다.

지정된 Google Drive 디렉터리에 스프레드시트를 씁니다.

지정된 Google Drive 디렉터리에서 스프레드시트를 읽습니다.

HTTP

일괄 파이프라인의 HTTP/HTTPS API에서 JSON, XML, CSV, TSV, TEXT, BLOB 형식의 데이터를 읽습니다.

HTTP

파이프라인에서 외부 http 엔드포인트로 메시지를 전송하는 싱크 플러그인입니다.

HTTP Callback

파이프라인 실행 종료 시 HTTP 요청을 수행합니다.

HTTP Poller

지정된 간격으로 특정 URL에서 데이터를 가져와 다음 플러그인으로 전달하는 스트리밍 소스입니다.

HTTP Streaming

스트리밍 파이프라인의 HTTP/HTTPS API에서 JSON, XML, CSV, TSV, TEXT, BLOB 형식의 데이터를 읽습니다.

일괄 및 스트리밍 파이프라인에서 HubSpot CRM에 데이터를 쓰는 플러그인입니다.

스트리밍 파이프라인의 HubSpot CRM에서 데이터를 읽습니다.

일괄 파이프라인의 HubSpot CRM에서 데이터를 읽습니다.

이 소스는 Salesforce에서 기회, 연락처, 계정, 리드, 커스텀 객체 등과 같은 sObject를 일괄적으로 읽습니다.

이 소스는 Salesforce sObject의 업데이트를 추적합니다. sObject의 예로는 추천, 연락처, 계정, 리드, 모든 커스텀 객체 등이 있습니다.

기회, 연락처, 계정, 리드, 커스텀 객체 등의 sObject를 Salesforce에 삽입하는 일괄 싱크입니다.

이 소스는 기회, 연락처, 계정, 리드, 모든 커스텀 개체 등과 같은 Salesforce sObject의 업데이트를 추적합니다.

이 싱크는 SFMC API와의 서버 간 통합을 통해 Salesforce Marketing Cloud(SFMC) 데이터 확장 프로그램에 레코드를 삽입합니다.

Salesforce Multi Objects

이 소스는 Salesforce에서 여러 sObject를 읽습니다. 멀티 싱크와 함께 사용해야 합니다.

ServiceNow

ServiceNow 내의 하나 이상의 테이블에서 읽습니다.

Speech To Text

이 플러그인은 Speech-to-Text를 사용하여 오디오 파일을 텍스트로 변환합니다.

Splunk

스트리밍 파이프라인의 Splunk에서 읽습니다.

Splunk

일괄 파이프라인의 Splunk에서 읽습니다.

Zendesk

기사 댓글, 게시물 댓글, 요청 댓글, 티켓 댓글, 그룹, 조직, 만족도 평가, 태그, 티켓 입력란, 티켓 측정항목, 티켓 측정항목 이벤트, 티켓, Zendesk의 사용자와 같은 객체를 읽습니다.

Zendesk Multi Objects

Zendesk에서 여러 객체를 읽고 특정 대상으로 라우팅하는 멀티 소스입니다. 멀티 싱크와 함께 사용해야 합니다.

Zuora

일괄 및 스트리밍 파이프라인에서 Zuora에 데이터를 쓰는 플러그인입니다.

Zuora

일괄 파이프라인의 Zuora에서 데이터를 읽습니다.

Avro

Avro용 플러그인입니다.

다양한 형식으로 파일 시스템에 씁니다.

이 소스는 분산 파일 시스템에서 읽어야 할 때마다 사용됩니다.

Cloud Storage의 디렉터리에서 CSV, Avro, Parquet, JSON과 같은 다양한 형식으로 하나 이상의 파일에 레코드를 씁니다.

AWS

AWS에 사용할 수 있는 플러그인입니다.

이 소스는 Amazon S3에서 읽어야 할 때마다 사용됩니다.

이 싱크는 다양한 형식으로 Amazon S3에 쓰는 데 사용됩니다.

Amazon S3 Client

Amazon S3 Client 작업은 파이프라인 실행 이전 또는 이후에 S3 버킷 및 객체 작업에 사용됩니다.

Kinesis Sink

지정된 Amazon Kinesis 스트림에 출력하는 Kinesis 싱크입니다.

Kinesis Source

AWS Kinesis 스트림에서 읽는 Spark 스트리밍 소스입니다.

Redshift To S3 작업은 AWS에서 UNLOAD 명령어를 실행하여 Redshift의 쿼리 결과를 Amazon S3의 하나 이상의 파일에 저장합니다.

S3 To Redshift 작업은 AWS S3 버킷의 데이터를 AWS Redshift 테이블로 로드합니다.

Cleansing

정리용 플러그인입니다.

Deduplicate(중복 제거)

하나 이상의 필드를 사용하거나 레코드 전체를 사용하여 레코드 중복을 제거합니다. 또한 필터 필드에 따라 중복 레코드에서 논리적으로 레코드를 선택할 수 있습니다. 지원되는 논리 함수는 max, min, first, last입니다.

Distinct

모든 출력 레코드가 구분되도록 입력 레코드를 중복 삭제합니다.

Fast Filter

지정된 기준에 따라 메시지를 필터링합니다.

Cloud Data Loss Prevention(DLP) API를 사용한 사용자 정의 템플릿과의 일치 여부에 따라 민감한 레코드를 구분합니다.

Wrangler

이 플러그인은 대화형 UI를 통해 생성되거나 데이터 레코드에서 수동으로 생성된 데이터 변환 지시어를 적용합니다.

Cloud Storage

클라우드 스토리지에 사용 가능한 플러그인입니다.

이 소스는 Amazon S3에서 읽어야 할 때마다 사용됩니다.

Azure Blob Store

Microsoft Azure Blob Storage를 소스로 사용하기 위한 일괄 소스입니다.

Azure Decompress

Azure Decompress 작업 플러그인은 Azure Storage Blob 서비스의 컨테이너의 gz 파일을 다른 컨테이너로 압축 해제합니다.

Cloud Storage to Snowflake

Cloud Storage의 외부 또는 내부 스테이징 파일에서 기존 Snowflake 테이블로 데이터를 로드합니다.

이 싱크 플러그인은 CSV, Avro, Parquet, JSON과 같은 다양한 형식으로 Cloud Storage의 디렉터리에 있는 하나 이상의 파일에 레코드를 씁니다.

이 플러그인은 Cloud Storage 버킷의 경로에서 객체를 읽습니다.

Cloud Storage Argument Setter

Cloud Storage 파일에서 읽어 파이프라인에 설정할 인수를 가져옵니다.

Cloud Storage Delete

이 플러그인은 Cloud Storage 버킷의 객체를 삭제합니다.

Cloud Storage Copy

이 플러그인은 한 Cloud Storage 버킷에서 다른 Cloud Storage 버킷으로 객체를 복사합니다. 단일 객체를 복사하거나 객체 디렉터리를 복사할 수 있습니다.

Cloud Storage Create

이 플러그인은 Cloud Storage 버킷에 객체를 만듭니다.

Cloud Storage Move

이 플러그인은 한 Cloud Storage 버킷에서 다른 Cloud Storage 버킷으로 객체를 이동합니다. 단일 객체를 이동하거나 객체 디렉터리를 이동할 수 있습니다.

Cloud Storage Multi FIle

이 플러그인은 MultiTableDatabase 소스와 함께 사용하여 여러 데이터베이스의 레코드를 별도의 디렉터리에 씁니다.

Cloud Storage Done File Marker

파이프라인 완료, 성공 또는 실패 시 지정된 Cloud Storage 버킷에 빈 DONE(또는 SUCCESS) 파일을 만들어 종속 프로세스를 조정합니다.

Microsoft Azure Delete

Azure Delete 작업 플러그인은 Azure Storage Blob 서비스에서 컨테이너를 삭제합니다.

Snowflake to Cloud Storage

Snowflake 테이블에서 내부 또는 외부 Cloud Storage 위치(스테이지)로 데이터를 언로드합니다.

코드

자체 코드를 실행하는 플러그인입니다.

자바스크립트

한 개의 레코드를 0개 이상의 레코드로 변환하는 사용자 제공 자바스크립트를 실행합니다.

PySpark Program

Python에서 사용자 제공 Spark 코드를 실행합니다.

Python Evaluator

Python 사전으로 제공되는 입력 레코드 변환을 위해 사용자 제공 Python 코드를 실행합니다.

Scala Spark Compute

모든 Spark 기능에 대한 전체 액세스 권한으로 RDD를 RDD로 변환하는 Scala의 사용자 제공 Spark 코드를 실행합니다.

Scala Spark Program

Scala에서 사용자 제공 Spark 코드를 실행합니다.

Spark

모든 Spark 기능에 대한 전체 액세스 권한이 있는 입력 RDD 또는 Dataframe에서 작동하는 사용자 제공 Spark 코드를 Scala에서 실행합니다.

압축

압축용 플러그인입니다.

Compressor

SNAPPY, ZIP, GZIP과 같은 여러 압축 알고리즘을 사용하여 구성된 필드를 압축합니다.

Azure Decompress

Decompress 작업은 파이프라인에서 추가로 처리하기 전에 보관처리되거나 압축된 파일(.zip, .gz, .tar, .tar.gz 등)을 확장하는 데 사용됩니다.

Field Decompresser

SNAPPY, ZIP, GZIP과 같은 압축 알고리즘을 사용하여 구성된 필드의 압축을 해제합니다.

조건부

파이프라인은 조건 형식으로 제어 흐름 플러그인을 제공할 수도 있습니다. 조건 플러그인을 사용하면 지정된 조건의 평가 값이 true인지 false인지에 따라 파이프라인을 개별 경로 2개로 분기할 수 있습니다.

조건부

표현식에 따라 파이프라인 내에서 조건부 실행을 허용하는 제어 흐름 플러그인입니다.

Error Collector

이전 단계에서 발생하는 오류를 수집하고 오류 메시지, 코드, 단계를 레코드에 추가합니다.

Fail Pipeline

첫 번째 레코드를 수신한 직후 파이프라인에 장애가 발생하는 일괄 싱크입니다.

Null Field Splitter

이 플러그인은 지정된 필드에 null 값이 있는 레코드를 null 포트로 보내고, null 외의 값이 있는 레코드를 null이 아닌 포트로 보냅니다.

Decompress

하나 이상의 필드 값에 대한 표현식 평가에 따라 레코드를 적절한 포트로 라우팅합니다.

Union Splitter

Union Splitter는 통합 스키마로 데이터를 분할하는 데 사용되므로 유형별 로직을 다운스트림으로 실행할 수 있습니다.

Control Flow

제어 흐름을 위한 플러그인입니다.

Anaplan Function

지정된 Anaplan 모델에 사전 정의된 작업/프로세스를 수행합니다. 데이터 가져오기 및 내보내기를 준비하는 데 가장 일반적으로 사용됩니다.

BigQuery 실행

파이프라인의 시작 또는 끝에서 SQL 쿼리를 실행합니다.

파이프라인 실행 종료 시 데이터베이스 쿼리를 실행합니다. 성공이나 실패 시에만 실행되거나 실행 종료 시 항상 실행되도록 구성할 수 있습니다.

데이터베이스 명령어를 실행하는 작업입니다.

Database Query

DB2 Execute

DB2 명령어를 실행하는 작업입니다.

Azure Decompress

Decompress 작업은 파이프라인에서 추가로 처리하기 전에 보관처리되거나 압축된 파일(.zip, .gz, .tar, .tar.gz 등)을 확장하는 데 사용됩니다.

File Contents Checketer

이 작업 플러그인은 파일이 비어 있는지 또는 파일의 콘텐츠가 지정된 패턴과 일치하는지 확인하는 데 사용할 수 있습니다.

FTP 서버에서 지정된 대상으로 파일을 복사합니다.

FTP Put

지정된 대상에서 FTP 서버로 파일을 복사합니다.

Cloud Storage Delete

이 플러그인은 Cloud Storage 버킷의 객체를 삭제합니다.

Cloud Storage Copy

이 플러그인은 한 Cloud Storage 버킷에서 다른 Cloud Storage 버킷으로 객체를 복사합니다. 단일 객체를 복사하거나 객체 디렉터리를 복사할 수 있습니다.

Cloud Storage Create

이 플러그인은 Cloud Storage 버킷에 객체를 만듭니다.

Cloud Storage Move

이 플러그인은 한 Cloud Storage 버킷에서 다른 Cloud Storage 버킷으로 객체를 이동합니다. 단일 객체를 이동하거나 객체 디렉터리를 이동할 수 있습니다.

Oracle의 명령줄 도구를 사용하여 Oracle에서 파일 시스템으로 효율적으로 데이터를 내보내는 작업 플러그인입니다.

MariaDB Execute

MariaDB 명령어를 실행하는 작업입니다.

MySQL Execute

MySQL 명령어를 실행하는 작업입니다.

Netezza Execute

Netezza 명령어를 실행하는 작업입니다.

Oracle Execute

Oracle 명령어를 실행하는 작업입니다.

Oracle Export

PostgreSQL Execute

PostgreSQL 명령어를 실행하는 작업입니다.

Redshift To S3 작업은 AWS에서 UNLOAD 명령어를 실행하여 Redshift의 쿼리 결과를 Amazon S3의 하나 이상의 파일에 저장합니다.

Remote Program Executor

원격 머신으로 SSH 연결을 설정하여 해당 머신에서 명령어를 실행합니다.

S3 To Redshift 작업은 AWS S3 버킷의 데이터를 AWS Redshift 테이블로 로드합니다.

SFTP Copy

SFTP Copy를 사용하면 SFTP 서버의 지정된 디렉터리에서 지정된 대상으로 파일을 복사할 수 있습니다.

SFTP Delete

SFTP 서버에서 지정된 파일을 삭제하는 CDAP 작업 플러그인입니다.

SFTP Put

SFTP Put을 사용하면 파일 시스템(로컬/HDFS)에서 FTP 서버로 파일을 업로드할 수 있습니다. 파일 정규식으로 관심 있는 파일만 필터링할 수도 있습니다.

Snowflake Run SQL

Snowflake에서 지정된 SQL 쿼리를 실행합니다.

SQL Server Execute

SQL Server 명령어를 실행하는 작업입니다.

Teradata Execute

Teradata 명령어를 실행하는 작업입니다.

Windows Share Copy

Microsoft Windows 공유에서 파일을 파일 시스템에 복사합니다.

CRM

Salesforce와 같은 CRM 플랫폼용 플러그인입니다.

일괄 및 스트리밍 파이프라인에서 HubSpot CRM에 데이터를 쓰는 플러그인입니다.

스트리밍 파이프라인의 HubSpot CRM에서 데이터를 읽습니다.

일괄 파이프라인의 HubSpot CRM에서 데이터를 읽습니다.

이 소스는 Salesforce에서 기회, 연락처, 계정, 리드, 커스텀 객체 등과 같은 sObject를 일괄적으로 읽습니다.

기회, 연락처, 계정, 리드, 커스텀 객체 등의 sObject를 Salesforce에 삽입하는 일괄 싱크입니다.

이 소스는 Salesforce sObject의 업데이트를 추적합니다. sObject의 예로는 추천, 연락처, 계정, 리드, 모든 커스텀 객체 등이 있습니다.

이 소스는 기회, 연락처, 계정, 리드, 모든 커스텀 개체 등과 같은 Salesforce sObject의 업데이트를 추적합니다.

이 싱크는 SFMC API와의 서버 간 통합을 통해 Salesforce Marketing Cloud(SFMC) 데이터 확장 프로그램에 레코드를 삽입합니다.

Salesforce Multi Objects

이 소스는 Salesforce에서 여러 sObject를 읽습니다. 멀티 싱크와 함께 사용해야 합니다.

CSV

CSV용 플러그인입니다.

CSV Formatter

DELIMITED, EXCEL, MYSQL, RFC4180, TDF와 같은 형식을 사용하여 CSV 레코드에 입력되는 형식을 지정합니다.

CSV Parser

DEFAULT, EXCEL, MYSQL, RFC4180, 탭으로 구분된 형식, 파이프로 구분된 형식이 지정된 CSV 레코드를 구조화된 레코드로 파싱합니다.

다양한 형식으로 파일 시스템에 씁니다.

이 소스는 분산 파일 시스템에서 읽어야 할 때마다 사용됩니다.

이 싱크 플러그인은 CSV, Avro, Parquet, JSON과 같은 다양한 형식으로 Cloud Storage의 디렉터리에 있는 하나 이상의 파일에 레코드를 씁니다.

Kafka Producer

이벤트를 Kafka에 CSV 또는 JSON으로 쓸 수 있게 해주는 Kafka 싱크입니다.

데이터베이스

데이터베이스용 플러그인입니다.

Cloud Bigtable에 데이터를 쓰는 일괄 싱크입니다.

이 소스는 Cloud Bigtable에서 데이터를 읽습니다.

데이터베이스 명령어를 실행하는 작업입니다.

구성 가능한 SQL 쿼리를 사용하여 데이터베이스에서 읽습니다. 쿼리에서 반환한 각 행에 하나의 레코드를 출력합니다.

데이터베이스 테이블에 레코드를 씁니다. 각 레코드는 테이블의 행에 작성됩니다.

Database Argument Setter

관계형 데이터베이스 테이블에서 읽어 파이프라인에 설정할 인수를 가져옵니다.

Database Query

파이프라인 실행 종료 시 데이터베이스 쿼리를 실행합니다. 성공이나 실패 시에만 실행되거나 실행 종료 시 항상 실행되도록 구성할 수 있습니다.

구성 가능한 SQL 쿼리를 사용하여 DB2에서 읽습니다. 쿼리에서 반환한 각 행에 하나의 레코드를 출력합니다.

파이프라인 실행 종료 시 DB2 쿼리를 실행합니다. 성공이나 실패 시에만 실행되거나 실행 종료 시 항상 실행되도록 구성할 수 있습니다.

DB2 Execute

DB2 명령어를 실행하는 작업입니다.

IBM DB2

DB2 테이블에 레코드를 씁니다. 각 레코드는 테이블의 행에 작성됩니다.

MariaDB 테이블에 레코드를 씁니다. 각 레코드는 테이블의 행에 작성됩니다.

구성 가능한 SQL 쿼리를 사용하여 MariaDB에서 읽습니다. 쿼리에서 반환한 각 행에 하나의 레코드를 출력합니다.

파이프라인 실행 종료 시 MariaDB 쿼리를 실행합니다. 성공이나 실패 시에만 실행되거나 실행 종료 시 항상 실행되도록 구성할 수 있습니다.

MariaDB Execute

MariaDB 명령어를 실행하는 작업입니다.

Multi Database Table

데이터베이스 내의 여러 테이블에서 읽습니다. 전체 데이터베이스로부터 단일 파이프라인으로 데이터를 로드하기 위해 Cloud Storage 멀티 싱크 및 BigQuery 멀티 싱크와 같은 멀티 싱크 플러그인과 함께 사용됩니다.

MySQL Query

파이프라인 실행 종료 시 MySQL 쿼리를 실행합니다. 성공이나 실패 시에만 실행되거나 실행 종료 시 항상 실행되도록 구성할 수 있습니다.

MySQL

MySQL 테이블에 레코드를 씁니다. 각 레코드는 테이블의 행에 작성됩니다.

MySQL

구성 가능한 SQL 쿼리를 사용하여 MySQL 인스턴스에서 읽습니다. 쿼리에서 반환한 각 행에 하나의 레코드를 출력합니다.

MySQL Execute

MySQL 명령어를 실행하는 작업입니다.

구성 가능한 SQL 쿼리를 사용하여 Oracle 테이블에서 읽습니다. 쿼리에서 반환한 각 행에 하나의 레코드를 출력합니다.

Oracle 테이블에 레코드를 씁니다. 각 레코드는 테이블의 행에 작성됩니다.

파이프라인 실행 종료 시 Oracle 쿼리를 실행합니다. 성공이나 실패 시에만 실행되거나 실행 종료 시 항상 실행되도록 구성할 수 있습니다.

Oracle Execute

Oracle 명령어를 실행하는 작업입니다.

Oracle Export

Oracle의 명령줄 도구를 사용하여 Oracle에서 파일 시스템으로 효율적으로 데이터를 내보내는 작업 플러그인입니다.

구성 가능한 SQL 쿼리를 사용하여 PostgreSQL에서 읽습니다. 쿼리에서 반환한 각 행에 하나의 레코드를 출력합니다.

PostgreSQL 테이블에 레코드를 씁니다. 각 레코드는 테이블의 행에 작성됩니다.

파이프라인 실행 종료 시 PostgreSQL 쿼리를 실행합니다. 성공이나 실패 시에만 실행되거나 실행 종료 시 항상 실행되도록 구성할 수 있습니다.

PostgreSQL Execute

PostgreSQL 명령어를 실행하는 작업입니다.

이 싱크는 Cloud Spanner 테이블에 씁니다.

이 소스는 Cloud Spanner 테이블에서 읽습니다.

SQL Server 테이블에 레코드를 씁니다. 각 레코드는 테이블의 행에 작성됩니다.

파이프라인 실행 종료 시 SQL Server 쿼리를 실행합니다. 성공이나 실패 시에만 실행되거나 실행 종료 시 항상 실행되도록 구성할 수 있습니다.

구성 가능한 SQL 쿼리를 사용하여 SQL Server에서 읽습니다. 쿼리에서 반환한 각 행에 하나의 레코드를 출력합니다.

SQL Server Execute

SQL Server 명령어를 실행하는 작업입니다.

Cloud SQL

DB2는 파이프라인 실행 종료 시 DB2 쿼리를 실행합니다. 성공이나 실패 시에만 실행되거나 실행 종료 시 항상 실행되도록 구성할 수 있습니다.

데이터 웨어하우스

데이터 웨어하우스용 플러그인입니다.

BigQuery

이 소스는 BigQuery 테이블의 전체 콘텐츠를 읽습니다.

BigQuery Argument Setter

BigQuery 테이블에서 읽어 파이프라인에 설정할 인수를 가져옵니다.

BigQuery 실행

이 플러그인은 BigQuery SQL 쿼리를 실행합니다.

BigQuery Multi Table

이 싱크는 여러 BigQuery 테이블에 씁니다. 데이터는 먼저 Cloud Storage의 임시 위치에 기록된 후 BigQuery로 로드됩니다.

BigQuery 테이블

이 싱크는 BigQuery 테이블에 씁니다. 데이터는 먼저 Cloud Storage의 임시 위치에 기록된 후 BigQuery로 로드됩니다.

Cloud Storage to Snowflake

Cloud Storage의 외부 또는 내부 스테이징 파일에서 기존 Snowflake 테이블로 데이터를 로드합니다.

Hive Bulk Export

Hive Export는 선택된 쿼리를 입력으로 받아 Hive 테이블에서 해당 쿼리를 실행하고 지정된 위치에 결과를 저장합니다.

Hive Bulk Import

Hive Load 문을 사용하여 디렉터리/파일의 데이터를 Hive 테이블로 가져옵니다.

Netezza 테이블에 레코드를 씁니다. 각 레코드는 테이블의 행에 작성됩니다.

구성 가능한 SQL 쿼리를 사용하여 Netezza에서 읽습니다. 쿼리에서 반환한 각 행에 하나의 레코드를 출력합니다.

파이프라인 실행 종료 시 Netezza 쿼리를 실행합니다. 성공이나 실패 시에만 실행되거나 실행 종료 시 항상 실행되도록 구성할 수 있습니다.

Netezza Execute

Netezza 명령어를 실행하는 작업입니다.

Redshift To S3 작업은 AWS에서 UNLOAD 명령어를 실행하여 Redshift의 쿼리 결과를 Amazon S3의 하나 이상의 파일에 저장합니다.

S3 To Redshift 작업은 AWS S3 버킷의 데이터를 AWS Redshift 테이블로 로드합니다.

SCD2 Spark Compute

지정된 키로 소스 레코드를 그룹화하고 레코드의 시작 및 종료(만료) 날짜를 생성하여 레코드의 SCD2 표현을 만듭니다.

눈송이

일괄 파이프라인의 Snowflake 테이블에 데이터를 씁니다.

눈송이

일괄 파이프라인의 Snowflake 테이블에서 데이터를 읽습니다.

Snowflake Run SQL

Snowflake에서 지정된 SQL 쿼리를 실행합니다.

Snowflake to Cloud Storage

Snowflake 테이블에서 내부 또는 외부 Cloud Storage 위치(스테이지)로 데이터를 언로드합니다.

Teradata 테이블에 레코드를 씁니다. 각 레코드는 테이블의 행에 작성됩니다.

구성 가능한 SQL 쿼리를 사용하여 Teradata에서 읽습니다. 쿼리에서 반환한 각 행에 하나의 레코드를 출력합니다.

파이프라인 실행 종료 시 Teradata 쿼리를 실행합니다. 성공이나 실패 시에만 실행되거나 실행 종료 시 항상 실행되도록 구성할 수 있습니다.

Teradata 명령어를 실행하는 작업입니다.

Vertica Bulk Export Action

Vertica 테이블의 데이터를 파일로 일괄적으로 내보냅니다.

Vertica Bulk Import Action

Vertica Bulk Import Action 플러그인은 지정된 디렉터리의 모든 파일을 읽고 콘텐츠를 Vertica 테이블로 일괄 가져옵니다.

DLP

Cloud Data Loss Prevention(DLP)용 플러그인입니다.

Cloud DLP Decrypt

이전에 Cloud Data Loss Prevention(DLP)에서 암호화한 민감한 정보를 형식 보존 암호화와 같은 복원 가능한 암호화 변환을 사용하여 복호화합니다.

Cloud Data Loss Prevention(DLP) API를 사용한 사용자 정의 템플릿과의 일치 여부에 따라 민감한 레코드를 구분합니다.

Cloud DLP Redact

일부 사전 정의된 DLP 필터 또는 맞춤 사용자 정의 템플릿을 일치시켜 Cloud Data Loss Prevention(DLP)을 사용해 민감한 레코드를 수정합니다.

동적

동적 플러그인입니다.

Argument Setter

HTTP 요청을 수행하여 파이프라인에 설정할 인수를 가져옵니다.

Database Argument Setter

관계형 데이터베이스 테이블에서 읽어 파이프라인에 설정할 인수를 가져옵니다.

Cloud Storage Argument Setter

Cloud Storage 파일에서 읽어 파이프라인에 설정할 인수를 가져옵니다.

이메일

이메일용 플러그인입니다.

이메일

파이프라인 실행이 끝날 때 이메일을 보냅니다.

Email by SendGrid

파이프라인 실행이 끝날 때 이메일을 보내는 작업입니다.

SendGrid

SendGrid의 기존 마케팅 캠페인, 이메일 분석, 반송, 스팸 보고서에 관한 데이터를 읽습니다.

SendGrid

일괄 및 스트리밍 파이프라인의 SendGrid에 데이터를 씁니다.

파일

파일 플러그인입니다.

CSV Formatter

DELIMITED, EXCEL, MYSQL, RFC4180, TDF와 같은 형식을 사용하여 CSV 레코드에 입력되는 형식을 지정합니다.

CSV Parser

DEFAULT, EXCEL, MYSQL, RFC4180, 탭으로 구분된 형식, 파이프로 구분된 형식이 지정된 CSV 레코드를 구조화된 레코드로 파싱합니다.

다양한 형식으로 파일 시스템에 씁니다.

이 소스는 분산 파일 시스템에서 읽어야 할 때마다 사용됩니다.

디렉터리를 감시하고 디렉터리에 추가된 새 파일의 파일 콘텐츠를 스트리밍하는 파일 스트리밍 소스입니다.

File Appender

이 싱크 플러그인은 크기 또는 기간 기준에 도달할 때까지 기존 파일에 추가합니다.

File Contents Checketer

이 작업 플러그인은 파일이 비어 있는지 또는 파일의 콘텐츠가 지정된 패턴과 일치하는지 확인하는 데 사용할 수 있습니다.

FTP(ftp://..) 또는 SFTP(sftp://...)에서 읽을 일괄 소스입니다.

FTP Copy

FTP 서버에서 지정된 대상으로 파일을 복사합니다.

FTP Put

지정된 대상에서 FTP 서버로 파일을 복사합니다.

PDF Extractor

이 변환은 Apache PDF Box 라이브러리를 활용하여 PDF 파일에서 텍스트 및 메타데이터를 추출합니다.

Redshift To S3 작업은 AWS에서 UNLOAD 명령어를 실행하여 Redshift의 쿼리 결과를 Amazon S3의 하나 이상의 파일에 저장합니다.

이 싱크는 다양한 형식으로 Amazon S3에 쓰는 데 사용됩니다.

S3 To Redshift 작업은 AWS S3 버킷의 데이터를 AWS Redshift 테이블로 로드합니다.

SFTP Copy

SFTP Copy를 사용하면 SFTP 서버의 지정된 디렉터리에서 지정된 대상으로 파일을 복사할 수 있습니다.

SFTP Delete

SFTP 서버에서 지정된 파일을 삭제하는 CDAP 작업 플러그인입니다.

SFTP Put

SFTP Put을 사용하면 파일 시스템(로컬/HDFS)에서 FTP 서버로 파일을 업로드할 수 있습니다. 파일 정규식으로 관심 있는 파일만 필터링할 수도 있습니다.

필터

필터 플러그인입니다.

Deduplicate(중복 제거)

하나 이상의 필드를 사용하거나 레코드 전체를 사용하여 레코드 중복을 제거합니다. 또한 필터 필드에 따라 중복 레코드에서 논리적으로 레코드를 선택할 수 있습니다. 지원되는 논리 함수는 max, min, first, last입니다.

Distinct

모든 출력 레코드가 구분되도록 입력 레코드를 중복 삭제합니다.

Fast Filter

지정된 기준에 따라 메시지를 필터링합니다.

Cloud Data Loss Prevention(DLP) API를 사용한 사용자 정의 템플릿과의 일치 여부에 따라 민감한 레코드를 구분합니다.

Null Field Splitter

이 플러그인은 지정된 필드에 null 값이 있는 레코드를 null 포트로 보내고, null 외의 값이 있는 레코드를 null이 아닌 포트로 보냅니다.

샘플링

체계적인 또는 저장소 샘플링을 사용하여 임의의 레코드를 가져오기 위해 이 플러그인을 통해 전달되는 대규모 데이터 세트를 샘플링합니다.

Top N

Top N은 플러그인 구성에 지정된 기준에 따라 입력 세트에서 상위 'n'개의 레코드를 반환합니다.

FTP

FTP 플러그인입니다.

FTP

FTP(ftp://..) 또는 SFTP(sftp://...)에서 읽을 일괄 소스입니다.

FTP Copy

FTP 서버에서 지정된 대상으로 파일을 복사합니다.

FTP Put

지정된 대상에서 FTP 서버로 파일을 복사합니다.

SFTP Copy

SFTP Copy를 사용하면 SFTP 서버의 지정된 디렉터리에서 지정된 대상으로 파일을 복사할 수 있습니다.

SFTP Delete

SFTP 서버에서 지정된 파일을 삭제하는 CDAP 작업 플러그인입니다.

SFTP Put

SFTP Put을 사용하면 파일 시스템(로컬/HDFS)에서 FTP 서버로 파일을 업로드할 수 있습니다. 파일 정규식으로 관심 있는 파일만 필터링할 수도 있습니다.

Google Ads

Google Ads용 플러그인입니다.

Google Ads Multiple Reports

일괄 파이프라인에서 Google Ads 계정의 모든 Google Ads 보고서를 읽습니다.

Google Ads Single Report

일괄 파이프라인에서 Google Ads 계정의 지정된 보고서 유형을 읽습니다.

Google Search Console

일괄 파이프라인의 Google Search Console에서 읽습니다.

Google 애널리틱스 360

Google 애널리틱스 360용 플러그인입니다.

Google Analytics Batch

일괄 파이프라인의 Google 애널리틱스 360에서 읽습니다.

Google Analytics Streaming

스트리밍 파이프라인의 Google 애널리틱스 360에서 읽습니다.

Google Workspace

Google Sheets 및 Google Drive를 포함한 Google Workspace용 플러그인입니다.

Google Drive API를 통해 지정된 Google Drive 디렉터리에서 파일을 읽습니다.

싱크 플러그인은 Google Drive API를 통해 파이프라인의 파일을 Google Drive 디렉터리에 저장합니다.

지정된 Google Drive 디렉터리에서 스프레드시트를 읽습니다.

지정된 Google Drive 디렉터리에 스프레드시트를 씁니다.

Hadoop

Hadoop용 플러그인입니다.

row key에 필드 매핑이 1회, column qualifiers에 매핑되는 다른 모든 레코드 필드가 있는 HBase 테이블에 레코드를 씁니다.

HBase 테이블의 column family에서 읽는 일괄 소스입니다.

Hive Bulk Export

Hive Export는 선택된 쿼리를 입력으로 받아 Hive 테이블에서 해당 쿼리를 실행하고 지정된 위치에 결과를 저장합니다.

Hive Bulk Import

Hive Load 문을 사용하여 디렉터리/파일의 데이터를 Hive 테이블로 가져옵니다.

XML Reader 플러그인은 사용자가 HDFS에 저장된 XML 파일을 읽을 수 있게 하는 소스 플러그인입니다.

HDFS

HDFS용 플러그인입니다.

XML Reader

Vertica Bulk Export Action

HP

HP용 플러그인입니다.

Vertica 테이블의 데이터를 파일로 일괄적으로 내보냅니다.

Vertica Bulk Import Action

Vertica Bulk Import Action 플러그인은 지정된 디렉터리의 모든 파일을 읽고 콘텐츠를 Vertica 테이블로 일괄 가져옵니다.

HTTP

HTTP용 플러그인입니다.

Argument Setter

HTTP 요청을 수행하여 파이프라인에 설정할 인수를 가져옵니다.

IBM

IBM용 플러그인입니다.

구성 가능한 SQL 쿼리를 사용하여 DB2에서 읽습니다. 쿼리에서 반환한 각 행에 하나의 레코드를 출력합니다.

파이프라인 실행 종료 시 DB2 쿼리를 실행합니다. 성공이나 실패 시에만 실행되거나 실행 종료 시 항상 실행되도록 구성할 수 있습니다.

DB2 Execute

DB2 명령어를 실행하는 작업입니다.

IBM DB2

DB2 테이블에 레코드를 씁니다. 각 레코드는 테이블의 행에 작성됩니다.

Netezza 테이블에 레코드를 씁니다. 각 레코드는 테이블의 행에 작성됩니다.

구성 가능한 SQL 쿼리를 사용하여 Netezza에서 읽습니다. 쿼리에서 반환한 각 행에 하나의 레코드를 출력합니다.