Apache Beam SDK에 대한 파이프라인 기본 사항

Apache Beam은 일괄 및 스트리밍 데이터 동시 처리 파이프라인을 정의할 수 있는 오픈소스 통합 모델입니다. Dataflow를 시작하기 전에 Apache Beam 파이프라인을 설계, 생성, 테스트하는 방법을 파악합니다.

Apache Beam 리소스

Apache Beam 웹사이트에서 다음에 관한 문서를 찾을 수 있습니다.

• 파이프라인 설계 방법: 파이프라인 구조 결정 방법, 데이터에 적용할 변환 선택 방법, 입력 및 출력 메소드 결정 방법을 보여줍니다.

• 파이프라인 생성 방법: Beam SDK의 클래스와 필요한 단계를 사용하여 파이프라인을 빌드하는 방식을 설명합니다.

• 파이프라인 테스트 방법: 파이프라인을 테스트하기 위한 권장사항을 제시합니다.