Google Cloud Next '23의 세션에 참여하여 Dataflow의 최신 혁신에 대해 알아보세요.
바로 이동
Dataflow

Dataflow

빠르고 경제적이며 서버리스 방식인 통합 스트리밍 및 일괄 데이터 처리를 제공합니다.

신규 고객에게는 Dataflow에 사용할 수 있는 $300의 무료 크레딧이 제공됩니다.

  • 데이터 스트리밍 및 머신러닝을 통한 실시간 통계 및 활성화

  • 완전 관리형 데이터 처리 서비스

  • 처리 리소스의 프로비저닝 및 관리 자동화

  • 작업자 리소스가 수평 및 수직으로 자동 확장되어 리소스 사용률 극대화

  • Apache Beam SDK를 통한 OSS 커뮤니티 기반의 혁신

이점

신속한 스트리밍 데이터 분석

Dataflow를 사용하면 데이터 지연 시간을 줄이면서 스트리밍 데이터 파이프라인을 빠르고 간편하게 개발할 수 있습니다.

운영 및 관리 간소화

Dataflow는 서버리스 방식으로 데이터 엔지니어링 워크로드에서 운영 오버헤드를 제거하므로 팀이 서버 클러스터를 관리하는 대신 프로그래밍에 집중할 수 있습니다.

총 소유 비용 절감

Dataflow는 리소스 자동 확장과 비용 최적화된 일괄 처리 기능의 결합으로 무제한에 가까운 용량을 제공하므로 시기에 따라 변동하거나 급증하는 워크로드도 과다한 지출 없이 관리할 수 있습니다.

주요 특징

주요 특징

즉시 사용 가능한 실시간 AI

NVIDIA GPU 및 즉시 사용 가능한 패턴을 포함한 즉시 사용 가능한 ML 기능을 통해 지원되는 Dataflow의 실시간 AI 기능은 인간에 가까운 지능으로 대규모 이벤트에 대해 실시간 대응이 가능합니다.

고객은 예측 분석 및 이상 감지부터 실시간 맞춤설정 및 기타 고급 분석 사용 사례에 이르는 지능형 솔루션을 빌드할 수 있습니다.

일괄 및 스트리밍 파이프라인을 사용한 로컬 및 원격 추론을 포함한 전체 머신러닝(ML) 파이프라인을 학습, 배포, 관리합니다. 

리소스 자동 확장 및 동적 작업 재균등화

데이터 인식 리소스 자동 확장을 통해 파이프라인 지연 시간을 최소화하고 리소스 사용률을 극대화하며 데이터 레코드당 처리 비용을 줄입니다. 데이터 입력은 작업자 리소스 사용률을 균등화하기 위해 자동으로 파티션이 나누어지며 지속적으로 다시 분산되고, '핫 키'가 파이프라인 성능에 미치는 영향을 줄입니다.

모니터링 및 관측 가능성

Dataflow 파이프라인의 각 단계에서 데이터를 관찰합니다. 실제 데이터 샘플을 사용하여 문제를 진단하고 효과적으로 문제를 해결합니다. 문제를 쉽게 식별할 수 있도록 여러 작업 실행을 비교합니다.

모든 특징 보기

문서