이 페이지에서는 Dataflow와 관련된 공개 기사, 동영상, 팟캐스트의 링크를 제공합니다.
공지
공지 및 업데이트에 대한 자세한 내용은 다음 리소스를 참조하세요.
- Dataflow 뉴스: Google Cloud 블로그
- Dataflow 업데이트: Dataflow 출시 노트
- Apache Beam 업데이트: Apache Beam SDK 출시 노트
Dataflow 생태계
- 데이터 분석의 중추인 Dataflow
- Dataflow 심층 탐구: 탄생 스토리 1부, 2부, 3부
- Apache Beam 오픈소스 문서를 참조하여 통합 모델 개발, 파이프라인 정의, Dataflow 또는 Apache Beam 지원 분산 백엔드 중 하나에서 파이프라인 실행 방법을 자세히 알아보세요.
고객 사례
공개 자료
- Dataflow 스토리 컬렉션 - 매체 간행물
- Dataflow, 2021년 스트리밍 분석 부분에서 선두 제품으로 선정 - Forrester Wave
- 실제 시청자에 관한 피드백을 실시간으로 제공하는 도구 빌드 - ITV
- Dataflow 파이프라인 모니터링 - 매체 간행물
- 확장성이 우수하고 지연 시간이 짧은 데이터 처리를 위한 실행 모델 - 매체 간행물
- GPU를 사용하여 Dataflow에서 머신러닝 모델 추론 가속화 - Nvidia
- 대규모 데이터 세트로 컴퓨팅 수행 - Pandora
- Wrapped 2020을 위한 최대 규모의 Dataflow 작업 최적화 - Spotify
- Dataflow를 사용하여 실시간으로 수십억 개의 이벤트 처리 - Twitter
- 스마트 홈 데이터 파이프라인의 Dataflow - Nest
- BigQuery JSON 유형 열로 JSON 메시지 스트리밍 - Medium
우수사례
- AXA Switzerland: Google Cloud 분석 솔루션을 사용하여 내부 프로세스 강화 및 서비스 개발
- Bayer Crop: BigQuery 및 Dataflow에서 지리정보 분석으로 토양 상태 및 작물 관리 개선
- Dow Jones: 30년 이상의 뉴스 콘텐츠에 기록된 주요 사건에 관한 지식 그래프 구축
- HSBC: 클라우드를 도입하여 신속한 통계 및 분석 기능으로 위험 노출 감소
- Nintendo: Dataflow 및 Pub/Sub를 사용하여 BigQuery에서 게임 사용량 로그 수집 및 분석
- Quantiphi: 서버리스 실시간 신용카드 사기 감지 솔루션 빌드
- SoFi Stadium: 모든 사용자를 위해 경기일 환경을 맞춤설정하는 팬 지원 개인 컨시어지 앱 빌드
- Spotify: Dataflow에서 스트림 처리 실험
- Subaru Corporation: Google Cloud AI 및 머신러닝을 사용하여 개발 가속화
- Telus: 데이터 과학으로 현대화 가속화
- Tokopedia: Google Cloud에 고객 데이터 플랫폼 구축
- Tyson Foods: 서비스로의 수집을 개발하여 데이터 플랫폼 재정립
- Vodafone: Google Cloud를 사용한 안전한 휴대폰 데이터 공유
동영상
기술 안내
소개 동영상
문서
- 데이터 엔지니어링 기반 조직 구축
- 모든 Dataflow 파이프라인에서 템플릿 만들기
- Elastic Cloud용 Dataflow 템플릿
- Dataflow 파이프라인으로 데이터 파이프라인을 대규모로 배포 및 관리
- 3배 높은 성능을 제공하는 BigQuery용 Dataflow 자동 샤딩
- Dataflow 템플릿을 사용하여 Elastic Stack으로 Google Cloud 데이터 내보내기
- UDF로 Dataflow 템플릿 확장
- Dataflow에서 단 한 번에 처리 1부, 2부, 3부
- Dataflow GPU로 데이터 처리 성능 향상
- Dataflow 및 Pub/Sub를 사용하여 스트리밍 파이프라인의 중복 데이터 처리
- Google 태그 관리자 데이터의 클릭스트림 처리를 통한 Apache Beam 패턴 알아보기
- Apache Beam 및 Dataflow Runner의 머신러닝 패턴
- BigQuery Storage Write API를 사용해 데이터를 BigQuery로 스트리밍하기
- Dataflow Prime으로 데이터 처리 간소화 및 자동화
- Dataflow가 고객에게 ROI를 제공하는 3가지 방법
- 사기 방지를 위한 실시간 이상 감지 참조 패턴 활용
- 대규모 ML 추론 패턴에 Dataflow와 TFX 추론 사용
- Dataflow 배포에 Flex 템플릿을 사용해야 하는 이유
- 확장성을 염두에 둔 Dataflow 파이프라인 작성
- 일반적인 Dataflow 사용 사례 패턴 가이드: 1부, 2부
데이터 및 분석 동영상
문제 해결 및 모니터링
동영상
문서
팟캐스트
- Google Cloud 팟캐스트 에피소드 81 - 프랜시스 페리와 함께하는 Dataflow
- 소프트웨어 엔지니어링 일일 팟캐스트 - 에릭 앤더슨과 함께하는 Dataflow
- 소프트웨어 엔지니어링 라디오 팟캐스트 에피소드 272: Apache Beam