このページでは、Dataflow に関する一般公開記事、動画、ポッドキャストへのリンクを紹介します。
お知らせ
お知らせと最新情報については、以下のリソースをご覧ください。
- Dataflow のニュース: Google Cloud ブログ
- Dataflow の最新情報: Dataflow リリースノート
- Apache Beam の最新情報: Apache Beam SDK リリースノート
Dataflow エコシステム
- データ分析を支える Dataflow
- Dataflow の仕組み: 誕生秘話: パート 1 パート 2 パート 3
- 統合モデルの開発、パイプラインの定義、Dataflow または Apache Beam でサポートされている分散バックエンドのいずれかでのパイプラインの実行の詳細については、Apache Beam のオープンソース ドキュメントをご覧ください。
事例のご紹介
公開記事
- Dataflow の活用事例 - Medium Publication
- Dataflow が 2021 年のストリーミング分析でリーダーに - Forrester Wave
- リアルタイムの視聴者からのフィードバックをリアルタイムで提供するツールを構築 - ITV
- Dataflow パイプラインのモニタリング - Medium Publication
- スケーラビリティとレイテンシが低いデータ処理の実行モデル - Medium Publication
- Dataflow と GPU による ML モデル推論の高速化 - Nvidia
- 大規模なデータセットに対する計算の実行 - Pandora
- 最大の Dataflow ジョブを Wrapped 2020 用に最適化 - Spotify
- Dataflow を使って何十億ものイベントをリアルタイムで処理 - Twitter
- スマートホーム データ パイプラインでの Dataflow - Nest
- BigQuery の JSON 型の列への JSON メッセージのストリーミング - Medium
事例紹介
- AXA Switzerland: Google Cloud の分析ソリューションを使用して内部プロセスを強化し、サービスを開発
- Bayer Crop: BigQuery と Dataflow を使用した地理空間分析で土壌の健全性と作物管理を改善
- Dow Jones: 30 年を超えるニュース コンテンツで取り上げられた主なイベントのナレッジグラフを構築
- HSBC: クラウドを活用して、迅速な分析情報と分析機能でリスクを低減
- 任天堂: Dataflow と Pub/Sub を使用して、BigQuery でゲームの使用状況ログを収集して分析
- Quantiphi: サーバーレスのクレジット カード不正使用リアルタイム検出ソリューションを構築
- SoFi Stadium: ファンのためのパーソナル コンシェルジュ アプリを構築、ユーザーに合わせて試合日のエクスペリエンスを調整
- Spotify: Dataflow でのストリーム処理のテスト
- Subaru Corporation: Google Cloud AI と ML を使用した開発の迅速化
- Telus: データ サイエンスによるモダナイゼーションの加速化
- Tokopedia: Google Cloud でカスタマー データ プラットフォームを作成
- Tyson Foods: Ingestion as a Service の開発でデータ プラットフォームを再定義
- Vodafone: Google Cloud を使用してスマートフォン データを安全に共有
動画
技術ガイダンス
紹介動画
記事
- データ エンジニアリング ドリブン組織を構築する
- 任意の Dataflow パイプラインからテンプレートを作成する
- Elastic Cloud 向け Dataflow テンプレート
- Dataflow パイプラインを利用したデータ パイプラインの大規模なデプロイと管理
- BigQuery 向けの Dataflow 自動シャーディングでパフォーマンスが 3 倍に
- Dataflow テンプレートを使用した Google Cloud のデータの Elastic Stack へのエクスポート
- UDF による Dataflow テンプレートの拡張
- Dataflow での exactly-once 処理: パート 1、パート 2、パート 3
- Dataflow GPU を使用したデータ処理の強化
- Dataflow と Pub/Sub を使用して、ストリーミング パイプラインの重複データを処理する
- Google タグ マネージャー データのクリックストリーム処理による Apache Beam のパターンを紹介
- Apache Beam と Dataflow ランナーによる ML のパターン
- BigQuery Storage Write API を使用した BigQuery へのデータのストリーミング
- Dataflow Prime によるデータ処理の簡素化と自動化
- Dataflow が ROI を顧客に提供する 3 つの方法
- リアルタイム異常検出のリファレンス パターンを使用して、不正行為に対処
- Dataflow による TFX 推論を大規模な ML 推論パターンに使用する
- Dataflow のデプロイに Flex テンプレートを使用すべき理由
- スケーラビリティを考慮した Dataflow パイプラインの記述
- Dataflow の一般的な使用パターンガイド: パート 1、パート 2
データと分析に関する動画
トラブルシューティングとモニタリング
動画
記事
ポッドキャスト
- Google Cloud Podcast エピソード 81 - Dataflow（Frances Perry）
- Software Engineering Daily ポッドキャスト - Dataflow（Eric Anderson）
- Software Engineering Radio ポッドキャスト エピソード 272: Apache Beam