BigQuery Data Transfer Service の新しい機能強化によりデータの読み込みを簡素化
Google Cloud Japan Team
※この投稿は米国時間 2024 年 1 月 11 日に、Google Cloud blog に投稿されたものの抄訳です。
BigQuery を使用すれば、データの規模、サイズ、場所に関係なく、データから簡単に分析情報を得ることができます。BigQuery Data Transfer Service（DTS）は、さまざまなソースから BigQuery にデータを読み込むプロセスを自動化するフルマネージド サービスです。DTS は、Google 広告、ディスプレイ＆ビデオ 360、検索広告 360 などの Google マーケティング プラットフォーム（GMP）のファーストパーティ データソースや、Google Cloud Storage、Amazon S3、Microsoft Azure などのクラウド ストレージ プロバイダを含む、幅広いデータソースをサポートしています。
BigQuery Data Transfer Service には、次のような多くの利点があります。
- 使いやすさ: DTS はフルマネージド サービスであるため、インフラストラクチャの管理やコードの記述について心配する必要がありません。DTS には、UI、API、または CLI 経由でアクセスできます。UI を数回クリックするだけでデータの読み込みを開始できます。
- スケーラビリティ: DTS は大量のデータと多数の同時接続ユーザーに対応できます。現在、Google の大規模なお客様の中には、DTS を使用して 1 日にペタバイト単位のデータを移動しているお客様もいらっしゃいます。
- セキュリティ: DTS は暗号化や認証などのさまざまなセキュリティ機能を使用してデータを保護します。最近では、使いやすさを損なうことなく規制対象のワークロードをサポートする機能が DTS に追加されました。
最近の機能アップデート
お客様からのフィードバックに基づいて、2023 年下半期に多数の重要な機能アップデートをリリースしました。これらのアップデートには、Google のファーストパーティ データソースのサポートの拡大、お客様からのフィードバックを取り入れてユーザー エクスペリエンスを向上させることを目的とした現在のコネクタ ポートフォリオの強化、プラットフォームで規制対象のワークロードをサポートするためのアップデート、その他重要なセキュリティ機能などが含まれます。
こうしたアップデートについて詳しく見ていきましょう。
新しいデータソースのサポート
- ディスプレイ＆ビデオ 360（DV360）- 新しい DTS コネクタ（プレビュー版）を使用すると、キャンペーン構成とレポートデータを BigQuery に取り込んで詳細な分析を行えます。このコネクタは、キャンペーンのパフォーマンスを向上させ、予算を最適化し、より効果的にオーディエンスをターゲティングしたいと考えているお客様にとって有益なものです。
- Azure Blob Storage - Azure Blob Storage および Azure Data Lake Storage 向けの新しい DTS コネクタ（現在、一般提供）の登場により、Google のサポートがすべてのクラウド ストレージ プロバイダをカバーするに至りました。このコネクタにより、お客様はスケジュールに基づいて Azure Blob Storage から BigQuery にデータを自動的に転送できるようになります。
- 検索広告 360（SA360）- 新しい SA360 API をサポートする新しい DTS コネクタ（プレビュー版）をリリースしました。これは、検索広告 360 用の現行（現在非推奨）のコネクタに代わるものです。お客様には新しいコネクタをお試しいただき、（現行のコネクタからの）移行に備えていただくようお願いしております。新しいコネクタは、こちらに記載されているプラットフォームの機能強化を含む、最新の SA360 API を使用して構築されています。
既存のコネクタの強化
- Google 広告: 2023 年に、新しい Google Ads API を組み込んだ Google 広告用の新しいコネクタをリリースしました。また、P-MAX キャンペーンのサポートも追加されました。
Google は最近、Google 広告クエリ言語（GAQL）によるクエリを使用したカスタム レポートの作成を可能にする機能（プレビュー版）を追加してコネクタを強化しました。お客様は、転送を構成する際に既存の GAQL クエリを使用する必要があります。この機能を使用すると、お客様は必要なデータだけを取得すると同時に、Google 広告の標準的な転送ではサポートされていない可能性がある新しいフィールドを取り込むといった最適化されたデータ転送が可能になります。
さらに、大規模企業のお客様向けに、より多くのアカウント（8,000）を備えたクライアント センター（MCC）アカウントのサポートを追加しました。 - YouTube コンテンツ所有者: 27 種類の新しい売上レポートを追加して CMS レポートの対象範囲を拡大し、YouTube コンテンツ所有者のサポートを拡張しました。サポート対象のレポートの詳細はこちらで確認できます。
- Amazon S3: Amazon S3 からの 1 時間ごと（以前は 1 日ごと）の取り込みが可能になり、データの更新速度が向上しました。これは、S3 からのデータの更新速度を向上させたいという、お客様からのご要望が多かった機能です。
セキュリティとガバナンスの強化
データは、信用できる安全な方法でアクセスできる場合にのみ有用なものになります。これは、規制対象のワークロードを実行しているお客様にとって特に重要です。そのため、以下をご利用いただけるようにしました。
- スケジュールされたクエリ、Cloud Storage の転送、Azure Blob Storage の転送向けの顧客管理の暗号鍵（CMEK）サポート
- 追加のデータソース向けのサービス アカウント サポート: キャンペーン マネージャー、Teradata、Google Play、Amazon Redshift、検索広告 360、ディスプレイ＆ビデオ 360。
- スケジュールされたクエリと Cloud Storage の転送向けのデータの所在地とアクセスの透明性の制御。
- YouTube チャンネルの移行を除くすべてのデータソース向けの Workforce Identity 連携サポート。
今後の展望
2024 年もこうしたイノベーションの勢いを緩めることなく、マーケティング分析、オペレーショナル データベース、エンタープライズ アプリケーション向けの新しいコネクタをリリースしてまいります。それと同時に、データの「更新速度」を向上させる機能を備えたコネクタのポートフォリオを進化させ、AI を活用したお客様の変革を支援したいと考えています。
BigQuery へのデータの読み込みを効率化したい方は、今すぐ BigQuery Data Transfer Service をお試しください。
-Google Cloud、プロダクト マネージャー Tarak Parekh
-Google Cloud、ソフトウェア エンジニアリング マネージャー Artur Pop
