新しいコネクタや機能で拡張する BigQuery Data Transfer Service

※この投稿は米国時間 2025 年 11 月 21 日に、Google Cloud blog に投稿されたものの抄訳です。

BigQuery の目標は、データの量や出所にかかわらず、データから貴重な分析情報を抽出できるようにすることです。これを実現するうえで重要な役割を担うのが BigQuery Data Transfer Service です。このサービスは、さまざまなソースから BigQuery へのデータ読み込みを自動化し、効率化します。

フルマネージド サービスである BigQuery Data Transfer Service には、次のようなメリットがあります。

• シンプル: インフラストラクチャ管理や複雑なコーディングは不要です。UI、API、CLI のいずれからでも、簡単にデータ読み込みを開始できます。

• スケーラビリティ: 毎月何万ものお客様が使用する Data Transfer Service は、大量のデータや多数の同時ユーザーを容易に処理でき、負荷の高いデータ転送ジョブにも対応します。

• セキュリティ: データの安全性は非常に重要です。Data Transfer Service では、暗号化、認証、認可などの堅牢なセキュリティ対策が採用されています。以下のように、使いやすさを損なうことなく、規制対象のワークロードをサポートする機能も大幅に拡張されています。

• 費用対効果: Google 広告や YouTube など、多くのファーストパーティ コネクタが無料で提供されています。また、サードパーティ コネクタの数も増え続ける中、Google では価格競争力の高い使用量ベースの料金を提供しているため、費用対効果の高い方法でデータを統合できます。

さらに、お客様からのフィードバックを基に、BigQuery Data Transfer Service コネクタのエコシステムを拡張しました。あわせて、セキュリティとコンプライアンスを強化するとともに、全体的なユーザー エクスペリエンスも向上させています。最新のアップデートを詳しく見ていきましょう。

主な機能のアップデート

データ接続の拡張

このたび、ご要望の多かったコネクタの一般提供が開始されました。

• Oracle: 主要な運用データベースを BigQuery と統合し、分析とレポート作成を強化します。

• Salesforce および ServiceNow: 統合された顧客プロファイルを作成し、IT サービス管理データを活用して、運用に関する分析情報を取得します。

• Salesforce Marketing Cloud（SFMC）および Facebook 広告: マーケティングと分析のデータを BigQuery に取り込み、包括的な分析とキャンペーンの最適化を実現します。

• Google アナリティクス 4（GA4）: マーケティング分析における大きなマイルストーンです。GA4 データを使用して、本番環境のマーケティング分析パイプラインを構築できるようになりました。

これらの新しいコネクタは、Amazon S3、Amazon Redshift、Azure Blob Storage、キャンペーン マネージャー、Cloud Storage、ショッピング比較サービス（CSS）センター、ディスプレイ＆ビデオ 360、Google アド マネージャー、Google 広告、Google Merchant Center、Google Play、MySQL、PostgreSQL、検索広告 360、Teradata、YouTube チャンネル、YouTube コンテンツ所有者など、急速に増え続ける既存のコネクタのリストに追加されます。

プレビュー版の新しいコネクタ

また、エコシステムをさらに拡張する新しいコネクタのプレビュー版もリリースします。

• Stripe および PayPal: 財務データやトランザクション データを BigQuery に取り込み、収益分析、払い戻しの追跡、顧客行動の分析情報に活用します。

• Snowflake（移行用コネクタ）: 鍵ペア認証、スキーマの自動検出、3 つの主要クラウド（Google Cloud、AWS、Azure）に保存されているデータの移行サポートなどの機能を使用して、Snowflake からデータを移行します。

• Hive マネージド テーブル（移行用コネクタ）: このコネクタは、オンプレミスおよび自己ホスト型クラウドの Hadoop 環境から Google Cloud へ、Hive および Iceberg のメタデータとテーブルの移行をサポートします。これにより、Hive テーブルと Iceberg テーブルの 1 回限りの移行や増分アップデートの同期を実行できます。Iceberg テーブルは BigLake Metastore に登録され、Hive テーブルおよび Iceberg テーブルは Dataproc Metastore に登録されます。

既存のコネクタとプラットフォーム機能の強化

• Google Cloud Storage: イベント ドリブン転送の GA が開始されました。新しいファイルが Cloud Storage バケットに到着すると、データ転送が自動的にトリガーされるため、準リアルタイムのデータ パイプラインを実現できます。

• Salesforce: CRM ユーザーは、プレビュー版で利用可能になった増分取り込みにより、効率を向上できます。Data Transfer Service は、新規または変更されたレコードのみをインテリジェントに読み込むため、時間とコンピューティング リソースを節約できます。

• 検索広告 360: 最近更新された検索広告 360 コネクタで、P-MAX キャンペーンが完全にサポートされるようになりました。Google の最新のキャンペーン タイプからデータを分析できます。

• Google アド マネージャー: DT ファイルの増分アップデートを展開することで、Google アド マネージャー コネクタのデータ鮮度を向上させました。Google アド マネージャーは、Google アド マネージャー DT ファイルを Cloud Storage バケットに追加します。転送の実行では、すでに転送されているファイルを再読み込みするのではなく、Cloud Storage バケットから BigQuery テーブルに新しい Google アド マネージャー DT ファイルを増分読み込みします。

• Google 広告: Google 広告のカスタム レポートの GA が開始されました。これにより、転送構成で Google 広告クエリ言語（GAQL）によるクエリを使用して、標準レポートや既存のフィールドでは利用できないカスタム Google 広告レポートおよびフィールドを取り込むことができます。

• Oracle: Oracle コネクタを大幅に強化し、数百万件のレコードを含むテーブルを取り込めるようになりました。これにより、大規模かつ重要なデータセットも BigQuery に転送できます。

セキュリティとコンプライアンスの強化

Google は、お客様の厳格なセキュリティとコンプライアンスのニーズに応えるため、インフラストラクチャへの投資を強化しています。

• アクセスの透明性: BigQuery と連携し、Data Transfer Service の管理者権限の制御範囲を、お客様が特定できるメタデータにまで拡張しました。管理者権限の制御（アクセスの透明性、アクセス承認、担当者管理）は、Google の担当者がユーザー コンテンツにアクセスした日時、理由、方法をリアルタイムで通知する Cloud サービスの機能です。この新機能は、顧客が定義した属性の読み取りや、顧客またはそのワークロードを識別できるあらゆるカスタマー サービス構成に対して、アクセスの透明性管理を適用します。

• EU のデータ境界: EU のデータ境界と主権管理コンプライアンス プログラムに対応した Data Transfer Service の GA が発表されました。これには、アクセス正当化によるデータ境界の管理や、パートナーによる主権管理を備えた EU リージョンのサポートが含まれます。これにより、お客様は規制対象の市場においても、Google Cloud 上でワークロードを拡張できます。

• FedRAMP High: Data Transfer Service を FedRAMP High コンプライアンス レジームでリリースするために必要なセキュリティ管理を実装しました。これにより、米国政府機関、民間機関、請負業者は、Google Cloud 上で FedRAMP High 規制対象のワークロードの導入を拡張できるようになります。

• CJIS コンプライアンス: 刑事司法情報サービス（CJIS）のコンプライアンスに対応した BigQuery Data Transfer Service をリリースしました。Data Transfer Service が CJIS セキュリティ ポリシーのセキュリティ基準を満たしたことで、米国の州、地方、部族の法執行機関および刑事司法機関は、Google のサービスを使用して機密情報を処理できるようになりました。

• カスタムの組織のポリシー: カスタムの組織ポリシーの GA が発表されました。これにより、Data Transfer Service 転送構成に対する特定のオペレーションを許可または拒否することで、組織のコンプライアンスおよびセキュリティの要件を満たすことができます。

• リージョン エンドポイント: Data Transfer Service API のリージョン エンドポイントが利用可能になりました。リージョン エンドポイントは、指定したロケーションにリソースが存在する場合にのみリクエストを処理するエンドポイントです。これにより、ワークロードは保存データと転送データを指定したロケーション内に保持し、データ所在地とデータ主権の要件を遵守できます。

• 鍵トラッキング: 鍵の使用状況トラッキングにより、各 Cloud KMS 鍵で保護されているストレージ リソースを確認できるようになりました。詳細については、鍵の使用状況を表示するをご覧ください。

• プロアクティブな脅威の軽減: Google は最近、BigQuery Data Transfer Service 全体を対象に、詳細かつプロアクティブな脅威モデリング演習を完了しました。この詳しいレビューにより、優先度の高いセキュリティ リスクを特定して軽減するとともに、潜在的な脅威に対するプラットフォームの堅牢性をさらに強化しました。

直感的で統合されたユーザー エクスペリエンス

Google は、シンプルかつ直感的なデータの取り込みを実現するため、BigQuery のユーザー エクスペリエンスに多大な投資を行ってきました。

BigQuery UI の「データを追加」エクスペリエンスは、データ読み込みプロセスをガイドする単一の簡素化されたエントリ ポイントを提供します。経験豊富なデータ エンジニアでも、新任のアナリストでも、このウィザード形式のワークフローにより、あらゆるソースからの転送を簡単に検出して構成できます。これにより、当て推量がなくなり、迅速に分析情報が得られます。

最後に、設定プロセスをさらに合理化するため、新しい BigQuery プロジェクトでは、BigQuery Data Transfer Service API がデフォルトで有効になりました。これにより手動の設定作業が不要となり、BigQuery 利用開始直後からデータ転送機能をすぐに利用できます。

使用量ベースの新しい料金モデル

サードパーティ コネクタがプレビュー版から GA 版へ移行するのに伴い、Google は、プロダクション レディな完全サポート サービスとしての位置づけを反映した新しい料金モデルを導入しました。

この新しい使用量ベースのモデルは、サードパーティの SaaS およびデータベース コネクタ（Salesforce、Facebook 広告、Oracle、MySQL など）を対象としており、特定のコネクタが一般提供された時点で適用されます。

モデルの詳細:

• プレビュー期間中は無料: プレビュー期間中は、すべてのコネクタを無料でご利用いただけます。これにより、金銭的コミットメントなしで、新しい統合をテスト、実験、検証できます。

• 競争力のある価格設定: 競争力の高い料金体系により、重要なソースから効率的にデータを取り込めます。

• 使用量ベース: 料金はデータ転送で消費されたコンピューティング リソースに応じて決まります。使用量はスロット時間で測定されます。

この変更により、Google は、堅牢でスケーラブルなデータ転送プラットフォームの構築に引き続き投資できます。詳細については、BigQuery の料金ページをご覧ください。

今後の対応

取り組みの継続Google は、データ パイプラインを合理化し、新たなレベルの分析情報を引き出す機能の構築に取り組んでいます。プレビュー版の幅広いコネクタのリストが示すように、Google は移行、マーケティング分析、オペレーショナル データベース、エンタープライズ アプリケーションの分野で引き続き迅速なイノベーションを推進します。

BigQuery Data Transfer Service の力を体感してください。データ読み込みプロセスを簡素化し、より短時間で分析情報を取得できます。BigQuery Data Transfer Service の今後のプロダクト発表のお知らせや最新情報をご希望の方は、メールグループ（https://groups.google.com/g/bigquery-dts-announcements）にご登録ください。

また、公開バグトラッカーを通じてフィードバックを共有し、機能リクエストを提出していただくこともできます。具体的には、BigQuery に関する新しい不具合や問題をご報告ください。

-Google、シニア プロダクト マネージャー、Piotr Wieczorek
-Google、エンジニアリング マネージャー、Artur Pop