BigQuery Studio を発表 - データから AI へのワークフローを加速するコラボレーション指向の分析ワークスペース
Google Cloud Japan Team
※この投稿は米国時間 2023 年 8 月 31 日に、Google Cloud blog に投稿されたものの抄訳です。
最近の調査によると、データと AI を効果的に活用している組織は、競合他社よりも収益性が高く、さまざまなビジネス指標においてパフォーマンスが向上していることが報告されています。過去 2 年間にデータと分析への投資を増やした組織は 81% にも上ります。しかし、多くの組織が依然としてデータのビジネス価値を最大限に引き出すことに苦慮しており、40% 以上の組織が、分析ツールやデータソースが異なることや、データ品質が低いことを最大の課題として挙げています。
統合された、インテリジェントでオープンな Google Cloud は、セキュアなデータおよび AI クラウドを企業に提供できる独自の立場にあります。さまざまな業界における世界中の何千ものお客様が、データから AI へのワークフローに Dataproc、Dataflow、BigQuery、BigLake、Vertex AI を使用しています。今回発表した BigQuery Studio は、Google Cloud のデータ分析スイートのための統合された共同ワークスペースです。データの取り込みと準備から、分析、探索、可視化、さらには ML トレーニングや推論に至るまで、データから AI へのワークフローを加速します。BigQuery Studio を使用することで、データ技術者は以下のことが可能になります。
SQL、Python、Spark、自然言語を BigQuery 内で直接使用し、特殊なワークフローのために、これらのコードアセットを Vertex AI や他のプロダクトで簡単に活用する
CI / CD、変更履歴、ソース管理などのソフトウェア開発のベスト プラクティスをデータアセットに拡張することで、コラボレーションを向上させる
BigQuery 内でセキュリティ ポリシーを均一に適用し、データのリネージ、プロファイリング、品質を通じて、ガバナンスに関するインサイトを得る
すべてのデータチームに単一のインターフェースを提供
ツールが異なることは、分析の専門家に一貫性のないエクスペリエンスをもたらすこととなり、データ取り込みに複数のコネクタを使用したり、コーディング言語を切り替えたり、システム間でデータアセットを転送したりする必要性が生じます。このことは、組織のデータや AI への投資が価値を生むまでの時間に大きな影響を与えます。
BigQuery Studio は、エンドツーエンドの分析エクスペリエンスを単一の専用プラットフォームで提供することで、こうした課題に対処します。SQL とノートブック インターフェース（現在プレビュー版の Colab Enterprise を採用）を含む統合ワークスペースにより、データ エンジニア、データ アナリスト、データ サイエンティストは、データの取り込み、パイプラインの作成、予測分析などのエンドツーエンドのタスクを、任意のコーディング言語で実行できます。
たとえば、データ サイエンティストなどのアナリティクス ユーザーは、使い慣れた Colab ノートブック環境で Python を使用し、BigQuery 内でペタバイト規模のデータ分析や探索を行えるようになります。また、BigQuery Studio のノートブック環境は、データセットやスキーマのブラウジング、データセットや列のオートコンプリート、データのクエリや変換をサポートしています。さらに、モデルのトレーニングやカスタマイズ、デプロイ、MLOps などの ML ワークフローについては、Vertex AI で同じ Colab Enterprise ノートブックにアクセスできます。
また、BigQuery Studio では、Apache Parquet、Delta Lake、Apache Iceberg のサポートが組み込まれた BigLake を活用することで、Google Cloud、AWS、Azure などの各種クラウド環境で、あらゆる形式の構造化データ、半構造化データ、非構造化データを一括表示できます。
大手コマース プラットフォームの Shopify は、既存の BigQuery 環境を BigQuery Studio で補完することを検討してきました。
「Shopify は、データ サイエンスやデータ エンジニアリングのトレンドの最先端に立ち続けるため、幅広いスキルセットを持つ人材の採用に投資してきました。BigQuery Studio の早期テストで、私たちは、ユーザーごとに異なるツールをシンプルに接続できる Google の能力がとても気に入りました。これは、BigQuery に期待しているスケールを犠牲にすることなくチーム間の摩擦を減らせる良い機会だと考えています。」- Shopify、データ エンジニアリング マネージャー Zac Roberts 氏
生産性とコラボレーションの最大化
BigQuery Studio では、CI / CD、変更履歴、ソース管理などのソフトウェア開発のベストプラクティスを、SQL スクリプト、Python スクリプト、ノートブック、SQL パイプラインなどの分析アセットに拡張できるため、データ技術者間のコラボレーションが向上します。さらに、ユーザーは任意の外部コード リポジトリと安全に接続できるため、コードの同期が失われることはありません。
BigQuery Studio は、人同士のコラボレーションを可能にするだけでなく、コンテキストに即したチャットやコード アシスタンスを可能にする AI を活用したコラボレーターも提供します。BigQuery の Duet AI は、各ユーザーとそのデータのコンテキストを理解し、それらの情報を使用して関数を自動提案したり、SQL や Python のコードブロックを作成したりできます。新しいチャット インターフェースにより、データ技術者が自然言語を使用して特定のタスクを実行する際に、パーソナライズされたリアルタイムのガイダンスが表示されます。これにより、試行錯誤する時間や、大量のドキュメントから必要な情報を探し出す手間が減ります。
統合されたセキュリティとガバナンス
BigQuery Studio は、ユーザーがデータを理解し、品質の問題を特定し、問題を診断できるようにすることで、信頼できるデータから信頼できるインサイトを組織が導き出せるようにします。データ技術者は、データリネージを追跡し、データをプロファイルし、データ品質の制約を適用することで、データの品質、正確性、信頼性を確保できます。今年の後半には、BigQuery Studio で、データセットのサマリーや、より深い分析を導き出すための推奨事項など、パーソナライズされたメタデータ インサイトが表示されるようになる予定です。
また、管理者は BigQuery Studio を使用することで、高度なワークフローのために BigQuery の外部でデータをコピー、移動、共有する必要性を減らし、データアセットにセキュリティ ポリシーを均一に適用できます。BigQuery と Vertex AI 全体で統合された認証情報管理により、きめ細かなセキュリティ ポリシーを適用でき、追加の外部接続やサービス アカウントを管理する必要がありません。たとえば、BigQuery でシンプルな SQL を使用することで、データ アナリストは Vertex AI の基盤モデルを画像、動画、テキスト、言語翻訳に使用できるようになります。このために、データをサードパーティ サービスと共有する必要はなく、BigQuery データを介した感情分析やエンティティ検出などのタスクに使用できます。
BigQuery Studio についてのお客様の声
「当社のデータ分析チームは、データ エンジニアリングとデータ サイエンスの最先端を行くことに絶えず取り組んでいます。BigQuery Studio の最初のトライアルでは、さまざまなツールを単一の合理的なエクスペリエンスに統合する Google の卓越した技術力に特に感銘を受けました。この融合により、摩擦が軽減されただけでなく、チームの効率が大幅に向上しました。これは BigQuery の力の証です。」- Hurb、スタッフ データ エンジニア Vinícius dos Santos Mello 氏
「当社は、BigQuery Studio をいち早く採用しました。摩擦を最小限に抑えられる能力だけでなく、堅牢なデータ保護と一元化を実現できることに感銘を受けました。Pandas DataFrames のサポートが追加されたことで、当社のプロセスはさらに合理化されました。チームの貴重な時間を節約できたことでコラボレーションが活性化し、時代の最先端を走り続けることができます。」- Aritzia、分析エンジニアリング担当シニア ディレクター
「BigQuery の Duet AI によってデータの探索、理解、使用が容易になり、L'Oréal のデータチームの変革は加速しています。Duet AI を使うと、データに素早くクエリを実行し、より的確なビジネスの意思決定を行うために必要な分析情報を取得できます。変革のさらなる推進とビジネス目標の達成のため、Duet AI を引き続き利用していきたいと考えています。」- L’Oréal、データ プラットフォーム アーキテクト Antoine Castex 氏
使ってみる
現在、BigQuery Studio のプレビュー版をご利用いただけます。詳細は、ドキュメントでご確認いただけます。今すぐ登録してお試しください。
- プロダクト マネジメント担当ディレクター Manish Dalwadi
- プロダクト マネージャー Joe Malone
