入門ガイド

BigQuery の操作

• BigQuery サンドボックス

  プロジェクトの請求先アカウントを作成せずに BigQuery を使ってみます。

• Google Cloud コンソールを使用する

  Google Cloud コンソールで BigQuery のグラフィカル インターフェースを利用できます。このインターフェースを使用すると、データの読み込みとエクスポート、クエリの実行などのユーザータスクや管理タスクをブラウザで行えます。

• bq コマンドライン ツールの使用

  bq コマンドライン ツールは、コマンドラインから BigQuery にアクセスするための Python ベースのツールです。

使ってみる

Google Cloud を初めて使用される方は、アカウントを作成して、実際のシナリオでの BigQuery のパフォーマンスを評価してください。新規のお客様には、ワークロードの実行、テスト、デプロイができる無料クレジット $300 分を差し上げます。

BigQuery の無料トライアル

ジョブの実行と管理

• ジョブの概要

  BigQuery ジョブの概要です。

• プログラムでのジョブの実行

  API とクライアント ライブラリを使用して、プログラムで BigQuery ジョブを実行します。

• ジョブの管理

  ジョブの一覧表示、ジョブのキャンセル、ジョブの再実行など、BigQuery ジョブを管理します。

データセットの操作

• データセットの概要

  BigQuery データセットの概要です。

• データセットのロケーション

  BigQuery データを保存するロケーションの概要です。

• データセットの作成

  BigQuery でデータセットを作成する方法です。

• データセットのコピー

  リージョン間でのデータセットのコピーを含む、データセットのコピー方法です。

• データセットへのアクセスの制御

  BigQuery でデータセットへのアクセスを制御する方法です。

• データセットの一覧表示

  BigQuery プロジェクトのデータセットを一覧表示する方法です。

• データセットに関する情報の取得

  データセット情報またはメタデータを取得する方法です。

• データセットの更新

  データセット プロパティを更新する方法（説明、デフォルトの有効期限、アクセス制御の更新など）です。

• データセットの管理

  データセットの名前の変更、データセットの削除、データセットのコピーなど、データセットを管理します。

テーブル スキーマの操作

• スキーマの指定

  テーブル スキーマを作成および使用する方法です。

• ネストされた列と繰り返し列の指定

  テーブル スキーマで、ネストされた列と繰り返し列を指定する方法です。

• スキーマの自動検出

  データの読み込み、外部データに対するクエリの実行に、スキーマの自動検出を使用します。

• テーブル スキーマの変更

  列の追加、列の名前の変更、列の削除、および列名、データ型、モードの変更など、テーブル スキーマ定義を変更します。

テーブルの操作

• テーブルの概要

  BigQuery テーブルの概要です。

• テーブルの作成と使用

  テーブルの一覧表示、テーブルに関する情報の取得、テーブルデータへのアクセス権の制御など、テーブルおよび作成と使用します。

• テーブルの管理

  テーブルのプロパティの更新、テーブルの名前の変更、テーブルの削除、テーブルのコピーなど、テーブルを管理します。

• テーブルデータの管理

  テーブルデータ操作の概要（テーブルに対するクエリ、テーブルデータの参照、テーブルデータの変更、データのエクスポート、データの追加や上書きなど）です。

• テーブルデータのエクスポート

  テーブルデータを Cloud Storage にエクスポートする方法です。

• データ操作言語（DML）の使用

  GoogleSQL のデータ操作言語（DML）を使用してテーブルデータを一括変更します。

パーティション分割テーブルの操作

• パーティション分割テーブルの概要

  BigQuery でのパーティション分割テーブルの概要。

• パーティション分割テーブルの作成

  時間単位の列パーティション分割テーブル、取り込み時間パーティション分割テーブル、整数範囲パーティション分割テーブルなどのパーティション分割テーブルの作成方法です。

• パーティション分割テーブルの管理

  パーティション分割テーブルの管理方法（プロパティの更新、パーティションのコピー、パーティションの削除など）。

• パーティション分割テーブルデータの管理

  パーティション分割テーブルデータの管理方法（データの参照、データの変更、データのエクスポート、データの追加や上書きなど）です。

• パーティション分割テーブルのクエリ

  パーティション分割テーブルをクエリする方法です。

• DML ステートメントを使用したパーティション分割テーブルデータの更新

  DML ステートメントを使用して、パーティション分割テーブルのデータを挿入、削除、または更新する方法です。

クラスタ化テーブルの操作

• クラスタ化テーブルの概要

  BigQuery でのクラスタ化テーブルの概要です。

• クラスタ化テーブルの作成と使用

  クラスタ化テーブルを作成および使用する方法（クラスタ化テーブルの一覧表示、情報の取得など）です。

• クラスタ化テーブルのクエリ

  クラスタ化テーブルをクエリする方法。

テーブル スナップショットの操作

• テーブル スナップショットの概要

  BigQuery のテーブル スナップショットの概要。

• テーブル スナップショットを作成する

  BigQuery テーブルのスナップショットを作成する方法。

• テーブル スナップショットを復元する

  テーブル スナップショットから BigQuery テーブルを復元する方法。

• データセット内のテーブル スナップショットを一覧表示する

  BigQuery データセット内のテーブル スナップショットを一覧表示する方法。

• テーブル スナップショットに関する情報を取得する

  BigQuery テーブル スナップショットのメタデータの表示方法。

• テーブル スナップショットのメタデータを更新する

  BigQuery テーブル スナップショットの説明、有効期限、アクセス ポリシーを更新する方法。

• テーブル スナップショットをコピーする

  BigQuery テーブル スナップショットをコピーする方法。

• テーブル スナップショットを削除する

  BigQuery テーブル スナップショットを削除する方法。

• スケジュールされたクエリを使用してテーブル スナップショットを作成する

  BigQuery テーブルのスナップショットを毎月作成する方法。

ビューの操作

• ビューの概要

  BigQuery ビューの概要です。

• ビューを作成する

  ビューの作成方法です。

• 承認済みビューを作成する

  基になるテーブルに対するアクセス権を付与せずに、クエリ結果をユーザーまたはグループと共有できるビューを作成する方法です。

• ビューに関する情報の取得

  ビュー情報、メタデータを取得する方法です。

• ビューの管理

  ビューのコピー、ビューの名前の変更、ビューの削除など、ビューを管理します。

実体化されたビューの操作

• 実体化されたビューの概要

  BigQuery のマテリアライズド ビューの概要です。

• マテリアライズド ビューの作成

  マテリアライズド ビューを作成します。

• マテリアライズド ビューを使用する

  パーティションのアライメントやスマートなチューニングについての詳細を含め、マテリアライズド ビューをクエリします。

• マテリアライズド ビューを管理する

  マテリアライズド ビューを変更、削除、更新、モニタリングします。

セッションの操作

• セッションの概要

  BigQuery のセッションの概要。

• セッションを作成する

  SQL アクティビティのグループをキャプチャするセッションを作成する方法。

• セッションでクエリを実行する

  BigQuery セッションでクエリを実行する方法。

• セッションでクエリを記述する

  BigQuery セッションでクエリを記述する方法。

• セッションを終了する

  BigQuery セッションを終了する方法。

• セッションでクエリ履歴を表示する

  BigQuery セッションの履歴を表示する方法。

• セッションを検索する

  BigQuery でセッション ID を取得する方法。

ワークロード管理に Reservations を使用する

• はじめに

  BigQuery の予約の概要です。

• コンセプト

  Reservations（予約）に関連するコンセプトです。

• ワークロード管理

  ワークロード管理に予約を使用します。

• モニタリング

  予約の利用状況や請求内容のモニタリング方法です。

INFORMATION_SCHEMA を使用したメタデータの取得

• はじめに

  INFORMATION_SCHEMA の概要です。

BigQuery リソースへのラベル付け

• ラベルの概要

  BigQuery でのリソースのラベル付けの概要です。

• ラベルの追加

  ラベルを追加して、目的別、環境別、部門別などにリソースをグループ化します。

• ラベルの表示

  BigQuery リソースのラベルを表示します。

• ラベルの更新

  BigQuery リソースのラベルを更新します。

• ラベルを使用したリソースのフィルタリング

  ラベルを使用してリソースをフィルタリングします。

• ラベルの削除

  BigQuery リソースのラベルを削除します。

BigQuery へのデータの読み込み

• データの読み込みの概要

  CSV、JSON、Avro、Parquet、ORC、Datastore バックアップなど、さまざまなソース形式から BigQuery にデータを読み込みます。

• Cloud Storage からのデータの読み込み

  Cloud Storage からデータを読み込みます。

• Cloud Storage からの Avro データの読み込み

  Cloud Storage から Arvo データを読み込む方法です。

• Cloud Storage からの Parquet データの読み込み

  Cloud Storage から Parquet データを読み込む方法です。

• Cloud Storage からの ORC データの読み込み

  Cloud Storage から ORC データを読み込む方法です。

• Cloud Storage からの CSV データの読み込み

  Cloud Storage から CSV データを読み込む方法です。

• Cloud Storage からの JSON データの読み込み

  Cloud Storage から改行区切りの JSON データを読み込む方法です。

• Cloud Storage からの Datastore エクスポートの読み込み

  Datastore エクスポートからデータを読み込む方法です。

• Cloud Storage からの Firestore エクスポートの読み込み

  Firestrore エクスポートからデータを読み込む方法です。

• データをローカル データソースから読み込む

  データをローカル データソースから読み込む方法です。

• BigQuery へのデータのストリーミング

  BigQuery API を使用してデータを BigQuery にストリーミングします。

BigQuery データのクエリ

• データのクエリの概要

  BigQuery でクエリを実行する方法の概要です。

• インタラクティブ クエリとバッチクエリの実行

  インタラクティブ クエリとバッチクエリの実行方法です。

• クエリのドライランの実行

  クエリジョブのドライランを実行して処理されたデータ量を見積もる方法です。

• クエリ結果の書き込み

  クエリの結果を書き込み、ページ分割します。

• キャッシュに保存された結果の使用

  キャッシュに保存されたクエリ結果の使用法です。

• パラメータ化されたクエリの実行

  パラメータ化されたクエリの使用法です。

• ワイルドカード テーブルによるデータのクエリ

  ワイルドカード テーブルを使用した簡潔なクエリによって複数のテーブルを検索します。

• 保存したクエリの操作

  保存したクエリの作成、表示、共有、更新、削除を行います。

• クエリのスケジューリング

  BigQuery で、繰り返し実行するクエリをスケジューリングします。

• クエリプランの説明の使用

  BigQuery は、完了したクエリの実行プランに関する診断情報を提供します。

• Excel 用の BigQuery コネクタの使用

  BigQuery には、Excel から BigQuery データに対するクエリを実行できるコネクタがあります。

外部データソースに対するクエリの実行

• 外部データソースの概要

  Cloud Storage、Cloud Bigtable、Google ドライブなどの外部データソースのデータに対してクエリを直接実行します。

• テーブル定義ファイルの作成

  外部データソース用のテーブル定義ファイルを作成します。

• Cloud SQL データを使用した連携クエリ

  連携クエリを使用して、BigQuery と Cloud SQL 内のデータをクエリします。

• Cloud Bigtable データのクエリ

  BigQuery を使用して、Cloud Bigtable に保存されているデータをクエリします。

• Cloud Storage データのクエリ

  BigQuery を使用して、Cloud Storage に保存されているデータをクエリします。

• Google ドライブデータのクエリ

  BigQuery を使用して、Google ドライブに保存されているデータをクエリします。

BigQuery 費用の管理

• BigQuery 費用の管理の概要

  BigQuery 費用の管理方法の概要です。

• ストレージとクエリの費用の見積もり

  データの読み込みやクエリを実行する前に、ストレージとクエリの費用を見積もる方法です。

• カスタムの費用管理

  クエリ処理にカスタム割り当てを設定することによって、費用を管理します。

• 費用管理のベスト プラクティス

  BigQuery の費用管理のベスト プラクティスです。

BigQuery リソースの保護

• IAM によるアクセス制御

  BigQuery の IAM 事前定義ロールと権限に関する情報です。

• 列レベルのセキュリティの概要（ベータ版）

  BigQuery の列レベルのセキュリティについて学習します。

• 列レベルのセキュリティによるアクセス制限（ベータ版）

  BigQuery 列レベルのセキュリティでアクセスを制限する方法です。

• 保存時の暗号化

  保存されているデータを BigQuery が暗号化する方法を学びます。

• 機密データ保護を使用した BigQuery データのスキャン

  機密データ保護を使用して、BigQuery の機密性の高いデータを識別して保護します。

• Cloud KMS 鍵によるデータの保護

  BigQuery に対して顧客管理の暗号鍵（CMEK）を使用します。

モニタリングとロギング

• Cloud Monitoring を使用した BigQuery のモニタリング

  Cloud Monitoring を使用して、BigQuery リソースをモニタリングします。

• ポリシータグの監査

  ポリシータグに関連するアクティビティを監査します。

• 監査ロギング リファレンス

  監査ログを使用して BigQuery の使用状況をロギングします。

BigQuery API の基本

• 認証の概要

  さまざまなアプリケーションの想定事例で認証を行います。

• 認証のスタートガイド

  アプリケーションのデフォルト認証情報から説明します。

• サービス アカウント キーファイルを使用した認証

  サービス アカウントの認証情報を手動で作成および取得します。

• インストール済みアプリケーションのユーザー アカウントを使用した認証

  ユーザー アカウントを使用してアプリケーション認証を行います。

• API リクエストの承認

  アクセス トークンを使用して API リクエストを認証します。

• バッチ リクエスト

  複数の API 呼び出しを一括して実行することで、クライアントからの HTTP 接続の数を減らすことができます。

• クエリ結果のページ分割

  BigQuery API を使用してクエリ結果をページ分割します。

• API のパフォーマンスに関するヒント

  アプリケーションのパフォーマンスを改善する手法です。

ベスト プラクティス

• 費用管理

  BigQuery の費用管理のベスト プラクティスです。

• クエリのパフォーマンスの最適化

  BigQuery のクエリ パフォーマンスの最適化におすすめの方法です。

• ストレージの改善

  BigQuery ストレージの最適化のベスト プラクティスです。