JOBS_BY_ORGANIZATION ビュー

INFORMATION_SCHEMA.JOBS_BY_ORGANIZATION ビューは、現在のプロジェクトに関連付けられている組織で送信されたすべてのジョブに関するニア リアルタイムのメタデータを含みます。

必要なロール

INFORMATION_SCHEMA.JOBS_BY_ORGANIZATION ビューをクエリするために必要な権限を取得するには、お客様の組織における BigQuery リソース閲覧者（roles/bigquery.resourceViewer）IAM ロールの付与を管理者に依頼してください。 ロールの付与については、プロジェクト、フォルダ、組織へのアクセス権の管理をご覧ください。

この事前定義ロールには、INFORMATION_SCHEMA.JOBS_BY_ORGANIZATION ビューに対するクエリの実行に必要な bigquery.jobs.listAll 権限が含まれています。

カスタムロールや他の事前定義ロールを使用して、この権限を取得することもできます。

スキーマ テーブルは、Google Cloud 組織が定義されているユーザーのみが使用できます。

BigQuery の権限の詳細については、IAM でのアクセス制御をご覧ください。

スキーマ

基になるデータは creation_time 列で分割され、project_id と user_email でクラスタ化されます。query_info 列には、クエリジョブに関する追加情報が含まれます。

INFORMATION_SCHEMA.JOBS_BY_ORGANIZATION ビューのスキーマは次のとおりです。

列名	データの種類	値
bi_engine_statistics	RECORD	プロジェクトが BI Engine SQL インターフェースを使用するように構成されている場合、このフィールドには BiEngineStatistics が含まれます。それ以外の場合は NULL になります。
cache_hit	BOOLEAN	このジョブのクエリ結果がキャッシュから取得されたかどうか。マルチクエリ ステートメント ジョブがある場合、親クエリの cache_hit は NULL です。
creation_time	TIMESTAMP	（パーティショニング列）このジョブの作成時間。パーティショニングは、このタイムスタンプの UTC 時間に基づきます。
destination_table	RECORD	結果の宛先テーブル（ある場合）。
end_time	TIMESTAMP	このジョブの終了時間（エポックからのミリ秒）。このフィールドは、ジョブが DONE 状態になった時刻を表します。
error_result	RECORD	ErrorProto オブジェクトとしてのエラーの詳細。
job_creation_reason.code	STRING	ジョブが作成された大まかな理由を指定します。 指定できる値は次のとおりです。 REQUESTED: ジョブの作成がリクエストされました。 LONG_RUNNING: QueryRequest の timeoutMs フィールドで指定されたシステム定義のタイムアウトを超えてクエリ リクエストが実行されました。その結果、ジョブが作成された長時間実行オペレーションと見なされました。 LARGE_RESULTS: クエリの結果がインライン レスポンスに収まりません。 OTHER: クエリをジョブとして実行する必要があることがシステムによって判断されました。
job_id	STRING	ジョブが作成された場合のジョブの ID。ジョブの ID でない場合は、短いクエリモードを使用したクエリのクエリ ID。例: bquxjob_1234
job_stages	RECORD	ジョブのクエリステージ。 注: 行レベルのアクセス ポリシーが適用されたテーブルから読み取るクエリでは、この列の値が空になります。詳細については、BigQuery での行レベルのセキュリティに関するベスト プラクティスをご覧ください。
job_type	STRING	ジョブのタイプ。QUERY、LOAD、EXTRACT、COPY、または NULL のいずれかです。NULL の値は、スクリプト ジョブ ステートメントの評価やマテリアライズド ビューの更新などの内部ジョブを示します。
labels	RECORD	Key-Value ペアとしてジョブに適用されるラベルの配列。
parent_job_id	STRING	親ジョブの ID（存在する場合）。
priority	STRING	このジョブの優先度。有効な値として、INTERACTIVE、BATCH があります。
project_id	STRING	（クラスタリング列）プロジェクトの ID。
project_number	INTEGER	プロジェクトの数。
query	STRING	SQL クエリテキスト。JOBS_BY_PROJECT ビューにのみクエリ列があります。
referenced_tables	RECORD	ジョブによって参照されるテーブルの配列。キャッシュヒットではないクエリジョブに対してのみデータが入力されます。
reservation_id	STRING	このジョブに割り当てられたプライマリ予約の名前（形式: RESERVATION_ADMIN_PROJECT:RESERVATION_LOCATION.RESERVATION_NAME）。 この出力で: RESERVATION_ADMIN_PROJECT: 予約を管理する Google Cloud プロジェクトの名前 RESERVATION_LOCATION: 予約のロケーション RESERVATION_NAME: 予約の名前
edition	STRING	このジョブに割り当てられた予約に関連付けられているエディション。エディションの詳細については、BigQuery エディションの概要をご覧ください。
session_info	RECORD	ジョブが実行されているセッションの詳細（存在する場合）。
start_time	TIMESTAMP	このジョブの開始時間（エポックからのミリ秒）。このフィールドは、ジョブが PENDING 状態から RUNNING 状態または DONE 状態へ移行した時間を表します。
state	STRING	ジョブの実行状態。有効な状態は PENDING、RUNNING、DONE です。
statement_type	STRING	クエリ ステートメントのタイプ。たとえば、DELETE、INSERT、SCRIPT、SELECT、UPDATE です。有効な値の一覧については QueryStatementType をご覧ください。
timeline	RECORD	ジョブのクエリ タイムライン。クエリ実行のスナップショットが格納されます。
total_bytes_billed	INTEGER	オンデマンド料金を使用するようにプロジェクトが構成されている場合、このフィールドにはジョブに対して課金された合計バイト数が含まれます。プロジェクトが定額料金を使用するように構成されている場合、バイト数は課金されず、このフィールドは情報提供のみを目的としています。 注: 行レベルのアクセス ポリシーが適用されたテーブルから読み取るクエリでは、この列の値が空になります。詳細については、BigQuery での行レベルのセキュリティに関するベスト プラクティスをご覧ください。
total_bytes_processed	INTEGER	ジョブによって処理された合計バイト数。 注: 行レベルのアクセス ポリシーが適用されたテーブルから読み取るクエリでは、この列の値が空になります。詳細については、BigQuery での行レベルのセキュリティに関するベスト プラクティスをご覧ください。
total_modified_partitions	INTEGER	ジョブによって変更されたパーティションの合計数。このフィールドは、LOAD ジョブと QUERY ジョブで入力されます。
total_slot_ms	INTEGER	RUNNING 状態（再試行を含む）のジョブの全期間におけるスロット（ミリ秒）。
transaction_id	STRING	このジョブが実行されたトランザクションの ID（存在する場合）。（プレビュー）
user_email	STRING	（クラスタリング列）ジョブを実行したユーザーのメールアドレスまたはサービス アカウント。
query_info.resource_warning	STRING	クエリ処理中のリソース使用量がシステムの内部しきい値を超えた場合に表示される警告メッセージ。 クエリジョブが成功すると、resource_warning フィールドに値を入力できます。resource_warning を使用すると、query_hashes を使用してクエリを最適化し、同等のクエリセットのパフォーマンス トレンドのモニタリングを設定するための追加のデータポイントを取得できます。
query_info.query_hashes.normalized_literals	STRING	クエリのハッシュが含まれます。normalized_literals は、コメント、パラメータ値、UDF、リテラルを無視する 16 進数の STRING ハッシュです。 このフィールドは、キャッシュ ヒットではない GoogleSQL クエリが成功した場合に表示されます。
query_info.performance_insights	RECORD	ジョブのパフォーマンス分析情報。
query_info.optimization_details	STRUCT	ジョブの履歴ベースの最適化。
transferred_bytes	INTEGER	クロスクラウド クエリ（BigQuery Omni クロスクラウド転送ジョブなど）で転送された合計バイト数。
materialized_view_statistics	RECORD	クエリジョブで考慮されるマテリアライズド ビューの統計。（プレビュー）

データの保持

このビューには、現在実行中のジョブと過去 180 日間のジョブの履歴が含まれます。

スコープと構文

このビューに対するクエリでは、リージョン修飾子を指定する必要があります。次の表に、このビューのリージョン スコープを示します。

ビュー名	リソース スコープ	リージョン スコープ
[PROJECT_ID.]`region-REGION`.INFORMATION_SCHEMA.JOBS_BY_ORGANIZATION	指定されたプロジェクトを含む組織	REGION

次のように置き換えます。

• 省略可: PROJECT_ID: Google Cloud プロジェクトの ID。指定しない場合は、デフォルトのプロジェクトが使用されます。

+ REGION: 任意のデータセット リージョン名。 例: region-us。

注: INFORMATION_SCHEMA ビューに対してクエリを実行するには、リージョン修飾子を使用する必要があります。クエリ実行のロケーションは、INFORMATION_SCHEMA ビューのリージョンと一致する必要があります。

注: INFORMATION_SCHEMA.JOBS_BY_ORGANIZATION にクエリを実行してクエリジョブのコストの概算を確認する場合は、SCRIPT ステートメント タイプを除外します。こうしないと、一部の値が 2 回カウントされる可能性があります。SCRIPT 行には、このジョブの一部として実行されたすべての子ジョブの概要値が含まれます。

例

デフォルト プロジェクト以外のプロジェクトに対してクエリを実行するには、次の形式でプロジェクト ID を追加します。

`PROJECT_ID`.`region-REGION_NAME`.INFORMATION_SCHEMA.JOBS_BY_ORGANIZATION

次のように置き換えます。

• PROJECT_ID: プロジェクトの ID
• REGION_NAME: プロジェクトのリージョン

例: `myproject`.`region-us`.INFORMATION_SCHEMA.JOBS_BY_ORGANIZATION。

今日最も多くのバイトをスキャンした上位 5 つのジョブ

次の例は、組織で今日、最大バイト数をスキャンした 5 つのジョブを検索する方法を示しています。statement_type でフィルタを使用して、読み込み、エクスポート、クエリなどの追加情報をクエリできます。

SELECT
  job_id,
  user_email,
  total_bytes_billed
FROM
  `region-us`.INFORMATION_SCHEMA.JOBS_BY_ORGANIZATION
WHERE
  EXTRACT(DATE FROM  creation_time) = current_date()
ORDER BY
  total_bytes_billed DESC
LIMIT 5;

注: INFORMATION_SCHEMA ビューの名前では大文字と小文字が区別されます。

次のような結果になります。

+--------------+--------------+---------------------------+
| job_id       |  user_email  |  total_bytes_billed       |
+--------------+--------------+---------------------------+
| bquxjob_1    |  [e-mail] |    999999                 |
| bquxjob_2    |  [e-mail] |    888888                 |
| bquxjob_3    |  [e-mail] |    777777                 |
| bquxjob_4    |  [e-mail] |    666666                 |
| bquxjob_5    |  [e-mail] |    555555                 |
+--------------+--------------+---------------------------+

クエリのパフォーマンス分析結果を表示する

次の例では、過去 30 日間の組織のパフォーマンス分析情報があるすべてのクエリジョブと、Google Cloud コンソールでクエリ実行グラフにリンクする URL を返します。

SELECT
  `bigquery-public-data`.persistent_udfs.job_url(
    project_id || ':us.' || job_id) AS job_url,
  query_info.performance_insights
FROM
  `region-us`.INFORMATION_SCHEMA.JOBS_BY_ORGANIZATION
WHERE
  DATE(creation_time) >= CURRENT_DATE - 30 -- scan 30 days of query history
  AND job_type = 'QUERY'
  AND state = 'DONE'
  AND error_result IS NULL
  AND statement_type != 'SCRIPT'
  AND EXISTS ( -- Only include queries which had performance insights
    SELECT 1
    FROM UNNEST(
      query_info.performance_insights.stage_performance_standalone_insights
    )
    WHERE slot_contention OR insufficient_shuffle_quota
    UNION ALL
    SELECT 1
    FROM UNNEST(
      query_info.performance_insights.stage_performance_change_insights
    )
    WHERE input_data_change.records_read_diff_percentage IS NOT NULL
  );