Tampilan JOBS_BY_FOLDER

Tampilan INFORMATION_SCHEMA.JOBS_BY_FOLDER berisi metadata yang mendekati real-time tentang semua tugas yang dikirim di folder induk project saat ini, termasuk tugas di subfolder di bawahnya.

Peran yang diperlukan

Untuk mendapatkan izin yang diperlukan untuk membuat kueri tampilan INFORMATION_SCHEMA.JOBS_BY_FOLDER, minta administrator untuk memberi Anda peran IAM BigQuery Resource Viewer (roles/bigquery.resourceViewer) di folder induk Anda. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran yang telah ditentukan ini berisi izin bigquery.jobs.listAll, yang diperlukan untuk membuat kueri tampilan INFORMATION_SCHEMA.JOBS_BY_FOLDER.

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Untuk mengetahui informasi selengkapnya tentang izin BigQuery, lihat Kontrol akses dengan IAM.

Skema

Data pokok dipartisi oleh kolom creation_time serta dikelompokkan menurut project_id dan user_email. Kolom query_info berisi informasi tambahan tentang tugas kueri Anda.

Tampilan INFORMATION_SCHEMA.JOBS_BY_FOLDER memiliki skema berikut:

Nama kolom	Data type	Nilai
bi_engine_statistics	RECORD	Jika project dikonfigurasi untuk menggunakan Antarmuka BI Engine SQL, maka kolom ini berisi BiEngineStatistics. Atau NULL.
cache_hit	BOOLEAN	Apakah hasil kueri tugas ini berasal dari cache. Jika Anda memiliki tugas pernyataan multi-kueri, cache_hit untuk kueri induk Anda adalah NULL.
creation_time	TIMESTAMP	(Kolom partisi) Waktu pembuatan tugas ini. Partisi didasarkan pada waktu UTC stempel waktu ini.
destination_table	RECORD	Tabel tujuan untuk hasil, jika ada.
end_time	TIMESTAMP	Waktu berakhir tugas ini, dalam milidetik sejak epoch. Kolom ini menunjukkan waktu saat tugas memasuki status DONE.
error_result	RECORD	Detail error sebagai objek ErrorProto.
folder_numbers	REPEATED INTEGER	Jumlah ID folder yang berisi project, dimulai dengan folder yang langsung berisi project, diikuti dengan folder yang berisi folder turunan, dan sebagainya. Misalnya, jika folder_numbers adalah [1, 2, 3], maka folder 1 langsung berisi project, folder 2 berisi 1, dan folder 3 berisi 2. Kolom ini hanya diisi di JOBS_BY_FOLDER.
job_creation_reason.code	STRING	Menentukan alasan tingkat tinggi mengapa tugas dibuat. Nilai yang mungkin adalah: REQUESTED: pembuatan tugas diminta. LONG_RUNNING: permintaan kueri berjalan melebihi waktu tunggu yang ditentukan sistem yang ditentukan oleh kolom timeoutMs di QueryRequest. Akibatnya, operasi ini dianggap sebagai operasi yang berjalan lama yang tugasnya dibuat. LARGE_RESULTS: hasil dari kueri tidak dapat muat dalam respons inline. OTHER: sistem telah menentukan bahwa kueri perlu dieksekusi sebagai tugas.
job_id	STRING	ID tugas jika tugas dibuat. Jika tidak, ID kueri dari kueri yang menggunakan mode kueri singkat. Misalnya, bquxjob_1234.
job_stages	RECORD	Tahap kueri tugas. Catatan: Nilai kolom ini kosong untuk kueri yang membaca dari tabel dengan kebijakan akses tingkat baris. Untuk mengetahui informasi selengkapnya, lihat praktik terbaik untuk keamanan tingkat baris di BigQuery.
job_type	STRING	Jenis tugas. Dapat berupa QUERY, LOAD, EXTRACT, COPY, atau NULL. Nilai NULL menunjukkan tugas internal, seperti evaluasi pernyataan tugas skrip atau pemuatan ulang tampilan terwujud.
labels	RECORD	Array label yang diterapkan ke tugas sebagai pasangan nilai kunci.
parent_job_id	STRING	ID tugas induk, jika ada.
priority	STRING	Prioritas tugas ini. Nilai yang valid mencakup INTERACTIVE, dan BATCH.
project_id	STRING	(Kolom pengelompokkan) ID project.
project_number	INTEGER	Nomor project.
query	STRING	Teks kueri SQL. Hanya tampilan JOBS_BY_PROJECT yang memiliki kolom kueri.
referenced_tables	RECORD	Array tabel yang direferensikan oleh tugas. Hanya diisi untuk tugas kueri yang bukan hit cache.
reservation_id	STRING	Nama reservasi utama yang ditetapkan untuk tugas ini, dalam format RESERVATION_ADMIN_PROJECT:RESERVATION_LOCATION.RESERVATION_NAME. Dalam output ini: RESERVATION_ADMIN_PROJECT: nama project Google Cloud yang mengelola reservasi RESERVATION_LOCATION: lokasi pemesanan RESERVATION_NAME: nama pemesanan
edition	STRING	Edisi yang terkait dengan reservasi yang ditetapkan ke tugas ini. Untuk mengetahui informasi selengkapnya tentang edisi, lihat Pengantar edisi BigQuery.
session_info	RECORD	Detail tentang sesi tempat tugas ini dijalankan, jika ada.
start_time	TIMESTAMP	Waktu mulai tugas ini, dalam milidetik sejak epoch. Kolom ini menunjukkan waktu saat tugas bertransisi dari status PENDING ke RUNNING atau DONE.
state	STRING	Status tugas yang berjalan. Status yang valid mencakup PENDING, RUNNING, dan DONE.
statement_type	STRING	Jenis pernyataan kueri. Misalnya, DELETE, INSERT, SCRIPT, SELECT, atau UPDATE. Lihat QueryStatementType untuk mengetahui daftar nilai yang valid.
timeline	RECORD	Linimasa kueri tugas. Berisi snapshot eksekusi kueri.
total_bytes_billed	INTEGER	Jika project dikonfigurasi untuk menggunakan harga sesuai permintaan, maka kolom ini berisi total byte yang ditagih untuk tugas tersebut. Jika project dikonfigurasi untuk menggunakan harga tetap, Anda tidak akan dikenai biaya untuk byte dan kolom ini hanya bersifat informasi. Catatan: Nilai kolom ini kosong untuk kueri yang membaca dari tabel dengan kebijakan akses tingkat baris. Untuk mengetahui informasi selengkapnya, lihat praktik terbaik untuk keamanan tingkat baris di BigQuery.
total_bytes_processed	INTEGER	Total byte yang diproses oleh tugas. Catatan: Nilai kolom ini kosong untuk kueri yang membaca dari tabel dengan kebijakan akses tingkat baris. Untuk mengetahui informasi selengkapnya, lihat praktik terbaik untuk keamanan tingkat baris di BigQuery.
total_modified_partitions	INTEGER	Jumlah total partisi yang diubah oleh tugas. Kolom ini diisi untuk tugas LOAD dan QUERY.
total_slot_ms	INTEGER	Masukkan milidetik untuk tugas selama keseluruhan durasinya dalam status RUNNING, termasuk percobaan ulang.
transaction_id	STRING	ID transaksi tempat tugas ini berjalan, jika ada. (Pratinjau)
user_email	STRING	(Kolom pengelompokan) Alamat email atau akun layanan pengguna yang menjalankan tugas.
query_info.resource_warning	STRING	Pesan peringatan yang muncul jika penggunaan resource selama pemrosesan kueri berada di atas ambang batas internal sistem. Tugas kueri yang berhasil dapat mengisi kolom resource_warning. Dengan resource_warning, Anda akan mendapatkan titik data tambahan untuk mengoptimalkan kueri dan menyiapkan pemantauan tren performa kumpulan kueri yang setara menggunakan query_hashes.
query_info.query_hashes.normalized_literals	STRING	Berisi hash kueri. normalized_literals adalah hash STRING heksadesimal yang mengabaikan komentar, parameter value, UDF, dan literal. Nilai hash akan berbeda saat tampilan yang mendasarinya berubah, atau jika kueri secara implisit mereferensikan kolom, seperti SELECT *, dan skema tabel berubah. Kolom ini muncul untuk kueri GoogleSQL yang berhasil dan tidak menemukan cache.
query_info.performance_insights	RECORD	Insight performa untuk tugas.
query_info.optimization_details	STRUCT	Pengoptimalan berbasis histori untuk tugas.
transferred_bytes	INTEGER	Total byte yang ditransfer untuk kueri lintas-cloud, seperti tugas transfer lintas-cloud BigQuery Omni.
materialized_view_statistics	RECORD	Statistik tampilan terwujud yang dipertimbangkan dalam tugas kueri. (Pratinjau)

Retensi data

Tabel virtual ini berisi tugas yang sedang berjalan dan histori tugas selama 180 hari terakhir.

Cakupan dan sintaksis

Kueri terhadap tabel virtual ini harus menyertakan penentu region. Tabel berikut menjelaskan cakupan region untuk tabel virtual ini:

Nama tabel virtual	Cakupan resource	Cakupan region
[PROJECT_ID.]`region-REGION`.INFORMATION_SCHEMA.JOBS_BY_FOLDER	Folder yang berisi project yang ditentukan	REGION

Ganti kode berikut:

Opsional: PROJECT_ID: ID project Google Cloud Anda. Jika tidak ditentukan, project default akan digunakan.

REGION: nama region set data apa pun. Misalnya, `region-us`.

Catatan: Anda harus menggunakan penentu region untuk membuat kueri tabel virtual INFORMATION_SCHEMA. Lokasi eksekusi kueri harus cocok dengan region tampilan INFORMATION_SCHEMA.

Catatan: Saat Anda membuat kueri INFORMATION_SCHEMA.JOBS_BY_FOLDER untuk menemukan ringkasan biaya tugas kueri, kecualikan jenis pernyataan SCRIPT, jika tidak, beberapa nilai mungkin akan dihitung dua kali. Baris SCRIPT menyertakan nilai ringkasan untuk semua tugas turunan yang dijalankan sebagai bagian dari tugas ini.

Contoh

Kueri berikut menampilkan ID tugas, waktu pembuatan, dan status (PENDING, RUNNING, atau DONE) semua tugas interaktif di folder project yang ditetapkan:

SELECT
  job_id,
  creation_time,
  state
FROM
  `region-REGION_NAME`.INFORMATION_SCHEMA.JOBS_BY_FOLDER
WHERE
  priority = 'INTERACTIVE';

Catatan: Nama tampilan INFORMATION_SCHEMA peka huruf besar/kecil.

Hasilnya mirip dengan berikut ini:

+--------------+---------------------------+---------------------------------+
| job_id       |  creation_time            |  state                          |
+--------------+---------------------------+---------------------------------+
| bquxjob_1    |  2019-10-10 00:00:00 UTC  |  DONE                           |
| bquxjob_2    |  2019-10-10 00:00:01 UTC  |  DONE                           |
| bquxjob_3    |  2019-10-10 00:00:02 UTC  |  DONE                           |
| bquxjob_4    |  2019-10-10 00:00:03 UTC  |  RUNNING                        |
| bquxjob_5    |  2019-10-10 00:00:04 UTC  |  PENDING                        |
+--------------+---------------------------+---------------------------------+

Mendapatkan byte yang diproses oleh tugas ekspor

Contoh berikut menghitung nilai total_processed_bytes untuk jenis tugas EXTRACT. Untuk mengetahui informasi tentang kuota tugas ekspor, lihat Kebijakan kuota untuk tugas ekspor. Total byte yang diproses dapat digunakan untuk memantau penggunaan agregat dan memastikan bahwa tugas ekspor tetap di bawah batas 50 TB per hari:

SELECT
    DATE(creation_time) as day,
    project_id as source_project_id,
    SUM(total_bytes_processed) AS total_bytes_processed
 FROM
   `region-REGION_NAME`.INFORMATION_SCHEMA.JOBS
 WHERE
    creation_time BETWEEN TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 8 DAY) AND CURRENT_TIMESTAMP()
    AND job_type = "EXTRACT"
GROUP BY
    day,
    source_project_id
ORDER BY
    day DESC;

Mendapatkan penggunaan tugas penyalinan

Untuk mengetahui informasi tentang tugas penyalinan, lihat Menyalin tabel. Contoh berikut menunjukkan penggunaan tugas penyalinan:

SELECT
    DATE(creation_time) as day,
    project_id as source_project_id,
CONCAT(destination_table.project_id,":",destination_table.dataset_id,".",destination_table.table_id) as destination_table,
    COUNT(job_id) AS copy_job_count
 FROM
   `region-REGION_NAME`.INFORMATION_SCHEMA.JOBS
 WHERE
    creation_time BETWEEN TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 8 DAY) AND CURRENT_TIMESTAMP()
    AND job_type = "COPY"
GROUP BY
    day,
    source_project_id,
    destination_table
ORDER BY
    day DESC;

Melihat insight performa untuk kueri

Contoh berikut menampilkan semua tugas kueri yang memiliki insight performa dari folder project yang ditetapkan dalam 30 hari terakhir, beserta URL yang tertaut ke grafik eksekusi kueri di Konsol Google Cloud.

SELECT
  `bigquery-public-data`.persistent_udfs.job_url(
    project_id || ':us.' || job_id) AS job_url,
  query_info.performance_insights
FROM
  `region-REGION_NAME`.INFORMATION_SCHEMA.JOBS_BY_FOLDER
WHERE
  DATE(creation_time) >= CURRENT_DATE - 30 -- scan 30 days of query history
  AND job_type = 'QUERY'
  AND state = 'DONE'
  AND error_result IS NULL
  AND statement_type != 'SCRIPT'
  AND EXISTS ( -- Only include queries which had performance insights
    SELECT 1
    FROM UNNEST(
      query_info.performance_insights.stage_performance_standalone_insights
    )
    WHERE slot_contention OR insufficient_shuffle_quota
    UNION ALL
    SELECT 1
    FROM UNNEST(
      query_info.performance_insights.stage_performance_change_insights
    )
    WHERE input_data_change.records_read_diff_percentage IS NOT NULL
  );