Visualizzazione STREAMING_TIMELINE

La vista INFORMATION_SCHEMA.STREAMING_TIMELINE contiene statistiche aggregate sui flussi di dati al minuto per il progetto attuale.

Puoi eseguire query sulle viste flussi di INFORMATION_SCHEMA per recuperare informazioni storiche e in tempo reale sui flussi di dati in BigQuery che utilizza il metodo tabledata.insertAll legacy e non l'API BigQuery StorageWrite. Per ulteriori informazioni sui flussi di dati in BigQuery, vedi Flusso di dati in BigQuery.

Autorizzazione obbligatoria

Per eseguire una query sulla vista INFORMATION_SCHEMA.STREAMING_TIMELINE, devi disporre dell'autorizzazione Identity and Access Management (IAM) bigquery.tables.list per il progetto.

Ciascuno dei seguenti ruoli IAM predefiniti include l'autorizzazione richiesta:

• roles/bigquery.user
• roles/bigquery.dataViewer
• roles/bigquery.dataEditor
• roles/bigquery.dataOwner
• roles/bigquery.metadataViewer
• roles/bigquery.resourceAdmin
• roles/bigquery.admin

Attenzione:l'autorizzazione "bigquery.tables.list" obbligatoria non è inclusa nei ruoli di base Proprietario o Editor.

Per ulteriori informazioni sulle autorizzazioni BigQuery, consulta Controllo dell'accesso con IAM.

Schema

Quando esegui una query sulle viste flussi di INFORMATION_SCHEMA, i risultati della query contengono informazioni storiche e in tempo reale sui flussi di dati in BigQuery. Ogni riga nelle visualizzazioni seguenti rappresenta le statistiche per i flussi di dati in una tabella specifica, aggregate in un intervallo di un minuto a partire da start_timestamp. Le statistiche sono raggruppate per codice di errore, quindi sarà presente una riga per ogni codice di errore riscontrato durante l'intervallo di un minuto per ogni combinazione di timestamp e tabella. Il codice di errore delle richieste riuscite è impostato su NULL. Se non sono stati trasmessi dati in una tabella durante un determinato periodo di tempo, non sono presenti righe per i timestamp corrispondenti per quella tabella.

Le INFORMATION_SCHEMA.STREAMING_TIMELINE_BY_* viste hanno il seguente schema:

Nome colonna	Tipo di dati	Valore
start_timestamp	TIMESTAMP	(Colonna di partizionamento) Timestamp di inizio dell'intervallo di 1 minuto per le statistiche aggregate.
project_id	STRING	ID (colonna clustering) del progetto.
project_number	INTEGER	Numero del progetto.
dataset_id	STRING	ID (colonna clustering) del set di dati.
table_id	STRING	ID (colonna clustering) della tabella.
error_code	STRING	Codice di errore restituito per le richieste specificate da questa riga. NULL per le richieste riuscite.
total_requests	INTEGER	Numero totale di richieste nell'intervallo di 1 minuto.
total_rows	INTEGER	Numero totale di righe di tutte le richieste nell'intervallo di 1 minuto.
total_input_bytes	INTEGER	Numero totale di byte di tutte le righe nell'intervallo di 1 minuto.

Conservazione dei dati

Questa visualizzazione contiene la cronologia di streaming degli ultimi 180 giorni.

Ambito e sintassi

Le query relative a questa vista devono includere un qualificatore regione. Se non specifichi un qualificatore regionale, i metadati vengono recuperati da tutte le regioni. La tabella seguente spiega l'ambito della regione per questa visualizzazione:

Nome vista	Ambito risorsa	Ambito della regione
[PROJECT_ID.]`region-REGION`.INFORMATION_SCHEMA.STREAMING_TIMELINE[_BY_PROJECT]	Livello di progetto	REGION

Sostituisci quanto segue:

• (Facoltativo) PROJECT_ID: l'ID del tuo progetto Google Cloud. Se non specificato, viene utilizzato il progetto predefinito.
• REGION: qualsiasi nome della regione del set di dati. Ad esempio: region-us.

Nota: devi utilizzare un qualificatore regione per eseguire query su INFORMATION_SCHEMA viste. La località dell'esecuzione della query deve corrispondere alla regione della vista INFORMATION_SCHEMA.

Esempio

• Per eseguire query sui dati per più regioni degli Stati Uniti, utilizza `region-us`.INFORMATION_SCHEMA.STREAMING_TIMELINE_BY_PROJECT
• Per eseguire query sui dati nella località multiregionale UE, utilizza `region-eu`.INFORMATION_SCHEMA.STREAMING_TIMELINE_BY_PROJECT
• Per eseguire query sui dati della regione asia-northeast1, utilizza `region-asia-northeast1`.INFORMATION_SCHEMA.STREAMING_TIMELINE_BY_PROJECT

Per un elenco delle regioni disponibili, vedi Località dei set di dati.

Esempi

Esempio 1: errori recenti di flussi di dati

L'esempio seguente calcola l'analisi al minuto del totale delle richieste non riuscite negli ultimi 30 minuti per tutte le tabelle del progetto, suddivise per codice di errore:

SELECT
  start_timestamp,
  error_code,
  SUM(total_requests) AS num_failed_requests
FROM
  `region-us`.INFORMATION_SCHEMA.STREAMING_TIMELINE_BY_PROJECT
WHERE
  error_code IS NOT NULL
  AND start_timestamp > TIMESTAMP_SUB(CURRENT_TIMESTAMP, INTERVAL 30 MINUTE)
GROUP BY
  start_timestamp,
  error_code
ORDER BY
  start_timestamp DESC;

Nota: i nomi delle visualizzazioni INFORMATION_SCHEMA sono sensibili alle maiuscole.

Il risultato è simile al seguente:

+---------------------+------------------+---------------------+
|   start_timestamp   |    error_code    | num_failed_requests |
+---------------------+------------------+---------------------+
| 2020-04-15 20:55:00 | INTERNAL_ERROR   |                  41 |
| 2020-04-15 20:41:00 | CONNECTION_ERROR |                   5 |
| 2020-04-15 20:30:00 | INTERNAL_ERROR   |                 115 |
+---------------------+------------------+---------------------+

Esempio 2: analisi al minuto per tutte le richieste con codici di errore

L'esempio seguente calcola un'analisi al minuto delle richieste di flussi di dati riuscite e non riuscite, suddivisa in categorie di codici di errore. Questa query potrebbe essere utilizzata per compilare una dashboard.

SELECT
  start_timestamp,
  SUM(total_requests) AS total_requests,
  SUM(total_rows) AS total_rows,
  SUM(total_input_bytes) AS total_input_bytes,
  SUM(
    IF(
      error_code IN ('QUOTA_EXCEEDED', 'RATE_LIMIT_EXCEEDED'),
      total_requests,
      0)) AS quota_error,
  SUM(
    IF(
      error_code IN (
        'INVALID_VALUE', 'NOT_FOUND', 'SCHEMA_INCOMPATIBLE',
        'BILLING_NOT_ENABLED', 'ACCESS_DENIED', 'UNAUTHENTICATED'),
      total_requests,
      0)) AS user_error,
  SUM(
    IF(
      error_code IN ('CONNECTION_ERROR','INTERNAL_ERROR'),
      total_requests,
      0)) AS server_error,
  SUM(IF(error_code IS NULL, 0, total_requests)) AS total_error,
FROM
  `region-us`.INFORMATION_SCHEMA.STREAMING_TIMELINE_BY_PROJECT
GROUP BY
  start_timestamp
ORDER BY
  start_timestamp DESC;

Nota: i nomi delle visualizzazioni INFORMATION_SCHEMA sono sensibili alle maiuscole.

Il risultato è simile al seguente:

+---------------------+----------------+------------+-------------------+-------------+------------+--------------+-------------+
|   start_timestamp   | total_requests | total_rows | total_input_bytes | quota_error | user_error | server_error | total_error |
+---------------------+----------------+------------+-------------------+-------------+------------+--------------+-------------+
| 2020-04-15 22:00:00 |         441854 |     441854 |       23784853118 |           0 |          0 |           17 |          17 |
| 2020-04-15 21:59:00 |         355627 |     355627 |       26101982742 |           0 |          0 |            0 |           0 |
| 2020-04-15 21:58:00 |         354603 |     354603 |       26160565341 |           0 |          0 |            0 |           0 |
| 2020-04-15 21:57:00 |         298823 |     298823 |       23877821442 |           0 |          0 |            0 |           0 |
+---------------------+----------------+------------+-------------------+-------------+------------+--------------+-------------+

Esempio 3: tabelle con il traffico più in entrata

L'esempio seguente restituisce le statistiche sui flussi di dati per le 10 tabelle con il traffico più in entrata:

SELECT
  project_id,
  dataset_id,
  table_id,
  SUM(total_rows) AS num_rows,
  SUM(total_input_bytes) AS num_bytes,
  SUM(total_requests) AS num_requests
FROM
  `region-us`.INFORMATION_SCHEMA.STREAMING_TIMELINE_BY_PROJECT
GROUP BY
  project_id,
  dataset_id,
  table_id
ORDER BY
  num_bytes DESC
LIMIT 10;

Nota: i nomi delle visualizzazioni INFORMATION_SCHEMA sono sensibili alle maiuscole.

Il risultato è simile al seguente:

+----------------------+------------+-------------------------------+------------+----------------+--------------+
|      project_id      | dataset_id |           table_id            |  num_rows  |   num_bytes    | num_requests |
+----------------------+------------+-------------------------------+------------+----------------+--------------+
| my-project           | dataset1   | table1                        | 8016725532 | 73787301876979 |   8016725532 |
| my-project           | dataset1   | table2                        |   26319580 | 34199853725409 |     26319580 |
| my-project           | dataset2   | table1                        |   38355294 | 22879180658120 |     38355294 |
| my-project           | dataset1   | table3                        |  270126906 | 17594235226765 |    270126906 |
| my-project           | dataset2   | table2                        |   95511309 | 17376036299631 |     95511309 |
| my-project           | dataset2   | table3                        |   46500443 | 12834920497777 |     46500443 |
| my-project           | dataset2   | table4                        |   25846270 |  7487917957360 |     25846270 |
| my-project           | dataset1   | table4                        |   18318404 |  5665113765882 |     18318404 |
| my-project           | dataset1   | table5                        |   42829431 |  5343969665771 |     42829431 |
| my-project           | dataset1   | table6                        |    8771021 |  5119004622353 |      8771021 |
+----------------------+------------+-------------------------------+------------+----------------+--------------+

Esempio 4: rapporto di errori di streaming per una tabella

L'esempio seguente calcola un'analisi giornaliera degli errori per una tabella specifica, suddivisa per codice di errore:

SELECT
  TIMESTAMP_TRUNC(start_timestamp, DAY) as day,
  project_id,
  dataset_id,
  table_id,
  error_code,
  SUM(total_rows) AS num_rows,
  SUM(total_input_bytes) AS num_bytes,
  SUM(total_requests) AS num_requests
FROM
  `region-us`.INFORMATION_SCHEMA.STREAMING_TIMELINE_BY_PROJECT
WHERE
  table_id LIKE 'my_table'
GROUP BY
  project_id, dataset_id, table_id, error_code, day
ORDER BY
  day, project_id, dataset_id DESC;

Nota: i nomi delle visualizzazioni INFORMATION_SCHEMA sono sensibili alle maiuscole.

Il risultato è simile al seguente:

+---------------------+-------------+------------+----------+----------------+----------+-----------+--------------+
|         day         |  project_id | dataset_id | table_id |   error_code   | num_rows | num_bytes | num_requests |
+---------------------+-------------+------------+----------+----------------+----------+-----------+--------------+
| 2020-04-21 00:00:00 | my_project  | my_dataset | my_table | NULL           |       41 |    252893 |           41 |
| 2020-04-20 00:00:00 | my_project  | my_dataset | my_table | NULL           |     2798 |  10688286 |         2798 |
| 2020-04-19 00:00:00 | my_project  | my_dataset | my_table | NULL           |     2005 |   7979495 |         2005 |
| 2020-04-18 00:00:00 | my_project  | my_dataset | my_table | NULL           |     2054 |   7972378 |         2054 |
| 2020-04-17 00:00:00 | my_project  | my_dataset | my_table | NULL           |     2056 |   6978079 |         2056 |
| 2020-04-17 00:00:00 | my_project  | my_dataset | my_table | INTERNAL_ERROR |        4 |     10825 |            4 |
+---------------------+-------------+------------+----------+----------------+----------+-----------+--------------+