Vue WRITE_API_TIMELINE
La vue INFORMATION_SCHEMA.WRITE_API_TIMELINE
contient les statistiques d'ingestion de l'API BigQuery Storage Write agrégées par minute pour le projet en cours.
Vous pouvez interroger les vues de l'API INFORMATION_SCHEMA
Write pour récupérer des informations historiques et en temps réel sur l'ingestion de données dans BigQuery à l'aide de l'API BigQuery Storage Write. Pour en savoir plus, consultez la page API BigQuery Storage Write.
Autorisation requise
Pour interroger la vue INFORMATION_SCHEMA.WRITE_API_TIMELINE
, vous devez disposer de l'autorisation IAM (Identity and Access Management) bigquery.tables.list
pour le projet.
Chacun des rôles IAM prédéfinis suivants inclut l'autorisation requise:
roles/bigquery.user
roles/bigquery.dataViewer
roles/bigquery.dataEditor
roles/bigquery.dataOwner
roles/bigquery.metadataViewer
roles/bigquery.resourceAdmin
roles/bigquery.admin
Pour plus d'informations sur les autorisations BigQuery, consultez la page Contrôle des accès avec IAM.
Schéma
Lorsque vous interrogez les vues de l'API BigQuery Storage Write INFORMATION_SCHEMA
, les résultats de la requête contiennent des informations historiques et en temps réel sur l'ingestion de données dans BigQuery à l'aide de l'API BigQuery Storage Write. Chaque ligne des vues suivantes représente les statistiques d'ingestion dans une table spécifique, regroupées sur un intervalle d'une minute à partir de start_timestamp
. Les statistiques sont regroupées par type de flux et par code d'erreur. Par conséquent, il existe une ligne pour chaque type de flux et chaque code d'erreur rencontré au cours de l'intervalle d'une minute pour chaque combinaison d'horodatage et de table. Le code d'erreur des requêtes réussies est défini sur OK
. Si aucune donnée n'a été transmise à une table au cours d'une période donnée, aucune ligne n'est présente pour les horodatages correspondants de cette table.
Les vues INFORMATION_SCHEMA.WRITE_API_TIMELINE_BY_*
présentent le schéma suivant:
Nom de la colonne | Type de données | Valeur |
---|---|---|
start_timestamp |
TIMESTAMP |
(Colonne de partitionnement) Horodatage de début de l'intervalle d'une minute pour les statistiques agrégées |
project_id |
STRING |
(Colonne de clustering) ID du projet. |
project_number |
INTEGER |
Numéro du projet |
dataset_id |
STRING |
(Colonne de clustering) ID de l'ensemble de données |
table_id |
STRING |
(Colonne de clustering) ID de la table |
stream_type |
STRING |
Type de flux utilisé pour l'ingestion de données avec l'API BigQuery Storage Write. La valeur doit être "DEFAULT", "COMMITTED", "BUFFERED" ou "PENDING". |
error_code |
STRING |
Code d'erreur renvoyé pour les requêtes spécifiées par cette ligne "OK" pour les requêtes réussies. |
total_requests |
INTEGER |
Nombre total de requêtes dans l'intervalle d'une minute |
total_rows |
INTEGER |
Nombre total de lignes de toutes les requêtes dans l'intervalle d'une minute |
total_input_bytes |
INTEGER |
Nombre total d'octets de toutes les lignes dans l'intervalle d'une minute |
Conservation des données
Cette vue contient l'historique d'ingestion de l'API BigQuery Storage Write des 180 derniers jours.
Champ d'application et syntaxe
Les requêtes exécutées sur cette vue doivent inclure un qualificatif de région. Si vous ne spécifiez pas de qualificatif de région, les métadonnées sont extraites de toutes les régions. Le tableau suivant explique le champ d'application de la région pour cette vue :
Nom de la vue | Champ d'application de la ressource | Champ d'application de la région |
---|---|---|
[PROJECT_ID.]`region-REGION`.INFORMATION_SCHEMA.WRITE_API_TIMELINE[_BY_PROJECT] |
Niveau Projet | REGION |
Facultatif : PROJECT_ID
: ID de votre projet Google Cloud. Si non spécifié, le projet par défaut est utilisé.
REGION
: tout nom de région d'ensemble de données.
Par exemple, `region-us`
.
Exemple
- Pour interroger des données dans l'emplacement multirégional "US", utilisez
`region-us`.INFORMATION_SCHEMA.WRITE_API_TIMELINE_BY_PROJECT
. - Pour interroger des données dans l'emplacement multirégional "EU", utilisez
`region-eu`.INFORMATION_SCHEMA.WRITE_API_TIMELINE_BY_PROJECT
. - Pour interroger des données dans la région asia-northeast1, utilisez
`region-asia-northeast1`.INFORMATION_SCHEMA.WRITE_API_TIMELINE_BY_PROJECT
.
Pour obtenir la liste des régions disponibles, consultez la section Emplacements des ensembles de données.
Exemples
Exemple 1 : Échecs récents d'ingestion de l'API BigQuery Storage Write
L'exemple suivant calcule la répartition par minute du nombre total de requêtes ayant échoué pour toutes les tables du projet au cours des 30 dernières minutes, par type de flux et par code d'erreur :
SELECT start_timestamp, stream_type, error_code, SUM(total_requests) AS num_failed_requests FROM `region-us`.INFORMATION_SCHEMA.WRITE_API_TIMELINE WHERE error_code != 'OK' AND start_timestamp > TIMESTAMP_SUB(CURRENT_TIMESTAMP, INTERVAL 30 MINUTE) GROUP BY start_timestamp, stream_type, error_code ORDER BY start_timestamp DESC;
Le résultat ressemble à ce qui suit :
+---------------------+-------------+------------------+---------------------+ | start_timestamp | stream_type | error_code | num_failed_requests | +---------------------+-------------+------------------+---------------------+ | 2023-02-24 00:25:00 | PENDING | NOT_FOUND | 5 | | 2023-02-24 00:25:00 | DEFAULT | INVALID_ARGUMENT | 1 | | 2023-02-24 00:25:00 | DEFAULT | DEADLINE_EXCEEDED| 4 | | 2023-02-24 00:24:00 | PENDING | INTERNAL | 3 | | 2023-02-24 00:24:00 | DEFAULT | INVALID_ARGUMENT | 1 | | 2023-02-24 00:24:00 | DEFAULT | DEADLINE_EXCEEDED| 2 | +---------------------+-------------+------------------+---------------------+
Exemple 2 : Répartition par minute pour toutes les requêtes avec codes d'erreur
L'exemple suivant calcule une répartition par minute des requêtes d'ajout ayant réussi ou échoué, regroupées par catégorie de code d'erreur. Cette requête peut être utilisée pour renseigner un tableau de bord.
SELECT start_timestamp, SUM(total_requests) AS total_requests, SUM(total_rows) AS total_rows, SUM(total_input_bytes) AS total_input_bytes, SUM( IF( error_code IN ( 'INVALID_ARGUMENT', 'NOT_FOUND', 'CANCELLED', 'RESOURCE_EXHAUSTED', 'ALREADY_EXISTS', 'PERMISSION_DENIED', 'UNAUTHENTICATED', 'FAILED_PRECONDITION', 'OUT_OF_RANGE'), total_requests, 0)) AS user_error, SUM( IF( error_code IN ( 'DEADLINE_EXCEEDED','ABORTED', 'INTERNAL', 'UNAVAILABLE', 'DATA_LOSS', 'UNKNOWN'), total_requests, 0)) AS server_error, SUM(IF(error_code = 'OK', 0, total_requests)) AS total_error, FROM `region-us`.INFORMATION_SCHEMA.WRITE_API_TIMELINE GROUP BY start_timestamp ORDER BY start_timestamp DESC;
Le résultat ressemble à ce qui suit :
+---------------------+----------------+------------+-------------------+------------+--------------+-------------+ | start_timestamp | total_requests | total_rows | total_input_bytes | user_error | server_error | total_error | +---------------------+----------------+------------+-------------------+------------+--------------+-------------+ | 2020-04-15 22:00:00 | 441854 | 441854 | 23784853118 | 0 | 17 | 17 | | 2020-04-15 21:59:00 | 355627 | 355627 | 26101982742 | 8 | 0 | 13 | | 2020-04-15 21:58:00 | 354603 | 354603 | 26160565341 | 0 | 0 | 0 | | 2020-04-15 21:57:00 | 298823 | 298823 | 23877821442 | 2 | 0 | 2 | +---------------------+----------------+------------+-------------------+------------+--------------+-------------+
Exemple 3 : Tables avec le plus de trafic entrant
L'exemple suivant renvoie les statistiques d'ingestion de l'API BigQuery Storage Write pour les 10 tables avec le plus de trafic entrant :
SELECT project_id, dataset_id, table_id, SUM(total_rows) AS num_rows, SUM(total_input_bytes) AS num_bytes, SUM(total_requests) AS num_requests FROM `region-us`.INFORMATION_SCHEMA.WRITE_API_TIMELINE_BY_PROJECT GROUP BY project_id, dataset_id, table_id ORDER BY num_bytes DESC LIMIT 10;
Le résultat ressemble à ce qui suit :
+----------------------+------------+-------------------------------+------------+----------------+--------------+ | project_id | dataset_id | table_id | num_rows | num_bytes | num_requests | +----------------------+------------+-------------------------------+------------+----------------+--------------+ | my-project | dataset1 | table1 | 8016725532 | 73787301876979 | 8016725532 | | my-project | dataset1 | table2 | 26319580 | 34199853725409 | 26319580 | | my-project | dataset2 | table1 | 38355294 | 22879180658120 | 38355294 | | my-project | dataset1 | table3 | 270126906 | 17594235226765 | 270126906 | | my-project | dataset2 | table2 | 95511309 | 17376036299631 | 95511309 | | my-project | dataset2 | table3 | 46500443 | 12834920497777 | 46500443 | | my-project | dataset2 | table4 | 25846270 | 7487917957360 | 25846270 | | my-project | dataset1 | table4 | 18318404 | 5665113765882 | 18318404 | | my-project | dataset1 | table5 | 42829431 | 5343969665771 | 42829431 | | my-project | dataset1 | table6 | 8771021 | 5119004622353 | 8771021 | +----------------------+------------+-------------------------------+------------+----------------+--------------+
Exemple 4 : Taux d'erreur d'ingestion de l'API BigQuery Storage Write pour une table
L'exemple suivant calcule une répartition quotidienne des erreurs pour une table spécifique, divisée par code d'erreur :
SELECT TIMESTAMP_TRUNC(start_timestamp, DAY) as day, project_id, dataset_id, table_id, error_code, SUM(total_rows) AS num_rows, SUM(total_input_bytes) AS num_bytes, SUM(total_requests) AS num_requests FROM `region-us`.INFORMATION_SCHEMA.WRITE_API_TIMELINE_BY_PROJECT WHERE table_id LIKE 'my_table' GROUP BY project_id, dataset_id, table_id, error_code, day ORDER BY day, project_id, dataset_id DESC;
Le résultat ressemble à ce qui suit :
+---------------------+-------------+------------+----------+----------------+----------+-----------+--------------+ | day | project_id | dataset_id | table_id | error_code | num_rows | num_bytes | num_requests | +---------------------+-------------+------------+----------+----------------+----------+-----------+--------------+ | 2020-04-21 00:00:00 | my_project | my_dataset | my_table | OK | 41 | 252893 | 41 | | 2020-04-20 00:00:00 | my_project | my_dataset | my_table | OK | 2798 | 10688286 | 2798 | | 2020-04-19 00:00:00 | my_project | my_dataset | my_table | OK | 2005 | 7979495 | 2005 | | 2020-04-18 00:00:00 | my_project | my_dataset | my_table | OK | 2054 | 7972378 | 2054 | | 2020-04-17 00:00:00 | my_project | my_dataset | my_table | OK | 2056 | 6978079 | 2056 | | 2020-04-17 00:00:00 | my_project | my_dataset | my_table | INTERNAL | 4 | 10825 | 4 | +---------------------+-------------+------------+----------+----------------+----------+-----------+--------------+