Cette page explique comment utiliser les journaux de plate-forme générés par AML AI dans Cloud Logging. L'AML basée sur l'IA utilise le nom de service de l'API Logging financialservices.googleapis.com pour consigner l'activité des éléments suivants:
- Création de la configuration du moteur (réglage)
- Création du modèle (entraînement)
- Opérations rétrotestées
- Opérations de prédiction
Avant de commencer
Pour afficher et gérer les journaux, assurez-vous de disposer des autorisations et rôles IAM appropriés.
État d'activation de la journalisation de la plate-forme
Les journaux de plate-forme pour l'AML basée sur l'IA sont toujours actifs (ils ne peuvent pas être désactivés).
Niveau de gravité du journal
Les entrées de journal d'AML basée sur l'IA utilisent trois niveaux de gravité:
NOTICEpour les entrées envoyées lorsque les opérations démarrent ou réussissentERRORpour les entrées concernant la fin des opérations ayant échouéINFOpour les entrées sur la progression de l'opération
Afficher les journaux de plate-forme
Pour afficher les journaux de plate-forme, procédez comme suit:
Console
Pour afficher les journaux de plate-forme dans la console Google Cloud:
Accédez à l'explorateur de journaux :
Sélectionnez le projet Google Cloud approprié.
Dans le champ Requête, saisissez la commande de requête suivante:
logName=("projects/PROJECT_ID/logs/financialservices.googleapis.com%2Fbacktest" OR "projects/PROJECT_ID/logs/financialservices.googleapis.com%2Fengine_config_creation" OR "projects/PROJECT_ID/logs/financialservices.googleapis.com%2Fmodel_creation" OR "projects/PROJECT_ID/logs/financialservices.googleapis.com%2Fprediction")où :
PROJECT_IDest l'ID du projet que vous souhaitez déboguer ou surveiller. Par exemple,my-project.Cliquez sur Exécuter la requête.
Pour en savoir plus sur l'explorateur de journaux, consultez les pages Présentation de l'explorateur de journaux et Utiliser l'explorateur de journaux.
gcloud
L'outil de ligne de commande gcloud fournit une interface de ligne de commande à Cloud Logging.
Pour afficher les journaux de votre projet, exécutez la commande suivante:
gcloud logging read 'logName=("projects/PROJECT_ID/logs/financialservices.googleapis.com%2Fbacktest" OR
"projects/PROJECT_ID/logs/financialservices.googleapis.com%2Fengine_config_creation" OR
"projects/PROJECT_ID/logs/financialservices.googleapis.com%2Fmodel_creation" OR
"projects/PROJECT_ID/logs/financialservices.googleapis.com%2Fprediction")' --project=PROJECT_ID
où PROJECT_ID est l'ID de votre projet Google Cloud.
Pour en savoir plus sur l'utilisation de l'outil gcloud avec Cloud Logging, consultez la page gcloud logging.
Comprendre les journaux de plate-forme
Cette section explique comment interpréter les journaux d'une plate-forme spécifique pour l'AML basée sur l'IA.
Enregistrer le journal de début
Les journaux avec eventKind=START sont générés lorsque l'opération démarre son exécution.
Voici un exemple de journal de démarrage d'une exécution de prédiction.
jsonPayload:
'@type': type.googleapis.com/google.cloud.financialservices.logging.v1.PredictionLog
engineVersion: projects/PROJECT_ID/locations/REGION_ID/instances/INSTANCE_ID/engineVersions/ENGINE_VERSION_ID
eventKind: START
predictionResult:
dataset: projects/PROJECT_ID/locations/REGION_ID/instances/INSTANCE_ID/datasets/DATASET_ID
endTime: '2023-05-31T00:00:00Z'
model: projects/PROJECT_ID/locations/REGION_ID/instances/INSTANCE_ID/models/MODEL_ID
outputs:
explainabilityDestination:
tableUri: bq://PROJECT_ID.DATASET_ID.EXPLAINABILITY_TABLE_ID
writeDisposition: WRITE_EMPTY
predictionDestination:
tableUri: bq://PROJECT_ID.DATASET_ID.PREDICTION_TABLE_ID
writeDisposition: WRITE_EMPTY
logName: projects/PROJECT_ID/logs/financialservices.googleapis.com%2Fprediction
operation:
first: true
id: projects/PROJECT_NUMBER/locations/REGION_ID/operations/OPERATION_ID
producer: financialservices.googleapis.com
receiveTimestamp: '2023-06-07T12:30:48.417285528Z'
resource:
labels:
instance_id: INSTANCE_ID
location: REGION_ID
prediction_result_id: PREDICTION_ID
resource_container: projects/PROJECT_NUMBER
type: financialservices.googleapis.com/PredictionResult
Vous pouvez ajouter des commandes supplémentaires dans le champ Requête de l'explorateur de journaux pour affiner les journaux affichés.
Ajoutez la commande suivante pour afficher toutes les exécutions de prédiction démarrées sur un ensemble de données sélectionné:
logName="projects/PROJECT_ID/logs/financialservices.googleapis.com%2Fprediction" AND jsonPayload.predictionResult.dataset="projects/PROJECT_ID/locations/REGION_ID/instances/INSTANCE_ID/datasets/DATASET_ID" AND jsonPayload.eventKind="START"
Journal PROGRESS
Les journaux avec eventKind=PROGRESS informent sur la progression d'une opération.
Voici un exemple de journal de création d'un modèle. Les comparaisons completedTaskCount ou taskCount permettent d'estimer la progression de l'entraînement du modèle.
jsonPayload:
'@type': type.googleapis.com/google.cloud.financialservices.logging.v1.ModelCreationLog
completedTaskCount: 11
engineVersion: projects/PROJECT_ID/locations/REGION_ID/instances/INSTANCE_ID/engineVersions/ENGINE_VERSION_ID
eventKind: PROGRESS
model:
endTime: '2023-05-31T00:00:00Z'
engineConfig: projects/PROJECT_ID/locations/REGION_ID/instances/INSTANCE_ID/engineConfigs/ENGINE_CONFIG_ID
engineVersion: projects/PROJECT_ID/locations/REGION_ID/instances/INSTANCE_ID/engineVersions/ENGINE_VERSION_ID
lineOfBusiness: RETAIL
primaryDataset: projects/PROJECT_ID/locations/REGION_ID/instances/INSTANCE_ID/datasets/DATASET_ID
state: CREATING
partyCount: '9246'
taskCount: 16
logName: projects/PROJECT_ID/logs/financialservices.googleapis.com%2Fmodel_creation
operation:
id: projects/PROJECT_NUMBER/locations/REGION_ID/operations/OPERATION_ID
producer: financialservices.googleapis.com
receiveTimestamp: '2023-06-07T13:57:00.454668648Z'
resource:
labels:
instance_id: INSTANCE_ID
location: REGION_ID
model_id: MODEL_ID
resource_container: projects/PROJECT_NUMBER
type: financialservices.googleapis.com/Model
severity: INFO
timestamp: '2023-06-07T13:56:59.772973055Z'
FIN du journal
Les journaux avec eventKind=END sont générés à la fin de l'opération.
Voici un exemple de journal d'échec de la création d'une configuration de moteur. Il contient l'erreur concernant des données incorrectes dans l'ensemble de données fourni.
jsonPayload:
'@type': type.googleapis.com/google.cloud.financialservices.logging.v1.EngineConfigCreationLog
completedTaskCount: 3
engineConfig:
engineVersion: projects/PROJECT_ID/locations/REGION_ID/instances/INSTANCE_ID/engineVersions/ENGINE_VERSION_ID
lineOfBusiness: RETAIL
performanceTarget:
partyInvestigationsPerPeriodHint: '100'
state: CREATING
tuning:
endTime: '2019-04-30T00:00:00Z'
primaryDataset: projects/PROJECT_ID/locations/REGION_ID/instances/INSTANCE_ID/datasets/DATASET_ID
eventKind: END
operationStatus:
code: 9
details:
- '@type': type.googleapis.com/google.rpc.ErrorInfo
domain: financialservices.googleapis.com
metadata:
count: '15'
data_field: party_id, validity_start_time
data_table: party
description: There is a duplicate primary key value in the database resulting
in unique key violation. Note that for tables with validity_start_time,
the primary key includes validity_start_time
test: GROUP BY party_id, validity_start_time HAVING count(1) > 1
reason: DUPLICATE_PRIMARY_KEY
message: Dataset validation failed with 1 error. See error details for individual
violations.
partyCount: '9246'
taskCount: 16
logName: projects/PROJECT_ID/logs/financialservices.googleapis.com%2Fengine_config_creation
operation:
id: projects/PROJECT_NUMBER/locations/REGION_ID/operations/OPERATION_ID
last: true
producer: financialservices.googleapis.com
receiveTimestamp: '2023-06-07T14:26:30.214382295Z'
resource:
labels:
engine_config_id: ENGINE_CONFIG_ID
instance_id: INSTANCE_ID
location: REGION_ID
resource_container: projects/PROJECT_NUMBER
type: financialservices.googleapis.com/EngineConfig
severity: ERROR
timestamp: '2023-06-07T14:26:29.670913895Z'
Pour afficher tous les journaux des erreurs de création de configuration de moteur, utilisez le filtre ci-dessous:
logName="projects/PROJECT_ID/logs/financialservices.googleapis.com%2Fengine_config_creation" AND severity>=ERROR