Importa i metadati utilizzando una pipeline personalizzata

Questo documento descrive come importare i metadati di Dataplex Catalog da un sistema di terze parti in Dataplex utilizzando i metodi dell'API di importazione dei metadati e la tua pipeline. I metadati di Dataplex Catalog sono costituiti da voci e relativi aspetti.

Se invece vuoi utilizzare una Google Cloudpipeline di orchestrazione gestita per estrarre e importare i metadati, ti consigliamo di utilizzare una pipeline di connettività gestita. Con una pipeline di connettività gestita, puoi utilizzare il tuo connettore che estrae i metadati e genera un output in un formato che può essere utilizzato come input dai metodi dell'API di importazione dei metadati (il file di importazione dei metadati). Poi, utilizza i flussi di lavoro per orchestrare le attività della pipeline.

Puoi eseguire i seguenti tipi di job di importazione dei metadati:

  • Sincronizzazione completa delle voci con importazione incrementale dei relativi aspetti. Supportato per le voci personalizzate.
  • Importazione incrementale solo degli aspetti. Supportato per gli aspetti che appartengono alle voci personalizzate e di sistema. Per le voci personalizzate, puoi modificare sia gli aspetti facoltativi sia quelli obbligatori. Per le voci di sistema, puoi modificare aspetti facoltativi.

Passaggi di alto livello

Per importare i metadati utilizzando l'API di importazione dei metadati, segui questi passaggi di alto livello:

  1. Determina l'ambito del job.

    Inoltre, scopri come Dataplex applica la logica di confronto e la modalità di sincronizzazione per voci e aspetti.

  2. Crea uno o più file di importazione dei metadati che definiscono i dati da importare.

  3. Salva i file di importazione dei metadati in un bucket Cloud Storage.

  4. Esegui un job di importazione dei metadati.

I passaggi in questa pagina presuppongono che tu abbia familiarità con i concetti di Dataplex Catalog, inclusi gruppi di voci, tipi di voci e tipi di aspetto. Per saperne di più, consulta la panoramica di Dataplex Catalog.

Prima di iniziare

Prima di importare i metadati, completa le attività in questa sezione.

Ruoli obbligatori

Per assicurarti che l'account di servizio Dataplex abbia le autorizzazioni necessarie per accedere al bucket Cloud Storage, chiedi all'amministratore di concedere all'account di servizio Dataplex il ruolo IAM Visualizzatore oggetti Storage (roles/storage.objectViewer) e l'autorizzazione storage.buckets.get per il bucket.

Per ottenere le autorizzazioni necessarie per gestire i job di metadati, chiedi all'amministratore di concederti i seguenti ruoli IAM:

  • Modifica le voci e i relativi aspetti in un job di sincronizzazione dei metadati delle voci complete:
    • Dataplex Entry Type User (roles/dataplex.entryTypeUser) sul tipo di voce o sul progetto in cui è definito il tipo di voce
    • Dataplex Aspect Type User (roles/dataplex.aspectTypeUser) sul tipo di aspetto o sul progetto in cui è definito il tipo di aspetto
  • Modifica gli aspetti obbligatori in un job di metadati solo per gli aspetti:
    • Dataplex Entry Type User (roles/dataplex.entryTypeUser) sul tipo di voce o sul progetto in cui è definito il tipo di voce
    • Dataplex Aspect Type User (roles/dataplex.aspectTypeUser) sul tipo di aspetto o sul progetto in cui è definito il tipo di aspetto
  • Modifica gli aspetti facoltativi in un job di metadati solo per gli aspetti: Dataplex Aspect Type User (roles/dataplex.aspectTypeUser) sul tipo di aspetto o sul progetto in cui è definito. Tieni presente che, quando modifichi gli aspetti facoltativi in un job di metadati solo per gli aspetti, non sono necessarie autorizzazioni per il tipo di voce associato.
  • Crea job di metadati:
  • Visualizza i job di metadati: Dataplex Metadata Job Viewer (roles/dataplex.metadataJobViewer) nel progetto
  • Crea, visualizza e annulla i job di metadati: Dataplex Metadata Job Owner (roles/dataplex.metadataJobOwner) nel progetto

Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Crea Google Cloud risorse

Prepara le seguenti Google Cloud risorse:

  1. Crea un gruppo di voci per le voci che vuoi importare.
  2. Crea tipi di aspetti per gli aspetti che vuoi importare.
  3. Crea tipi di voci per le voci che vuoi importare.
  4. Se stai eseguendo un job di metadati solo per gli aspetti, crea voci per gli aspetti che vuoi importare.
  5. Crea un bucket Cloud Storage per archiviare i file di importazione dei metadati.

Componenti di un job di metadati

Quando importi i metadati, tieni presenti i seguenti componenti di un job di metadati:

  • Ambito del job: il gruppo di voci, i tipi di voci e i tipi di aspetti da includere nel job.
  • Modalità di sincronizzazione: il modo in cui vengono aggiornate le voci e gli aspetti del job.
  • File di importazione dei metadati: un file che definisce i valori da impostare per le voci e gli aspetti nel job. Puoi fornire più file di importazione dei metadati nello stesso job dei metadati. Salva i file in Cloud Storage.
  • Logica di confronto: il modo in cui Dataplex determina quali voci e aspetti modificare.

Ambito job

L'ambito del job definisce il gruppo di voci, i tipi di voci e i tipi di aspetti da includere in un job dei metadati. Quando importi i metadati, modifichi le voci e gli aspetti che appartengono alle risorse nell'ambito del job.

Per definire l'ambito del job, segui queste linee guida:

  • Gruppo di voci: specifica un singolo gruppo di voci da includere nel job. Il job modifica solo le voci e gli aspetti che appartengono a questo gruppo di voci. Il gruppo di voci e il job devono trovarsi nella stessa regione.

  • Tipi di voci: specifica uno o più tipi di voci da includere nel job. Il job modifica solo le voci e gli aspetti che appartengono a questi tipi di voci. La posizione di un tipo di voce deve corrispondere a quella del job oppure il tipo di voce deve essere globale.

  • Tipi di aspetti: specifica uno o più tipi di aspetti da includere nel job. Il job modifica solo gli aspetti che appartengono a questi tipi di aspetti. La posizione di un tipo di aspetto deve corrispondere a quella del job oppure il tipo di aspetto deve essere globale.

Specifichi l'ambito del job quando crei un job di metadati.

Modalità di sincronizzazione

La modalità di sincronizzazione specifica in che modo vengono aggiornati le voci e gli aspetti in un job di metadati. Fornisci una modalità di sincronizzazione sia per le voci che per gli aspetti. A seconda delle risorse che vuoi importare, sono supportate le seguenti combinazioni di modalità di sincronizzazione.

Obiettivo Modalità di sincronizzazione delle voci Modalità di sincronizzazione delle proporzioni Risultati
Importare le voci e i relativi aspetti FULL INCREMENTAL

Tutte le voci nell'ambito del job vengono modificate.

Se in Dataplex esiste una voce, ma non è inclusa nel file di importazione dei metadati, la voce viene eliminata quando viene eseguito il job dei metadati.

Un aspetto viene modificato solo se il file di importazione dei metadati include un riferimento all'aspetto nel campo updateMask e nel aspectKeys. Consulta Struttura di un elemento di importazione.
Importa solo aspetti NONE INCREMENTAL

Gli aspetti vengono modificati se fanno parte dell'ambito del job e se il file di importazione dei metadati include un riferimento agli aspetti nel campo aspectKeys. Vedi Struttura di un elemento di importazione.

Gli altri metadati appartenenti alle voci nell'ambito del job non vengono modificati.

Specifichi la modalità di sincronizzazione quando crei un job di metadati.

File di importazione dei metadati

Il file di importazione dei metadati è una raccolta di voci e aspetti che vuoi modificare. Definisce i valori da impostare per tutti i campi che appartengono a queste voci e aspetti. Prepara il file prima di eseguire un job di metadati.

Si applicano le seguenti linee guida generali:

  • Puoi fornire più file di importazione dei metadati nello stesso job dei metadati.

  • Quando esegui un job di metadati di sincronizzazione delle voci completo, le voci fornite nel file sostituiscono completamente tutte le voci esistenti per tutte le risorse che rientrano nell'ambito del job. Ciò significa che devi includere i valori per tutte le voci di un job, non solo quelli che vuoi aggiungere o aggiornare. Per ottenere un elenco delle voci correnti del progetto da utilizzare come punto di partenza, utilizza il metodo dell'API entries.list.

  • Devi fornire un file di importazione dei metadati nell'ambito di un job di metadati. Se vuoi eliminare tutti i dati esistenti per le voci che rientrano nell'ambito del job, fornisci un file di importazione dei metadati vuoto.

  • Tutte le voci e gli aspetti inclusi nel file devono appartenere ai gruppi di voci, ai tipi di voci e ai tipi di aspetti che definisci nell'ambito del job.

Utilizza le linee guida dettagliate riportate nelle sezioni seguenti per creare un file di importazione dei metadati.

Struttura del file

Ogni riga del file di importazione dei metadati contiene un oggetto JSON che corrisponde a un elemento di importazione. Un elemento di importazione è un oggetto che descrive i valori da modificare per una voce e i relativi aspetti associati.

Puoi fornire più elementi di importazione in un unico file di importazione dei metadati. Tuttavia, non fornire lo stesso elemento di importazione più di una volta in un job di metadati. Utilizza un carattere di riga nuova (0x0a) per separare ogni elemento di importazione.

Un file di importazione dei metadati con un carattere di a capo tra ogni elemento di importazione è simile all'esempio seguente:

{ "entry": { "name": "entry 1", #Information about entry 1 }
{ "entry": { "name": "entry 2", #Information about entry 2 }

Struttura di un elemento di importazione

Ogni elemento di importazione nel file di importazione dei metadati può includere i seguenti campi (vedi ImportItem). L'esempio seguente è formattato con interruzioni di riga per la leggibilità, ma quando salva il file, includi un carattere di a capo solo dopo ogni elemento di importazione. Non includere interruzioni di riga tra i campi di un singolo elemento di importazione.

{
  "entry": {
    "name": "ENTRY_NAME",
    "entryType": "ENTRY_TYPE",
    "entrySource": {
      "resource": "RESOURCE",
      "system": "SYSTEM",
      "platform": "PLATFORM",
      "displayName": "DISPLAY_NAME",
      "description": "DESCRIPTION",
      "createTime": "ENTRY_CREATE_TIMESTAMP",
      "updateTime": "ENTRY_UPDATE_TIMESTAMP"
    },
    "aspects": {
      "ASPECT": {
        "data": {
          "KEY": "VALUE"
        },
        "aspectSource": {
          "createTime": "ASPECT_CREATE_TIMESTAMP",
          "updateTime": "ASPECT_UPDATE_TIMESTAMP"
        }
      },
      # Additional aspect maps
    },
    "parentEntry": "PARENT_ENTRY",
    "fullyQualifiedName": "FULLY_QUALIFIED_NAME"
  },
  "updateMask": "UPDATE_MASK_FIELDS",
  "aspectKeys": [
    "ASPECT_KEY",
    # Additional aspect keys
  ],
}

Sostituisci quanto segue:

  • entry: informazioni su una voce e sugli aspetti associati. In un job di metadati solo per aspetti, Dataplex ignora tutti i campi facoltativi per una voce, ad eccezione delle mappe degli aspetti.

    • ENTRY_NAME: il nome della risorsa relativa della voce, nel formato projects/PROJECT_ID_OR_NUMBER/locations/LOCATION_ID/entryGroups/ENTRY_GROUP_ID/entries/ENTRY_ID.
    • ENTRY_TYPE: il nome della risorsa relativa del tipo di voce utilizzato per creare questa voce, nel formato projects/PROJECT_ID_OR_NUMBER/locations/LOCATION_ID/entryTypes/ENTRY_TYPE_ID.
    • entrySource: informazioni del sistema di origine sulla risorsa di dati rappresentata dalla voce:
      • RESOURCE: il nome della risorsa nel sistema di origine.
      • SYSTEM: il nome del sistema di origine.
      • PLATFORM: la piattaforma contenente il sistema di origine.
      • DISPLAY_NAME: un nome visualizzato facile da usare.
      • DESCRIPTION: una descrizione della voce.
      • ENTRY_CREATE_TIMESTAMP: l'ora in cui è stata creata la voce nel sistema di origine.
      • ENTRY_UPDATE_TIMESTAMP: l'ora in cui la voce è stata aggiornata nel sistema di origine.

    • aspects: gli aspetti associati alla voce. L'oggetto aspect e i suoi dati sono chiamati mappa degli aspetti.

      • ASPECT: un aspetto associato alla voce. A seconda di come l'aspetto è associato alla voce, utilizza uno dei seguenti formati:

        • Se l'aspetto è allegato direttamente alla voce, fornisci il nome della risorsa relativa al tipo di aspetto, nel formatoPROJECT_ID_OR_NUMBER.LOCATION_ID.ASPECT_TYPE_ID.
        • Se l'aspetto è associato al percorso della voce, fornisci il percorso del tipo di aspetto nel formatoPROJECT_ID_OR_NUMBER.LOCATION_ID.ASPECT_TYPE_ID@PATH.

      • KEY e VALUE: i contenuti dell'aspetto, in base al relativo modello di metadati del tipo di aspetto. I contenuti devono essere codificati in UTF-8. La dimensione massima del campo è 120 KB. Il dizionario data è obbligatorio, anche se vuoto.

      • ASPECT_CREATE_TIMESTAMP: l'ora in cui l'aspetto è stato creato nel sistema di origine.

      • ASPECT_UPDATE_TIMESTAMP: l'ora in cui l'aspetto è stato aggiornato nel sistema di origine.

    • PARENT_ENTRY: il nome della risorsa della voce principale.

    • FULLY_QUALIFIED_NAME: un nome per la voce a cui è possibile fare riferimento da un sistema esterno. Consulta Nomi completi.

  • UPDATE_MASK_FIELDS: i campi da aggiornare, in percorsi relativi alla risorsa Entry. Separa ogni campo con una virgola.

    In un job di sincronizzazione completa delle voci, Dataplex include i percorsi di tutti i campi di una voce che possono essere modificati, inclusi gli aspetti. Il campo updateMask viene ignorato quando viene creata o ricreata una voce.

    In un job di metadati solo aspetti, imposta questo valore su aspects.

  • ASPECT_KEY: gli aspetti da modificare. Supporta le seguenti sintassi:

    • ASPECT_TYPE_REFERENCE: corrisponde al tipo di aspetto per gli aspetti collegati direttamente alla voce.
    • ASPECT_TYPE_REFERENCE@PATH: corrisponde al tipo di aspetto e al percorso specificato.
    • ASPECT_TYPE_REFERENCE@*: corrisponde al tipo di aspetto per tutti i percorsi.
    • *@PATH: corrisponde a tutti i tipi di aspetti nel percorso specificato.

    Sostituisci ASPECT_TYPE_REFERENCE con un riferimento al tipo di aspetto, nel formato PROJECT_ID_OR_NUMBER.LOCATION_ID.ASPECT_TYPE_ID.

    In un job di sincronizzazione delle voci complete, se lasci vuoto questo campo, viene considerato come se specifichi esattamente gli aspetti presenti nella voce specificata. Dataplex aggiunge implicitamente le chiavi per tutti gli aspetti obbligatori di una voce.

Requisiti dei file

Il file di importazione dei metadati deve soddisfare i seguenti requisiti:

  • Il file deve essere formattato come file JSON Lines, ovvero un file JSON delimitato da nuova riga. Utilizza un carattere di nuova riga (0x0a) per separare ogni elemento di importazione.
  • Il file deve utilizzare la codifica dei caratteri UTF-8.
  • Le estensioni dei file supportate sono .jsonl e .json.
  • Le dimensioni di ogni file di importazione dei metadati devono essere inferiori a 1 GiB. La dimensione massima totale di tutti i dati nel job dei metadati è 3 GB. Sono inclusi tutti i file e i metadati associati al job.
  • Le voci e gli aspetti specificati nel file devono far parte dell'ambito del job dei metadati.
  • Il file deve essere caricato in un bucket Cloud Storage. Non salvare il file in una cartella denominata CLOUD_STORAGE_URI/deletions/.

Logica di confronto

Dataplex determina quali voci e aspetti modificare confrontando i valori e i timestamp forniti nel file di importazione dei metadati con i valori e i timestamp esistenti nel progetto.

A un livello generale, Dataplex aggiorna i valori del progetto quando almeno una modifica proposta nel file di importazione dei metadati cambia lo stato del progetto durante l'esecuzione del job, senza introdurre dati obsoleti. Al cambiamento proposto deve essere fatto riferimento nel campo della maschera di aggiornamento o nel campo delle chiavi di aspetto nel file di importazione dei metadati.

La logica di confronto varia a seconda del tipo di job dei metadati eseguito.

Job di sincronizzazione delle voci complete

In un job di metadati di sincronizzazione delle voci complete, per ogni voce che fa parte dell'ambito del job, Dataplex esegue una delle seguenti operazioni:

  • Crea una voce e gli aspetti collegati. Se il file di importazione dei metadati include una voce che non esiste nel progetto, Dataplex crea la voce e gli aspetti allegati.
  • Elimina una voce e gli aspetti collegati. Se nel progetto esiste una voce, ma il file di importazione dei metadati non la include, Dataplex elimina la voce e gli aspetti associati dal progetto.

  • Aggiorna una voce e gli aspetti collegati. Se una voce esiste sia nel file di importazione dei metadati sia nel progetto, Dataplex valuta i timestamp delle origini delle voci e gli aspetti associati alla voce per determinare quali valori modificare. Quindi, Dataplex esegue una o più delle seguenti operazioni:

    • Ri crea la voce. Se il timestamp di creazione dell'origine della voce nel file di importazione dei metadati è più recente del timestamp corrispondente nel progetto, Dataplex ricrea la voce nel progetto.
    • Aggiorna la voce. Se il timestamp dell'aggiornamento dell'origine della voce nel file di importazione dei metadati è più recente del timestamp corrispondente nel progetto, Dataplex aggiorna la voce nel progetto.
    • Crea un aspetto. Se un aspetto non esiste nel progetto ed è incluso in una mappa di aspetti, nel campo della maschera di aggiornamento e nel campo delle chiavi di aspetto nel file di importazione dei metadati, Dataplex lo crea.
    • Elimina un aspetto. Se nel tuo progetto esiste un aspetto ed è incluso nel campo della maschera di aggiornamento e nel campo delle chiavi dell'aspetto nel file di importazione dei metadati, ma non è incluso in una mappa di aspetti, Dataplex lo elimina.

    • Aggiorna un aspetto. Se nel progetto esiste un aspetto ed è incluso in una mappa di aspetti, nel campo della maschera di aggiornamento e nel campo delle chiavi di aspetto nel file di importazione dei metadati e il timestamp dell'aggiornamento dell'origine dell'aspetto nel file di importazione dei metadati è più recente del timestamp corrispondente nel progetto, Dataplex aggiorna l'aspetto.

      Se nel file di importazione dei metadati non è specificato il timestamp di aggiornamento dell'origine dell'aspetto, ma la voce corrispondente è contrassegnata per un aggiornamento, Dataplex aggiorna anche l'aspetto.

      Tuttavia, se almeno un aspetto nel file di importazione dei metadati ha un timestamp precedente rispetto al timestamp corrispondente nel progetto, Dataplex non apporta aggiornamenti per la voce allegata.

Job solo per gli aspetti

In un job di metadati solo per aspetti, per ogni aspetto che fa parte dell'ambito del job, Dataplex esegue una delle seguenti operazioni:

  • Crea un aspetto. Se un aspetto non esiste nel progetto ed è incluso in una mappa di aspetti, nel campo della maschera di aggiornamento e nel campo delle chiavi di aspetto nel file di importazione dei metadati, Dataplex lo crea.

  • Elimina un aspetto. Per gli aspetti facoltativi, se l'aspetto esiste nel progetto ed è incluso nel campo della maschera di aggiornamento e nel campo delle chiavi dell'aspetto nel file di importazione dei metadati, ma non è incluso in una mappa degli aspetti, Dataplex lo elimina.

    Gli aspetti obbligatori non possono essere eliminati.

  • Aggiorna un aspetto. Se nel progetto esiste un aspetto ed è incluso in una mappa di aspetti, nel campo della maschera di aggiornamento e nel campo delle chiavi di aspetto nel file di importazione dei metadati e il timestamp dell'aggiornamento dell'origine dell'aspetto nel file di importazione dei metadati è più recente del timestamp corrispondente nel progetto, Dataplex aggiorna l'aspetto.

    Se nel file di importazione dei metadati non viene fornito un timestamp di aggiornamento dell'origine dell'aspetto, Dataplex aggiorna anche l'aspetto.

    Dataplex aggiorna gli aspetti in base al timestamp dell'aggiornamento dell'origine dell'aspetto, indipendentemente dal timestamp dell'aggiornamento dell'origine della voce corrispondente.

Crea un file di importazione dei metadati

Prima di importare i metadati, crea un file di importazione dei metadati per il tuo job. Segui questi passaggi:

  1. Prepara un file di importazione dei metadati seguendo le linee guida descritte in precedenza in questo documento.
  2. Carica il file in un bucket Cloud Storage.

Puoi fornire più file di importazione dei metadati nello stesso job dei metadati. Per fornire più file, salvali nello stesso bucket Cloud Storage. Quando esegui il job, specifica un bucket, non un file specifico. Dataplex importa i metadati da tutti i file salvati nel bucket, inclusi i file nelle sottocartelle.

Esegui un job di importazione dei metadati

Dopo aver creato un file di importazione dei metadati, esegui un job di importazione dei metadati utilizzando l'API.

REST

Per importare i metadati, utilizza il metodo metadataJobs.create.

Prima di utilizzare i dati della richiesta, apporta le seguenti sostituzioni:

  • PROJECT_NUMBER: il Google Cloud numero o l'ID progetto.
  • LOCATION_ID: la Google Cloud posizione, ad esempio us-central1.
  • METADATA_JOB_ID: facoltativo. L'ID job dei metadati.

  • CLOUD_STORAGE_URI: l'URI del bucket o della cartella Cloud Storage contenente i file di importazione dei metadati. Per ulteriori informazioni sui requisiti dei file, consulta File di importazione dei metadati.

  • ENTRY_GROUP: il nome della risorsa relativa del gruppo di voci che rientra nell'ambito del job, nel formato projects/PROJECT_ID_OR_NUMBER/locations/LOCATION_ID/entryGroups/ENTRY_GROUP_ID. Fornisci un solo gruppo di voci. Per ulteriori informazioni, consulta Ambito del job.

  • ENTRY_TYPE: il nome della risorsa relativa di un tipo di voce che rientra nell'ambito del job, nel formato projects/PROJECT_ID_OR_NUMBER/locations/LOCATION_ID/entryTypes/ENTRY_TYPE_ID. Per ulteriori informazioni, consulta Ambito del job.

  • ASPECT_TYPE: il nome della risorsa relativa di un tipo di aspetto incluso nell'ambito del job, nel formato projects/PROJECT_ID_OR_NUMBER/locations/LOCATION_ID/aspectTypes/ASPECT_TYPE_ID. Facoltativo quando viene creato un job di sincronizzazione delle voci complete, obbligatorio quando viene creato un job solo per gli aspetti. Per ulteriori informazioni, consulta Ambito del job.
  • ENTRY_SYNC_MODE: la modalità di sincronizzazione delle voci, ad esempio FULL o NONE. Per saperne di più, vedi Modalità di sincronizzazione.
  • LOG_LEVEL: il livello di log da acquisire, ad esempio INFO o DEBUG. Per ulteriori informazioni, consulta Visualizzare i log dei job e risolvere i problemi.

Metodo HTTP e URL: 

POST https://dataplex.googleapis.com/v1/projects/PROJECT_NUMBER/locations/LOCATION_ID/metadataJobs?metadataJobId=METADATA_JOB_ID

Corpo JSON della richiesta: 

{
  "type": IMPORT,
  "import_spec": {
    "source_storage_uri": gs://CLOUD_STORAGE_URI/,
    "scope": {
      "entryGroups": [
        ENTRY_GROUP
      ],
      "entry_types": [
        ENTRY_TYPE
      ],
      "aspect_types": [
        ASPECT_TYPE
      ]
    },
    "entry_sync_mode": ENTRY_SYNC_MODE,
    "aspect_sync_mode": INCREMENTAL,
    "log_level": LOG_LEVEL
  }
}

Per inviare la richiesta, espandi una di queste opzioni:

La risposta identifica un'operazione a lunga esecuzione.

Visualizzare i dettagli di un job di metadati

Per ottenere informazioni su un job di metadati, ad esempio lo stato del job e il numero di voci modificate, segui questi passaggi. Per ulteriori informazioni su come risolvere i problemi di un job non riuscito, consulta la sezione Visualizzare i log dei job e risolvere i problemi di questo documento.

REST

Per ottenere informazioni su un job di metadati, utilizza il metodo metadataJobs.get.

Visualizza un elenco di job di metadati

Puoi ottenere un elenco dei job di metadati più recenti. I job precedenti che hanno raggiunto uno stato terminale vengono eliminati periodicamente dal sistema.

REST

Per ottenere un elenco dei job di metadati più recenti, utilizza il metodo metadataJobs.list.

Annullamento di un job di metadati

Puoi annullare un job dei metadati che non vuoi eseguire.

REST

Per annullare un job di metadati, utilizza il metodo metadataJobs.cancel.

Visualizza i log dei job e risolvi i problemi

Utilizza Cloud Logging per visualizzare i log di un job di metadati. Per ulteriori informazioni, consulta Monitorare i log di Dataplex.

Il livello di log viene configurato quando crei un job di metadati. Sono disponibili i seguenti livelli di log:

  • INFO: fornisce i log a livello di job complessivo. Sono inclusi i log aggregati relativi agli elementi di importazione, ma non viene specificato quale elemento di importazione presenta un errore.

  • DEBUG: fornisce log dettagliati per ogni elemento di importazione. Utilizza la registrazione a livello di debug per risolvere i problemi relativi a elementi di importazione specifici. Ad esempio, utilizza la registrazione a livello di debug per identificare le risorse mancanti nell'ambito del job, le voci o gli aspetti non conformi al tipo di voce o al tipo di aspetto associato o altre configurazioni errate del file di importazione dei metadati.

Errori di convalida

Dataplex convalida i file di importazione dei metadati in base ai metadati correnti del progetto. In caso di problemi di convalida, lo stato del job potrebbe restituire uno dei seguenti stati:

  • FAILED: si verifica quando il file di importazione dei metadati contiene un errore. Dataplex non importa metadati e il job non va a buon fine. Ecco alcuni esempi di errori nel file di importazione dei metadati:
    • Un elemento del file non può essere analizzato in un elemento di importazione valido
    • Una voce o un aspetto nel file appartiene a un gruppo di voci, a un tipo di voce o a un tipo di aspetto che non fa parte dell'ambito del job
    • Lo stesso nome di voce è specificato più di una volta nel job
    • Un tipo di aspetto specificato in una mappa degli aspetti o nelle chiavi degli aspetti non utilizza il formato PROJECT_ID_OR_NUMBER.LOCATION_ID.ASPECT_TYPE_ID@OPTIONAL_PATH
    • Un aspetto obbligatorio è contrassegnato per l'eliminazione
  • SUCCEEDED_WITH_ERRORS: si verifica quando il file di importazione dei metadati può essere interpretato correttamente, ma l'importazione di un elemento nel file causerebbe uno stato incoerente di una voce nel progetto. Dataplex ignora queste voci, ma importa il resto dei metadati dal file.

Utilizza i log dei job per risolvere il problema.

Passaggi successivi