Questa pagina è stata tradotta dall'API Cloud Translation.

Elabora i dati utilizzando i modelli

Dataplex fornisce modelli basati su Dataflow per eseguire attività comuni di elaborazione dei dati, come l'importazione, l'elaborazione e la gestione del ciclo di vita dei dati. Questa guida descrive come configurare ed eseguire i dati per l'elaborazione dei modelli.

Prima di iniziare

I modelli Dataplex sono basati su Dataflow. Prima di utilizzare i modelli, abilita le API Dataflow.

Abilita le API Dataflow

Note

Tutti i modelli supportano Opzioni pipeline di Dataflow.
Dataplex utilizza le pipeline di dati per pianificare le attività definite dai modelli.
Puoi visualizzare solo le attività che pianifichi tramite Dataplex nella pagina Dataplex della console Google Cloud.

Modello: converti i dati non elaborati in dati selezionati

Il modello di conversione del formato file Dataplex converte i dati in un asset Dataplex Cloud Storage o in un elenco di entità Dataplex archiviate in formati CSV o JSON in dati in formato Parquet o Avro in un altro asset Dataplex. Il layout della partizione viene conservato nella conversione. Supporta anche la compressione dei file di output.

Parametri del modello

Parametro	Descrizione
`inputAssetOrEntitiesList`	L'asset Dataplex o le entità Dataplex che contengono i file di input. Questo parametro deve avere il formato: `projects/<name>/locations/<loc>/lakes/<lake-name>/zones/<zone-name>/assets/<asset-name>` o `projects/<name>/locations/<loc>/lakes/<lake-name>/zones/<zone-name>/entities/<entity1-name>,projects/<name>/locations/<loc>/lakes/<lake-name>/zones/<zone-name>/entities/<entity 2 name>...`
`outputFileFormat`	Il formato del file di output in Cloud Storage. Questo parametro sono nel formato: `PARQUET` o `AVRO`.
`outputAsset`	Il nome dell'asset Dataplex che contiene Bucket Cloud Storage in cui verranno archiviati i file di output. Questo deve essere nel formato: `projects/<name>/locations/<loc>/lakes/<lake-name>/zones/<zone-name>/assets/<asset-name>`. Puoi trovare il `outputAsset` nella console Google Cloud, nella scheda `Details` Asset Dataplex.
`outputFileCompression`	(Facoltativo) La compressione del file di output. Il valore predefinito per questo è `SNAPPY`. Altri valori per il parametro possono essere: `UNCOMPRESSED`, `SNAPPY`, `GZIP` o `BZIP2`. `BZIP2` non è supportato per i file `PARQUET`.
`writeDisposition`	(Facoltativo) Specifica l'azione che si verifica se esiste già un file di destinazione. Il valore predefinito per questo parametro è `SKIP`, che indica di elaborare solo i file che non esistono nella directory di destinazione. Altri valori per il parametro possono essere `OVERWRITE` (sovrascrive i file esistenti) o `FAIL` (non viene elaborato nulla e viene generato un errore se esiste già almeno un file di destinazione).
`updateDataplexMetadata`	(Facoltativo) Se aggiornare i metadati di Dataplex per le entità appena create. Il valore predefinito di questo parametro è `false`. Se abilitata, la pipeline copierà automaticamente lo schema dall'origine alle entità Dataplex di destinazione e l'automazione Dataplex Discovery non verrà eseguito. Utilizza questo flag se lo schema dei dati di origine (non elaborati) è gestito da Dataplex.

Esegui il modello

Console

Nella console Google Cloud, vai alla pagina Dataplex:

Vai a Dataplex
Vai alla visualizzazione Processo.
Fai clic su Crea attività.
In Convertire in formati selezionati, fai clic su Crea attività.
Scegli un lake Dataplex.
Specifica un nome per l'attività.
Scegli una regione per l'esecuzione dell'attività.
Inserisci i parametri richiesti.
Fai clic su Continua.

gcloud

Sostituisci quanto segue:

JOB_NAME: a job name of your choice
PROJECT_ID: your template project ID
REGION_NAME: region in which to run the job
INPUT_ASSET_OR_ENTITIES_LIST: path to your JDBC drivers
OUTPUT_FILE_FORMAT: your output file format in Cloud Storage
OUTPUT_ASSET: your Dataplex output asset ID

Nella shell o nel terminale, esegui il modello:

gcloud beta dataflow flex-template run JOB_NAME \
--project=PROJECT_ID \
--region=REGION_NAME \
--template-file-gcs-location=gs://dataflow-templates-REGION_NAME/latest/flex/Dataplex_File_Format_Conversion_Preview \
--parameters \
inputAssetOrEntitiesList=INPUT_ASSET_OR_ENTITIES_LIST,\
outputFileFormat=OUTPUT_FILE_FORMAT,\
outputAsset=OUTPUT_ASSET

API REST

Sostituisci quanto segue:

PROJECT_ID: your template project ID
REGION_NAME: region in which to run the job
JOB_NAME: a job name of your choice
INPUT_ASSET_OR_ENTITIES_LIST: path to your JDBC drivers
OUTPUT_FILE_FORMAT: your output file format in Cloud Storage
OUTPUT_ASSET: your Dataplex output asset ID

Invia una richiesta POST HTTP:

POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/REGION_NAME/flexTemplates:launch
{
  "launch_parameter": {
    "jobName": "JOB_NAME",
    "parameters": {
        "inputAssetOrEntitiesList": "INPUT_ASSET_OR_ENTITIES_LIST",
        "outputFileFormat": "OUTPUT_FILE_FORMAT",
        "outputAsset": "OUTPUT_ASSET",
    },
    "containerSpecGcsPath": "gs://dataflow-templates-REGION_NAME/latest/flex/Dataplex_File_Format_Conversion_Preview",
 }
}

Modello: Livello dei dati da un asset BigQuery a un asset Cloud Storage

Da Dataplex BigQuery a Cloud Storage copia i dati da un ambiente Dataplex in un asset Cloud Storage Dataplex in un Layout e formato compatibili con Dataplex. Puoi specificare un Set di dati BigQuery o un elenco di tabelle BigQuery da copiare. Per una maggiore flessibilità, il modello consente di copiare i dati precedenti a una data di modifica specificata e, facoltativamente, di eliminare i dati da BigQuery dopo una copia riuscita.

Quando copi le tabelle partizionate da BigQuery Cloud Storage:

Il modello crea partizioni in stile Hive nel bucket Cloud Storage. BigQuery non può avere la chiave di partizione in stile Hive uguale a una colonna esistente. Puoi utilizzare l'opzione enforceSamePartitionKey per creare una nuova chiave di partizione o mantenere stessa chiave di partizione, ma rinomina la colonna esistente.
Dataplex Discovery registra il tipo di partizione come string quando crei una tabella BigQuery (e una tabella in Dataproc Metastore). Ciò potrebbe influire sulla partizione esistente filtri corretti.

Esiste un limite al numero di tabelle e partizioni che possono essere trasformate in un'unica esecuzione del modello, pari a circa 300. Il numero esatto dipende dalla lunghezza dei nomi delle tabelle e da altri fattori.

Parametri del modello

Parametro	Descrizione
`sourceBigQueryDataset`	Il set di dati BigQuery da cui eseguire il ranking dei dati. Questo parametro deve contenere il nome di una risorsa Dataplex nel formato `projects/<name>/locations/<loc>/lakes/<lake-name>/zones/<zone-name>/assets/<asset-name>` o l'ID di un set di dati BigQuery nel formato `projects/<name>/datasets/<dataset-id>`.
`destinationStorageBucketAssetName`	Il nome dell'asset Dataplex per il bucket Cloud Storage per livelli i dati. Questo parametro deve seguire il formato `projects/<name>/locations/<loc>/lakes/<lake-name>/zones/<zone-name>/assets/<asset-name>`.
`tables`	(Facoltativo) Un elenco di tabelle BigQuery separate da virgole da livello. Se non viene fornito alcun elenco, tutte le tabelle saranno a più livelli. Le tabelle devono essere specificati solo dal proprio nome (nessun prefisso di progetto/set di dati) e sono sensibile alle maiuscole.
`exportDataModifiedBeforeDateTime`	(Facoltativo) Utilizza questo parametro per spostare i dati precedenti a questa data (e all'ora facoltativa). Per le tabelle BigQuery partizionate, sposta le partizioni modificate l'ultima volta prima di questa data/ora. Per non partizionati tabelle, sposta se la tabella è stata modificata l'ultima volta prima di questa data/ora. In caso contrario specificato, sposta tutte le tabelle/partizioni. Per impostazione predefinita, la data/l'ora viene analizzata nel fuso orario predefinito, ma sono supportati i suffissi facoltativi `Z` e `+HH:mm`. Questo parametro deve avere il seguente formato: `YYYY-MM-DD` o `YYYY-MM-DDTHH:mm:ss` o `YYYY-MM-DDTHH:mm:ss+03:00`. Data/ora relativa e devono seguire il formato `-PnDTnHnMn.nS` (deve iniziare con `-P`, che indica l'ora nel passato).
`fileFormat`	(Facoltativo) Il formato del file di output in Cloud Storage. Il valore predefinito di questo parametro è `PARQUET`. Un altro valore per il parametro può essere `AVRO`.
`fileCompression`	(Facoltativo) La compressione del file di output. Il valore predefinito di questo parametro è `SNAPPY`. Altri valori per il parametro possono essere `UNCOMPRESSED`, `SNAPPY`, `GZIP` o `BZIP2`. `BZIP2` non è supportato per `PARQUET` file.
`deleteSourceData`	(Facoltativo) Indica se eliminare i dati di origine da BigQuery dopo un'esportazione riuscita. I valori possono essere `true` o `false`. Il valore predefinito di questo parametro è `false`.
`partitionIdRegExp`	(Facoltativo) Elabora le partizioni con l'ID partizione corrispondente a questa normale . Se non viene fornito alcun valore, il valore predefinito di questo parametro è e l'elaborazione di tutti.
`writeDisposition`	Facoltativo: specifica l'azione che si verifica se un file di destinazione esiste già, il che significa che una o più tabelle/partizioni sono già state pre-livellati. Il valore predefinito per questo parametro è `SKIP`, che indica di elaborare solo le tabelle/partizioni che non sono già suddivise in livelli. Altri valori per il parametro possono essere: `OVERWRITE` (sovrascrivi i file esistenti) o `FAIL` (non elaborare nulla e generare un errore se è presente almeno una destinazione il file esiste già).
`enforceSamePartitionKey`	(Facoltativo) Se applicare la stessa chiave di partizione. A causa di una limitatezza di BigQuery, non è possibile che la chiave di partizione (nel percorso del file) di una tabella esterna partizionata abbia lo stesso nome di una delle colonne del file. Se questo parametro è true (che è il valore predefinito), la chiave di partizione del file di destinazione viene impostata sul nome della colonna della partizione originale e la colonna nel file viene rinominata. Se false, la chiave di partizione viene rinominata. Ad esempio, se la tabella originale è partizionata in base a una colonna denominata `TS` e `enforceSamePartitionKey=true`, poi il percorso del file di destinazione è `gs://<bucket>/TS=<partition ID>/<file>` e la colonna viene rinominata in `TS_pkey` nel file. Questo consente di eseguire query esistenti sulle stesse partizioni in la tabella precedente o quella nuova. Se `enforceSamePartitionKey=false`, il percorso del file di destinazione è `gs://<bucket>/TS_pid=<partition ID>/<file>`, ma il nome della colonna viene mantenuto come `TS` nel file.
`updateDataplexMetadata`	(Facoltativo) Se aggiornare i metadati Dataplex per nuove entità create. Il valore predefinito di questo parametro è `false`. Se questa opzione è attivata, la pipeline copia automaticamente lo schema dalle entità Dataplex di origine alle entità Dataplex di destinazione e la funzionalità automatica Dataplex Discovery non viene eseguita per queste entità. Utilizza questo flag se gestisce lo schema delle tabelle BigQuery di origine.

Esegui il modello

Console

Nella console Google Cloud, vai alla pagina Dataplex:

Vai a Dataplex
Vai alla vista Process.
Fai clic su Crea attività.
In Livello da BQ ad asset GCS, fai clic su Crea attività.
Scegli un lake Dataplex.
Specifica un nome per l'attività.
Scegli una regione per l'esecuzione dell'attività.
Inserisci i parametri richiesti.
Fai clic su Continua.

gcloud

Sostituisci quanto segue:

JOB_NAME: a job name of your choice
PROJECT_ID: your template project ID
REGION_NAME: region in which to run the job
SOURCE_ASSET_NAME_OR_DATASET_ID: your Dataplex asset
name for the source BigQuery dataset, or the dataset ID
DESTINATION_ASSET_NAME: your Dataplex asset name for
the destination Cloud Storage bucket

Nella shell o nel terminale, esegui il modello:

gcloud beta dataflow flex-template run JOB_NAME \
--project=PROJECT_ID \
--region=REGION_NAME \
--template-file-gcs-location=gs://dataflow-templates-REGION_NAME/latest/flex/Dataplex_BigQuery_to_GCS_Preview \
--parameters \
sourceBigQueryDataset=SOURCE_ASSET_NAME_OR_DATASET_ID,\
destinationStorageBucketAssetName=DESTINATION_ASSET_NAME

API REST

Sostituisci quanto segue:

PROJECT_ID: your template project ID
REGION_NAME: region in which to run the job
JOB_NAME: a job name of your choice
SOURCE_ASSET_NAME_OR_DATASET_ID: your Dataplex asset
name for the source BigQuery dataset, or the dataset ID
DESTINATION_ASSET_NAME: your Dataplex asset name for
the destination Cloud Storage bucket
REGION_NAME: region in which to run the job

Invia una richiesta POST HTTP:

POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/REGION_NAME/flexTemplates:launch
{
 "launch_parameter": {
    "jobName": "JOB_NAME",
    "parameters": {
        "sourceBigQueryDataset": "SOURCE_ASSET_NAME_OR_DATASET_ID",
        "destinationStorageBucketAssetName": "DESTINATION_ASSET_NAME",
    },
    "containerSpecGcsPath": "gs://dataflow-templates-REGION_NAME/latest/flex/Dataplex_BigQuery_to_GCS_Preview",
 }
}

Pianifica altri modelli Dataflow forniti da Google Cloud o personalizzati

Dataplex ti consente di pianificare e monitorare qualsiasi modello Dataflow fornito da Google Cloud o il tuo modello Dataflow personalizzato nella console.

Pianificazione

Console

Nella console Google Cloud, vai alla pagina Dataplex:

Vai a Dataplex
Vai alla vista Process.
Fai clic su Crea attività.
In Crea una pipeline Dataflow, fai clic su Crea pipeline Dataflow.
Scegli un lake Dataplex.
Specifica un nome per l'attività.
Scegli una regione per dove eseguire l'attività.
Scegli un modello di Dataflow.
Inserisci i parametri richiesti.
Fai clic su Continua.

Monitoraggio

Console

Nella console Google Cloud, vai alla pagina Dataplex:

Vai a Dataplex
Vai alla visualizzazione Procedura.
Fai clic su Pipeline di Dataflow.
Filtra per lake o nome pipeline.