Valutazione della migrazione
La valutazione della migrazione di BigQuery ti consente di pianificare e rivedere la migrazione del tuo data warehouse esistente in BigQuery. Puoi eseguire la valutazione della migrazione di BigQuery per generare un report per valutare i costi di archiviazione dei dati in BigQuery, vedere come BigQuery può ottimizzare il carico di lavoro esistente per risparmiare sui costi e preparare un piano di migrazione che illustri il tempo e l'impegno necessari per completare la migrazione del data warehouse a BigQuery.
Questo documento descrive come utilizzare la valutazione della migrazione di BigQuery e i diversi modi in cui puoi esaminare i risultati della valutazione. Questo documento è rivolto agli utenti che conoscono la console Google Cloud e il traduttore SQL batch.
Panoramica
Per preparare ed eseguire una valutazione della migrazione di BigQuery, segui questi passaggi:
Estrai metadati e log delle query dal tuo data warehouse utilizzando lo strumento
dwh-migration-dumper
.Carica i log dei metadati e delle query nel bucket Cloud Storage.
(Facoltativo) Esegui una query sui risultati della valutazione per trovare informazioni dettagliate o specifiche sulla valutazione.
Estrarre metadati e log delle query dal data warehouse
Per preparare la valutazione con i suggerimenti sono necessari sia i metadati che i log delle query.
Per estrarre i metadati e i log delle query necessari per eseguire la valutazione, seleziona il tuo data warehouse:
Teradata
Requisiti
- Una macchina connessa al data warehouse Teradata di origine (sono supportati Teradata 15 e versioni successive)
- Un account Google Cloud con un bucket Cloud Storage per archiviare i dati
- Un set di dati BigQuery vuoto per archiviare i risultati
- Autorizzazioni di lettura sul set di dati per visualizzare i risultati
- Consigliato: diritti di accesso a livello di amministratore al database di origine quando si utilizza lo strumento di estrazione per accedere alle tabelle di sistema
Requisito: abilita il logging
Lo strumento dwh-migration-dumper
estrae tre tipi di log: log delle query, log delle utilità e log di utilizzo delle risorse. Per visualizzare insight più approfonditi, devi abilitare il logging per i seguenti tipi di log:
- Log delle query:estratti dalla vista
dbc.QryLogV
e dalla tabelladbc.DBQLSqlTbl
. Abilita il logging specificando l'opzioneWITH SQL
. - Log di utilità: estratti dalla tabella
dbc.DBQLUtilityTbl
. Abilita l'accesso specificando l'opzioneWITH UTILITYINFO
. - Log di utilizzo delle risorse: estratti dalle tabelle
dbc.ResUsageScpu
edbc.ResUsageSpma
. Abilita il logging RSS per queste due tabelle.
Esegui lo strumento dwh-migration-dumper
Scarica lo strumento dwh-migration-dumper
.
Scarica il
file SHA256SUMS.txt
ed esegui questo comando per verificare la correttezza del file zip:
sha256sum --check SHA256SUMS.txt
Per maggiori dettagli su come configurare e utilizzare lo strumento di estrazione, consulta Generare metadati per la traduzione e la valutazione.
Usa lo strumento di estrazione per estrarre i log e i metadati dal data warehouse Teradata sotto forma di due file ZIP. Esegui questi comandi su una macchina con accesso al data warehouse di origine per generare i file.
Genera il file ZIP dei metadati:
dwh-migration-dumper \ --connector teradata \ --database DATABASES \ --driver path/terajdbc4.jar \ --host HOST \ --assessment \ --user USER \ --password PASSWORD
Genera il file ZIP contenente i log delle query:
dwh-migration-dumper \ --connector teradata-logs \ --driver path/terajdbc4.jar \ --host HOST \ --assessment \ --user USER \ --password PASSWORD
Sostituisci quanto segue:
DATABASES
: l'elenco separato da virgole di nomi dei database da estrarrePATH
: il percorso assoluto o relativo del file JAR del driver da utilizzare per questa connessioneVERSION
: la versione del driverHOST
: indirizzo hostUSER
: il nome utente da utilizzare per la connessione al databasePASSWORD
: la password da utilizzare per la connessione al databaseSe viene lasciato vuoto, all'utente viene chiesta la password.
Puoi utilizzare solo il flag --database
per il connettore teradata
. Questo flag consente di estrarre i metadati di uno o più database. Quando estrai i log delle query utilizzando il connettore teradata-logs
, il flag --database
non è disponibile. I log delle query vengono sempre estratti per tutti i database.
Per impostazione predefinita, i log delle query vengono estratti dalla vista dbc.QryLogV
e dalla tabella dbc.DBQLSqlTbl
. Se devi estrarre i log delle query da una posizione alternativa, puoi specificare i nomi delle tabelle o delle viste utilizzando i flag -Dteradata-logs.query-logs-table
e -Dteradata-logs.sql-logs-table
.
Per impostazione predefinita, i log dell'utilità vengono estratti dalla tabella dbc.DBQLUtilityTbl
. Se devi estrarre i log dell'utilità da una posizione alternativa, puoi specificare il nome della tabella utilizzando il flag -Dteradata-logs.utility-logs-table
.
Per impostazione predefinita, i log di utilizzo delle risorse vengono estratti dalle tabelle dbc.ResUsageScpu
e dbc.ResUsageSpma
. Se devi estrarre i log di utilizzo delle risorse da una posizione alternativa, puoi specificare i nomi delle tabelle utilizzando i flag -Dteradata-logs.res-usage-scpu-table
e -Dteradata-logs.res-usage-spma-table
.
Ad esempio:
Bash
dwh-migration-dumper \ --connector teradata-logs \ --driver path/terajdbc4.jar \ --host HOST \ --assessment \ --user USER \ --password PASSWORD \ -Dteradata-logs.query-logs-table=pdcrdata.QryLogV_hst \ -Dteradata-logs.sql-logs-table=pdcrdata.DBQLSqlTbl_hst \ -Dteradata-logs.log-date-column=LogDate \ -Dteradata-logs.utility-logs-table=pdcrdata.DBQLUtilityTbl_hst \ -Dteradata-logs.res-usage-scpu-table=pdcrdata.ResUsageScpu_hst \ -Dteradata-logs.res-usage-spma-table=pdcrdata.ResUsageSpma_hst
Windows PowerShell
dwh-migration-dumper ` --connector teradata-logs ` --driver path\terajdbc4.jar ` --host HOST ` --assessment ` --user USER ` --password PASSWORD ` "-Dteradata-logs.query-logs-table=pdcrdata.QryLogV_hst" ` "-Dteradata-logs.sql-logs-table=pdcrdata.DBQLSqlTbl_hst" ` "-Dteradata-logs.log-date-column=LogDate" ` "-Dteradata-logs.utility-logs-table=pdcrdata.DBQLUtilityTbl_hst" ` "-Dteradata-logs.res-usage-scpu-table=pdcrdata.ResUsageScpu_hst" ` "-Dteradata-logs.res-usage-spma-table=pdcrdata.ResUsageSpma_hst"
Per impostazione predefinita, lo strumento dwh-migration-dumper
estrae i log delle query degli ultimi sette giorni.
Google consiglia di fornire log delle query per almeno due settimane per poter visualizzare insight più approfonditi. Puoi specificare un intervallo di tempo personalizzato
utilizzando i flag --query-log-start
e --query-log-end
. Ad esempio:
dwh-migration-dumper \ --connector teradata-logs \ --driver path/terajdbc4.jar \ --host HOST \ --assessment \ --user USER \ --password PASSWORD \ --query-log-start "2023-01-01 00:00:00" \ --query-log-end "2023-01-15 00:00:00"
Puoi anche generare più file ZIP contenenti i log delle query relativi a periodi diversi e fornirli tutti per la valutazione.
Amazon Redshift
Requisiti
- Una macchina connessa al data warehouse Amazon Redshift di origine
- Un account Google Cloud con un bucket Cloud Storage per archiviare i dati
- Un set di dati BigQuery vuoto per archiviare i risultati
- Autorizzazioni di lettura sul set di dati per visualizzare i risultati
- Opzione consigliata: accesso dei super utenti al database quando usa lo strumento di estrazione per accedere alle tabelle di sistema
Esegui lo strumento dwh-migration-dumper
Scarica lo strumento di estrazione dalla riga di comando dwh-migration-dumper
.
Scarica il
file SHA256SUMS.txt
ed esegui questo comando per verificare la correttezza del file zip:
sha256sum --check SHA256SUMS.txt
Per maggiori dettagli su come utilizzare lo strumento dwh-migration-dumper
,
consulta la pagina
Generare metadati.
Usa lo strumento dwh-migration-dumper
per estrarre i log e i metadati dal tuo data warehouse Amazon Redshift sotto forma di due file ZIP.
Esegui questi comandi su una macchina con accesso al data warehouse di origine per generare i file.
Genera il file ZIP dei metadati:
dwh-migration-dumper \ --connector redshift \ --database DATABASE \ --driver PATH/redshift-jdbc42-VERSION.jar \ --host host.region.redshift.amazonaws.com \ --assessment \ --user USER \ --iam-profile IAM_PROFILE_NAME
Genera il file ZIP contenente i log delle query:
dwh-migration-dumper \ --connector redshift-raw-logs \ --database DATABASE \ --driver PATH/redshift-jdbc42-VERSION.jar \ --host host.region.redshift.amazonaws.com \ --assessment \ --user USER \ --iam-profile IAM_PROFILE_NAME
Sostituisci quanto segue:
DATABASE
: il nome del database a cui connettertiPATH
: il percorso assoluto o relativo del file JAR del driver da utilizzare per questa connessioneVERSION
: la versione del driverUSER
: il nome utente da utilizzare per la connessione al databaseIAM_PROFILE_NAME
: il nome del profilo IAM Redshift. Obbligatorio per l'autenticazione Redshift e per l'accesso all'API AWS. L'API AWS viene utilizzata per ottenere la descrizione dei cluster Redshift.
Per impostazione predefinita, Amazon Redshift archivia da tre a cinque giorni di log delle query.
Per impostazione predefinita, lo strumento dwh-migration-dumper
estrae i log delle query degli ultimi sette giorni.
Google consiglia di fornire log delle query per almeno due settimane per poter visualizzare insight più approfonditi. Potresti dover eseguire lo strumento di estrazione alcune volte nell'arco di due settimane per ottenere risultati ottimali. Puoi specificare un intervallo personalizzato utilizzando i flag --query-log-start
e --query-log-end
.
Ad esempio:
dwh-migration-dumper \ --connector redshift-raw-logs \ --database DATABASE \ --driver PATH/redshift-jdbc42-VERSION.jar \ --host host.region.redshift.amazonaws.com \ --assessment \ --user USER \ --iam-profile IAM_PROFILE_NAME \ --query-log-start "2023-01-01 00:00:00" \ --query-log-end "2023-01-02 00:00:00"
Puoi anche generare più file ZIP contenenti i log delle query relativi a periodi diversi e fornirli tutti per la valutazione.
Apache Hive
Per richiedere assistenza o feedback per questa funzionalità, invia un'email all'indirizzo
bq-edw-migration-support@google.com
.
Requisiti
- Una macchina connessa al data warehouse Apache Hive di origine (la valutazione della migrazione di BigQuery supporta Hive su Tez e MapReduce e supporta le versioni di Apache Hive comprese tra 2.2 e 3.1)
- Un account Google Cloud con un bucket Cloud Storage per archiviare i dati
- Un set di dati BigQuery vuoto per archiviare i risultati
- Autorizzazioni di lettura sul set di dati per visualizzare i risultati
- Accesso al data warehouse Apache Hive di origine per configurare l'estrazione dei log di query
- Statistiche aggiornate di tabelle, partizioni e colonne
La valutazione della migrazione di BigQuery utilizza le statistiche di tabelle, partizioni e colonne per comprendere meglio il data warehouse Apache Hive e fornire insight approfonditi. Se l'impostazione di configurazione hive.stats.autogather
è impostata su false
nel data warehouse Apache Hive di origine, Google consiglia di attivarla o di aggiornare le statistiche manualmente prima di eseguire lo strumento dwh-migration-dumper
.
Esegui lo strumento dwh-migration-dumper
Scarica lo strumento di estrazione dalla riga di comando dwh-migration-dumper
.
Scarica il
file SHA256SUMS.txt
ed esegui questo comando per verificare la correttezza del file zip:
sha256sum --check SHA256SUMS.txt
Per maggiori dettagli su come utilizzare lo strumento dwh-migration-dumper
, consulta
Generare metadati per la traduzione e la valutazione.
Utilizza lo strumento dwh-migration-dumper
per generare metadati dal tuo data warehouse Hive come file ZIP.
Senza autenticazione
Per generare il file ZIP dei metadati, esegui questo comando su una macchina che ha accesso al data warehouse di origine:
dwh-migration-dumper \ --connector hiveql \ --database DATABASES \ --host hive.cluster.host \ --port 9083 \ --assessment
Con autenticazione Kerberos
Per eseguire l'autenticazione al metastore, accedi come utente con accesso al metastore Hive e genera un ticket Kerberos. Quindi, genera il file ZIP dei metadati con il seguente comando:
JAVA_OPTS="-Djavax.security.auth.useSubjectCredsOnly=false" \ dwh-migration-dumper \ --connector hiveql \ --database DATABASES \ --host hive.cluster.host \ --port 9083 \ --hive-kerberos-url PRINCIPAL/HOST \ -Dhiveql.rpc.protection=hadoop.rpc.protection \ --assessment
Sostituisci quanto segue:
DATABASES
: l'elenco separato da virgole di nomi del database da estrarre. Se non viene specificato, vengono estratti tutti i database.PRINCIPAL
: l'entità Kerberos a cui viene emesso il bigliettoHOST
: il nome host kerberos su cui viene emesso il tickethadoop.rpc.protection
: il valore della qualità della protezione (QOP) del livello di configurazione SASL (Simple Authentication and Security Layer), uguale al valore del parametrohadoop.rpc.protection
all'interno del file/etc/hadoop/conf/core-site.xml
, con uno dei seguenti valori:authentication
integrity
privacy
Estrai i log delle query con l'hook di logging hadoop-migration-assessment
Per estrarre i log delle query:
- Carica l'hook di logging
hadoop-migration-assessment
. - Configura le proprietà dell'hook di logging.
- Verifica l'hook di logging.
Carica l'hook di logging hadoop-migration-assessment
Scarica l'hook di logging per l'estrazione dei log delle query
hadoop-migration-assessment
contenente il file JAR dell'hook di logging di Hive.Estrai il file JAR.
Se devi controllare lo strumento per assicurarti che soddisfi i requisiti di conformità, rivedi il codice sorgente dal repository GitHub dell'hook di logging di
hadoop-migration-assessment
e compila il tuo programma binario.Copia il file JAR nella cartella della libreria ausiliaria su tutti i cluster in cui prevedi di abilitare il logging delle query. A seconda del fornitore, devi individuare la cartella della libreria ausiliaria nelle impostazioni del cluster e trasferire il file JAR alla cartella della libreria ausiliaria sul cluster Hive.
Imposta le proprietà di configurazione per
hadoop-migration-assessment
hook di logging. A seconda del fornitore Hadoop, devi utilizzare la console dell'interfaccia utente per modificare le impostazioni del cluster. Modifica il file/etc/hive/conf/hive-site.xml
o applica la configurazione con Configuration Manager.
Configura le proprietà
Se hai già altri valori per le seguenti chiavi di configurazione, aggiungi le impostazioni utilizzando una virgola (,
). Per configurare l'hook di logging di hadoop-migration-assessment
, sono necessarie le seguenti impostazioni di configurazione:
hive.exec.failure.hooks
:com.google.cloud.bigquery.dwhassessment.hooks.MigrationAssessmentLoggingHook
hive.exec.post.hooks
:com.google.cloud.bigquery.dwhassessment.hooks.MigrationAssessmentLoggingHook
hive.exec.pre.hooks
:com.google.cloud.bigquery.dwhassessment.hooks.MigrationAssessmentLoggingHook
hive.aux.jars.path
: includi il percorso del file JAR dell'hook di logging, ad esempiofile://
./HiveMigrationAssessmentQueryLogsHooks_deploy.jar dwhassessment.hook.base-directory
: percorso della cartella di output dei log delle query. Ad esempio,hdfs://tmp/logs/
.Puoi anche impostare le seguenti configurazioni facoltative:
dwhassessment.hook.queue.capacity
: la capacità della coda per i thread di logging degli eventi delle query. Il valore predefinito è64
.dwhassessment.hook.rollover-interval
: la frequenza con cui deve essere eseguito il riporto del file. Ad esempio,600s
. Il valore predefinito è 3600 secondi (1 ora).dwhassessment.hook.rollover-eligibility-check-interval
: la frequenza con cui viene attivato il controllo di idoneità del riporto dei file in background. Ad esempio,600s
. Il valore predefinito è 600 secondi (10 minuti).
Verifica l'hook di logging
Dopo aver riavviato il processo hive-server2
, esegui una query di prova e analizza i log di debug. Puoi visualizzare il seguente messaggio:
Logger successfully started, waiting for query events. Log directory is '[dwhassessment.hook.base-directory value]'; rollover interval is '60' minutes; rollover eligibility check is '10' minutes
L'hook di logging crea una sottocartella partizionata in base alle date nella
cartella configurata. Il file Avro con eventi di query viene visualizzato in quella
cartella dopo l'intervallo dwhassessment.hook.rollover-interval
o la fine del processo hive-server2
. Per verificare lo stato dell'operazione di riporto, puoi cercare messaggi simili nei log di debug:
Updated rollover time for logger ID 'my_logger_id' to '2023-12-25T10:15:30'
Performed rollover check for logger ID 'my_logger_id'. Expected rollover time is '2023-12-25T10:15:30'
Il rollback avviene a intervalli specificati o quando il giorno cambia. Quando la data cambia, l'hook di logging crea anche una nuova sottocartella per quella data.
Google consiglia di fornire log delle query per almeno due settimane per poter visualizzare insight più approfonditi.
Puoi anche generare cartelle contenenti log delle query da diversi cluster Hive e fornirli tutti per un'unica valutazione.
Snowflake
Requisiti
Devi soddisfare i seguenti requisiti per estrarre i metadati e i log delle query da Snowflake:
- Una macchina in grado di connettersi alle tue istanze Snowflake.
- Un account Google Cloud con un bucket Cloud Storage per archiviare i dati.
- Un set di dati BigQuery vuoto in cui archiviare i risultati. In alternativa, puoi creare un set di dati BigQuery quando crei il job di valutazione utilizzando l'interfaccia utente della console Google Cloud.
- Accesso al ruolo
ACCOUNTADMIN
all'istanza Snowflake o assegnazione di un ruolo con i privilegiIMPORTED PRIVILEGES
sul databaseSnowflake
da un amministratore account.
Esegui lo strumento dwh-migration-dumper
Scarica lo strumento di estrazione dalla riga di comando dwh-migration-dumper
.
Scarica il
file SHA256SUMS.txt
ed esegui questo comando per verificare la correttezza del file zip:
sha256sum --check SHA256SUMS.txt
Per maggiori dettagli su come utilizzare lo strumento dwh-migration-dumper
,
consulta la pagina
Generare metadati.
Usa lo strumento dwh-migration-dumper
per estrarre i log e i metadati dal tuo data warehouse Snowflake come due file ZIP. Esegui questi comandi su una macchina con accesso al data warehouse di origine per generare i file.
Genera il file ZIP dei metadati:
dwh-migration-dumper \ --connector snowflake \ --host HOST_NAME \ --database SNOWFLAKE \ --user USER_NAME \ --role ROLE_NAME \ --warehouse WAREHOUSE \ --assessment \ --password PASSWORD
Genera il file ZIP contenente i log delle query:
dwh-migration-dumper \ --connector snowflake-logs \ --host HOST_NAME \ --database SNOWFLAKE \ --user USER_NAME \ --role ROLE_NAME \ --warehouse WAREHOUSE \ --query-log-start STARTING_DATE \ --query-log-end ENDING_DATE \ --assessment \ --password PASSWORD
Sostituisci quanto segue:
HOST_NAME
: il nome host dell'istanza Snowflake.USER_NAME
: il nome utente da utilizzare per la connessione al database, dove l'utente deve disporre delle autorizzazioni di accesso come descritto nella sezione dei requisiti.ROLE_NAME
(Facoltativo) Il ruolo utente durante l'esecuzione dello strumentodwh-migration-dumper
, ad esempioACCOUNTADMIN
.WAREHOUSE
: il warehouse utilizzato per eseguire le operazioni di dumping. Se disponi di più warehouse virtuali, puoi specificare qualsiasi warehouse per eseguire la query. L'esecuzione di questa query con le autorizzazioni di accesso descritte nella sezione dei requisiti estrae tutti gli artefatti del warehouse in questo account.STARTING_DATE
: (facoltativo) utilizzato per indicare la data di inizio in un intervallo di date dei log delle query, nel formatoYYYY-MM-DD
.ENDING_DATE
: (facoltativo) utilizzato per indicare la data di fine in un intervallo di date dei log delle query, scritte nel formatoYYYY-MM-DD
.
Puoi anche generare più file ZIP contenenti i log delle query che coprono periodi non sovrapposti e fornirli tutti per la valutazione.
Carica i metadati e i log delle query su Cloud Storage
Dopo aver estratto i metadati e i log delle query dal data warehouse, puoi caricare i file in un bucket Cloud Storage per procedere con la valutazione della migrazione.
Teradata
Carica i metadati e uno o più file ZIP contenenti i log delle query nel bucket Cloud Storage. Per ulteriori informazioni sulla creazione di bucket e sul caricamento di file in Cloud Storage, consulta Creare bucket e Caricare oggetti da un file system. Il limite per le dimensioni totali non compresse di tutti i file all'interno del file ZIP dei metadati è di 50 GB.
Le voci in tutti i file ZIP contenenti i log delle query sono suddivise come segue:
- File di cronologia delle query con il prefisso
query_history_
. - File di serie temporali con i prefissi
utility_logs_
,dbc.ResUsageScpu_
edbc.ResUsageSpma_
.
Il limite per le dimensioni totali non compresse di tutti i file di cronologia delle query è 5 TB. Il limite per la dimensione totale non compressa di tutti i file delle serie temporali è 1 TB.
Se i log delle query vengono archiviati in un database diverso, consulta la descrizione dei flag -Dteradata-logs.query-logs-table
e -Dteradata-logs.sql-logs-table
precedente in questa sezione, in cui viene spiegato come fornire una posizione alternativa per i log delle query.
Amazon Redshift
Carica i metadati e uno o più file ZIP contenenti i log delle query nel bucket Cloud Storage. Per ulteriori informazioni sulla creazione di bucket e sul caricamento di file in Cloud Storage, consulta Creare bucket e Caricare oggetti da un file system. Il limite per le dimensioni totali non compresse di tutti i file all'interno del file ZIP dei metadati è di 50 GB.
Le voci in tutti i file ZIP contenenti i log delle query sono suddivise come segue:
- File di cronologia delle query con i prefissi
querytext_
eddltext_
. - File di serie temporali con i prefissi
query_queue_info_
,wlm_query_
equerymetrics_
.
Il limite per le dimensioni totali non compresse di tutti i file di cronologia delle query è 5 TB. Il limite per la dimensione totale non compressa di tutti i file delle serie temporali è 1 TB.
Apache Hive
Per richiedere assistenza o feedback per questa funzionalità, invia un'email all'indirizzo
bq-edw-migration-support@google.com
.
Carica i metadati e le cartelle contenenti i log delle query di uno o più cluster Hive nel bucket Cloud Storage. Per ulteriori informazioni sulla creazione di bucket e sul caricamento di file in Cloud Storage, consulta Creare bucket e Caricare oggetti da un file system.
Il limite per le dimensioni totali non compresse di tutti i file all'interno del file ZIP dei metadati è di 50 GB.
Puoi utilizzare il connettore Cloud Storage per copiare i log delle query direttamente nella cartella di Cloud Storage. Le cartelle contenenti sottocartelle con log delle query devono essere caricate nella stessa cartella di Cloud Storage in cui viene caricato il file ZIP dei metadati.
Le cartelle dei log delle query hanno file di cronologia delle query con il prefisso dwhassessment_
. Il limite per la dimensione totale non compressa di tutti i file della cronologia delle query è di 5 TB.
Snowflake
Carica i metadati e i file ZIP contenenti i log delle query e le cronologie di utilizzo nel bucket Cloud Storage. Quando carichi questi file su Cloud Storage, devono essere soddisfatti i seguenti requisiti:
- La dimensione totale non compressa di tutti i file all'interno del file ZIP dei metadati deve essere inferiore a 50 GB.
- Il file ZIP dei metadati e il file ZIP contenente i log delle query devono essere caricati in una cartella di Cloud Storage. Se hai più file ZIP contenenti log delle query non sovrapposti, puoi caricarli tutti.
- Devi caricare tutti i file nella stessa cartella di Cloud Storage.
- Devi caricare tutti i file ZIP dei metadati e dei log delle query esattamente come vengono restituiti dallo strumento
dwh-migration-dumper
. Non decomprimerli, combinarli o modificarli in altro modo. - Le dimensioni totali non compresse di tutti i file di cronologia delle query devono essere inferiori a 5 TB.
Per ulteriori informazioni sulla creazione di bucket e sul caricamento di file in Cloud Storage, consulta Creare bucket e Caricare oggetti da un file system.
Esegui una valutazione della migrazione di BigQuery
Segui questi passaggi per eseguire la valutazione della migrazione di BigQuery. Questi passaggi presuppongono che tu abbia caricato i file di metadati in un bucket Cloud Storage, come descritto nella sezione precedente.
Autorizzazioni obbligatorie
Per abilitare BigQuery Migration Service, devi disporre delle seguenti autorizzazioni di Identity and Access Management (IAM):
resourcemanager.projects.get
resourcemanager.projects.update
serviceusage.services.enable
serviceusage.services.get
Per accedere a BigQuery Migration Service e utilizzarlo, devi disporre delle seguenti autorizzazioni nel progetto:
bigquerymigration.workflows.create
bigquerymigration.workflows.get
bigquerymigration.workflows.list
bigquerymigration.workflows.delete
bigquerymigration.subtasks.get
bigquerymigration.subtasks.list
Per eseguire BigQuery Migration Service, devi disporre delle seguenti autorizzazioni aggiuntive.
Autorizzazione ad accedere ai bucket Cloud Storage per i file di input e di output:
storage.objects.get
nel bucket Cloud Storage di originestorage.objects.list
nel bucket Cloud Storage di originestorage.objects.create
nel bucket Cloud Storage di destinazionestorage.objects.delete
nel bucket Cloud Storage di destinazionestorage.objects.update
nel bucket Cloud Storage di destinazionestorage.buckets.get
storage.buckets.list
Autorizzazione a leggere e aggiornare il set di dati BigQuery in cui il servizio di migrazione di BigQuery scrive i risultati:
bigquery.datasets.update
bigquery.datasets.get
bigquery.datasets.create
bigquery.datasets.delete
bigquery.jobs.create
bigquery.jobs.delete
bigquery.jobs.list
bigquery.jobs.update
bigquery.tables.create
bigquery.tables.get
bigquery.tables.getData
bigquery.tables.list
bigquery.tables.updateData
Per condividere il report di Looker Studio con un utente, devi concedere i seguenti ruoli:
roles/bigquery.dataViewer
roles/bigquery.jobUser
Per personalizzare questo documento in modo che utilizzi il tuo progetto e il tuo utente nei comandi, modifica queste variabili:
PROJECT
,
USER_EMAIL
.
Crea un ruolo personalizzato con le autorizzazioni necessarie per utilizzare la valutazione della migrazione di BigQuery:
gcloud iam roles create BQMSrole \ --project=PROJECT \ --title=BQMSrole \ --permissions=bigquerymigration.subtasks.get,bigquerymigration.subtasks.list,bigquerymigration.workflows.create,bigquerymigration.workflows.get,bigquerymigration.workflows.list,bigquerymigration.workflows.delete,resourcemanager.projects.update,resourcemanager.projects.get,serviceusage.services.enable,serviceusage.services.get,storage.objects.get,storage.objects.list,storage.objects.create,storage.objects.delete,storage.objects.update,bigquery.datasets.get,bigquery.datasets.update,bigquery.datasets.create,bigquery.datasets.delete,bigquery.tables.get,bigquery.tables.create,bigquery.tables.updateData,bigquery.tables.getData,bigquery.tables.list,bigquery.jobs.create,bigquery.jobs.update,bigquery.jobs.list,bigquery.jobs.delete,storage.buckets.list,storage.buckets.get
Concedi il ruolo personalizzato BQMSrole
a un utente:
gcloud projects add-iam-policy-binding \ PROJECT \ --member=user:USER_EMAIL \ --role=projects/PROJECT/roles/BQMSrole
Concedi i ruoli richiesti a un utente con cui vuoi condividere il report:
gcloud projects add-iam-policy-binding \ PROJECT \ --member=user:USER_EMAIL \ --role=roles/bigquery.dataViewer gcloud projects add-iam-policy-binding \ PROJECT \ --member=user:USER_EMAIL \ --role=roles/bigquery.jobUser
Località supportate
La funzionalità di valutazione della migrazione di BigQuery è supportata in due tipi di località:
Una regione è un luogo geografico ben preciso, come Londra.
Una più regioni è un'area geografica di grandi dimensioni, come gli Stati Uniti, che contiene due o più regioni. Le località multiregionali possono fornire quote superiori rispetto alle località singole.
Per ulteriori informazioni su regioni e zone, consulta Area geografica e regioni.
Regioni
La tabella seguente elenca le regioni nelle Americhe in cui è disponibile la valutazione della migrazione di BigQuery.Descrizione regione | Nome regione | Dettagli |
---|---|---|
Columbus, Ohio | us-east5 |
|
Dallas | us-south1 |
A basse emissioni di CO2 |
Iowa | us-central1 |
A basse emissioni di CO2 |
Carolina del Sud | us-east1 |
|
Virginia del Nord | us-east4 |
|
Oregon | us-west1 |
A basse emissioni di CO2 |
Los Angeles | us-west2 |
|
Salt Lake City | us-west3 |
Descrizione regione | Nome regione | Dettagli |
---|---|---|
Singapore | asia-southeast1 |
|
Tokyo | asia-northeast1 |
Descrizione regione | Nome regione | Dettagli |
---|---|---|
Belgio | europe-west1 |
A basse emissioni di CO2 |
Finlandia | europe-north1 |
A basse emissioni di CO2 |
Francoforte | europe-west3 |
A basse emissioni di CO2 |
Londra | europe-west2 |
A basse emissioni di CO2 |
Madrid | europe-southwest1 |
A basse emissioni di CO2 |
Paesi Bassi | europe-west4 |
A basse emissioni di CO2 |
Parigi | europe-west9 |
A basse emissioni di CO2 |
Torino | europe-west12 |
|
Varsavia | europe-central2 |
|
Zurigo | europe-west6 |
A basse emissioni di CO2 |
Più regioni
La tabella seguente elenca le regioni multiple in cui è disponibile la valutazione della migrazione di BigQuery.Descrizione per più regioni | Nome di più regioni |
---|---|
Data center all'interno degli stati membri dell'Unione Europea | EU |
Data center negli Stati Uniti | US |
Prima di iniziare
Prima di eseguire la valutazione, devi abilitare l'API BigQuery Migration e creare un set di dati BigQuery per archiviare i risultati della valutazione.
Abilita l'API BigQuery Migration
Abilita l'API BigQuery Migration come segue:
Nella console Google Cloud, vai alla pagina API BigQuery Migration.
Fai clic su Abilita.
Crea un set di dati per i risultati della valutazione
La valutazione della migrazione di BigQuery scrive i risultati della valutazione nelle tabelle di BigQuery. Prima di iniziare, crea un set di dati per contenere queste tabelle. Quando condividi il report di Looker Studio, devi anche concedere agli utenti l'autorizzazione a leggere il set di dati. Per maggiori informazioni, consulta Rendere il report disponibile per gli utenti.
Esegui la valutazione della migrazione
Console
Nella console Google Cloud, vai alla pagina BigQuery.
Nel pannello di navigazione, vai a Test.
Fai clic su Inizia valutazione.
Compila la finestra di dialogo di configurazione della valutazione.
- In Nome visualizzato, inserisci il nome che può contenere lettere, numeri o trattini bassi. Questo nome serve solo a scopo di visualizzazione e non deve essere univoco.
Nell'elenco Località dei dati, scegli una località per il job di valutazione. Il job di valutazione deve trovarsi nella stessa località dei file estratti dal bucket Cloud Storage di input e dal set di dati BigQuery di output.
Tuttavia, se questa località è una località con più regioni
US
oEU
, la località del bucket Cloud Storage e la località del set di dati BigQuery possono trovarsi in una qualsiasi delle regioni all'interno di questa multiregione. Il bucket Cloud Storage e il set di dati BigQuery possono trovarsi in località diverse all'interno della stessa località multiregionale. Ad esempio, se selezioni l'area multiregionaleUS
, il bucket Cloud Storage può trovarsi nella regioneus-central1
, mentre il set di dati BigQuery può trovarsi nella regioneus-east1
.Per Origine dati valutazione, scegli il tuo data warehouse.
In Percorso per i file di input, inserisci il percorso del bucket Cloud Storage che contiene i file estratti.
In Set di dati, identifica il set di dati BigQuery che conterrà i risultati della valutazione, utilizzando il formato
projectId.datasetId
.
Fai clic su Crea. Puoi visualizzare lo stato del job nell'elenco dei job di valutazione.
Al termine della valutazione, fai clic su Crea report per visualizzare il report di valutazione in Looker Studio. Il report si apre in una nuova scheda.
API
Chiama il metodo create
con un flusso di lavoro definito.
Quindi chiama il metodo start
per avviare il flusso di lavoro di valutazione.
La valutazione crea tabelle nel set di dati BigQuery che hai creato in precedenza. Puoi eseguire query su queste per informazioni sulle tabelle e sulle query utilizzate nel tuo data warehouse esistente. Per informazioni sui file di output della traduzione, consulta Traduttore SQL batch.
Esaminare e condividere il report di Looker Studio
Una volta completata l'attività di valutazione, puoi creare e condividere un report di Looker Studio dei risultati.
Esamina il report
Fai clic sul link Crea report elencato accanto alla singola attività di valutazione. Il report di Looker Studio si apre in una nuova scheda, in modalità di anteprima. Puoi utilizzare la modalità di anteprima per esaminare i contenuti del report prima di condividerlo ulteriormente.
Il report è simile al seguente screenshot:
Per vedere quali viste sono contenute nel report, seleziona il tuo data warehouse:
Teradata
Il report è composto da tre parti narrazioni, precedute da una pagina di riepilogo in evidenza. Tale pagina include le seguenti sezioni:
- Sistema esistente. Questa sezione è uno snapshot del sistema Teradata esistente e dell'utilizzo, che include il numero di database, schemi, tabelle e la dimensione totale (in TB). Elenca anche gli schemi per dimensione e punta a un potenziale utilizzo non ottimale delle risorse (tabelle senza scritture o poche letture).
- Trasformazioni dello stato stabile di BigQuery (suggerimenti). Questa sezione mostra come apparirà il sistema su BigQuery dopo la migrazione. Include suggerimenti per ottimizzare i carichi di lavoro su BigQuery (ed evitare sprechi).
- Piano di migrazione. Questa sezione fornisce informazioni sull'attività di migrazione stessa, ad esempio sul passaggio dal sistema esistente allo stato stabile di BigQuery. Questa sezione include il conteggio delle query tradotte automaticamente e il tempo previsto per lo spostamento di ogni tabella in BigQuery.
I dettagli di ogni sezione includono quanto segue:
Sistema esistente
- Computing e query
- Utilizzo CPU:
- Mappa termica dell'uso orario medio della CPU (visualizzazione dell'utilizzo complessivo delle risorse di sistema)
- Query per ora e giorno con utilizzo della CPU
- Query per tipo (lettura/scrittura) con utilizzo della CPU
- Applicazioni con utilizzo della CPU
- Overlay dell'uso orario della CPU con prestazioni orarie medie delle query e prestazioni orarie medie
- Istogramma delle query per tipo e durata delle query
- Visualizzazione dei dettagli delle applicazioni (per app, utenti, query uniche, report e analisi ETL)
- Utilizzo CPU:
- Panoramica dello spazio di archiviazione
- Database per volume, visualizzazioni e tassi di accesso
- Tabelle con tassi di accesso per utenti, query, scritture e creazione di tabelle temporanee
- Applicazioni: tariffe di accesso e indirizzi IP
Trasformazioni dello stato stabile di BigQuery (suggerimenti)
- Indici di join convertiti in viste materializzate
- Raggruppamento e partizionamento dei candidati in base ai metadati e all'utilizzo
- Query a bassa latenza identificate come candidati per BigQuery BI Engine
- Le colonne configurate con valori predefiniti che usano la descrizione delle colonne per archiviare
- Gli indici univoci in Teradata
(per evitare righe con chiavi non univoche
in una tabella) utilizzano tabelle temporanee e un'istruzione
MERGE
per inserire solo record univoci nelle tabelle di destinazione e poi ignorare i duplicati - Query rimanenti e schema tradotti così come sono
Piano di migrazione
- Visualizzazione dettagliata con query tradotte automaticamente
- Conteggio delle query totali con la possibilità di filtrare per utente, applicazione, tabelle interessate, tabelle sottoposte a query e tipo di query
- Bucket di query con pattern simili, raggruppati e mostrati insieme, in modo che l'utente possa vedere la filosofia di traduzione per tipo di query
- Query che richiedono l'intervento umano
- Le query con violazioni della struttura grammaticale di BigQuery
- Funzioni e procedure definite dall'utente
- Parole chiave prenotate in BigQuery
- Pianificazioni delle tabelle per scrittura e lettura (per raggrupparle per lo spostamento)
- Migrazione dei dati con BigQuery Data Transfer Service: tempo stimato per la migrazione per tabella
La sezione Sistema esistente contiene le seguenti viste:
- Panoramica del sistema
- La vista Panoramica del sistema fornisce le metriche relative al volume di alto livello dei componenti chiave del sistema esistente per un periodo di tempo specificato. La sequenza temporale dipende dai log analizzati dalla valutazione della migrazione di BigQuery. Questa vista offre insight rapidi sull'utilizzo del data warehouse di origine, che puoi usare per pianificare la migrazione.
- Volume tabella
- La vista Volume tabella fornisce statistiche sulle tabelle e sui database più grandi rilevati nella valutazione della migrazione di BigQuery. Poiché l'estrazione dal sistema di data warehouse di origine potrebbe richiedere più tempo per le tabelle di grandi dimensioni, questa vista può essere utile per la pianificazione e la sequenza della migrazione.
- Utilizzo della tabella
- La vista Utilizzo delle tabelle fornisce statistiche sulle tabelle maggiormente utilizzate nel sistema di data warehouse di origine. Le tabelle molto utilizzate possono aiutarti a capire quali tabelle potrebbero avere molte dipendenze e richiedere un'ulteriore pianificazione durante il processo di migrazione.
- Applicazioni
- La vista Utilizzo delle applicazioni e Modelli di applicazioni forniscono statistiche sulle applicazioni rilevate durante l'elaborazione dei log. Queste viste consentono agli utenti di comprendere l'utilizzo di applicazioni specifiche nel tempo e l'impatto sull'utilizzo delle risorse. Durante una migrazione, è importante visualizzare l'importazione e il consumo dei dati per comprendere meglio le dipendenze del data warehouse e analizzare l'impatto dello spostamento di varie applicazioni dipendenti insieme. La tabella degli indirizzi IP può essere utile per individuare l'applicazione esatta utilizzando il data warehouse su connessioni JDBC.
- Query
- La vista Query mostra un'analisi dettagliata dei tipi di istruzioni SQL eseguite e delle statistiche sul loro utilizzo. Puoi utilizzare l'istogramma del tipo di query e dell'ora per identificare i periodi ridotti di utilizzo del sistema e le ore ottimali della giornata per il trasferimento dei dati. Puoi utilizzare questa visualizzazione anche per identificare le query eseguite di frequente e gli utenti che le richiamano.
- Database
- La vista Database fornisce metriche su dimensioni, tabelle, viste e procedure definite nel sistema di data warehouse di origine. Questa vista può fornire insight sul volume degli oggetti di cui è necessario eseguire la migrazione.
- Accoppiamento database
- La vista Accoppiamento database offre una vista di alto livello su database e tabelle a cui si accede insieme in una singola query. Questa vista può mostrare le tabelle e i database a cui si fa spesso riferimento e cosa puoi utilizzare per pianificare la migrazione.
La sezione stato fisso di BigQuery contiene le seguenti viste:
- Tabelle senza utilizzo
- La vista Tabelle senza utilizzo mostra le tabelle in cui la valutazione della migrazione a BigQuery non è riuscita a trovare alcun utilizzo durante il periodo dei log analizzato. Un mancato utilizzo potrebbe indicare che non è necessario trasferire la tabella in BigQuery durante la migrazione o che i costi di archiviazione dei dati in BigQuery potrebbero essere inferiori. Dovresti convalidare l'elenco delle tabelle inutilizzate perché potrebbero essere utilizzate al di fuori del periodo dei log, ad esempio una tabella utilizzata solo una volta ogni tre o sei mesi.
- Tabelle senza scritture
- La vista Tables senza scritture mostra le tabelle in cui la valutazione della migrazione BigQuery non è riuscita a trovare aggiornamenti durante il periodo dei log analizzato. La mancanza di scritture può indicare dove potresti ridurre i costi di archiviazione in BigQuery.
- Query a bassa latenza
- La vista Query a bassa latenza mostra una distribuzione dei runtime delle query in base ai dati di log analizzati. Se il grafico di distribuzione della durata delle query mostra un numero elevato di query con meno di 1 secondo nel runtime, valuta la possibilità di abilitare BigQuery BI Engine per accelerare la BI e altri carichi di lavoro a bassa latenza.
- Viste materializzate
- La vista materializzata fornisce ulteriori suggerimenti di ottimizzazione per migliorare le prestazioni su BigQuery.
- Clustering e partizionamento
La vista Partizionamento e clustering mostra le tabelle che potrebbero trarre vantaggio dal partizionamento, dal clustering o da entrambi.
I suggerimenti relativi ai metadati vengono ottenuti analizzando lo schema del data warehouse di origine (come partizionamento e chiave primaria nella tabella di origine) e trovando l'equivalente BigQuery più vicino per ottenere caratteristiche di ottimizzazione simili.
I suggerimenti relativi al carico di lavoro si ottengono analizzando i log delle query di origine. Il suggerimento viene determinato analizzando i carichi di lavoro, in particolare le clausole
WHERE
oJOIN
nei log delle query analizzati.- Suggerimento di clustering
La vista Partizionamento mostra le tabelle che potrebbero avere più di 10.000 partizioni, in base alla definizione del vincolo di partizionamento. Queste tabelle tendono a essere buone candidati per il clustering di BigQuery, che consente partizioni granulari delle tabelle.
- Vincoli univoci
La vista Vincoli unici mostra sia le tabelle
SET
sia gli indici univoci definiti all'interno del data warehouse di origine. In BigQuery, ti consigliamo di utilizzare tabelle temporanee e un'istruzioneMERGE
per inserire solo record univoci in una tabella di destinazione. Utilizza i contenuti di questa vista per determinare per quali tabelle potrebbe essere necessario regolare l'ETL durante la migrazione.- Valori predefiniti / Verifica vincoli
Questa visualizzazione mostra le tabelle che utilizzano vincoli di controllo per impostare valori predefiniti delle colonne. In BigQuery, consulta Specificare i valori predefiniti delle colonne.
La sezione Percorso di migrazione del report contiene le seguenti viste:
- Traduzione SQL
- La visualizzazione SQL Translation elenca il conteggio e i dettagli delle query che sono state convertite automaticamente dalla valutazione della migrazione di BigQuery e non richiedono un intervento manuale. La traduzione automatica SQL in genere raggiunge alte velocità di traduzione se vengono forniti metadati. Questa visualizzazione è interattiva e consente di analizzare le query comuni e il modo in cui vengono tradotte.
- Impegno offline
- La visualizzazione Impegno offline illustra le aree che richiedono un intervento manuale, tra cui funzioni definite dall'utente specifiche e potenziali violazioni della sintassi e della struttura grammaticale di tabelle o colonne.
- Parole chiave riservate a BigQuery
- La visualizzazione Parole chiave riservate di BigQuery mostra l'uso rilevato
delle parole chiave con significato speciale nel linguaggio GoogleSQL
e non possono essere utilizzate come identificatori, a meno che non siano racchiuse tra caratteri di accento circonflesso (
`
). - Pianificazione degli aggiornamenti delle tabelle
- La vista Pianificazione degli aggiornamenti delle tabelle mostra quando e con quale frequenza vengono aggiornate le tabelle per aiutarti a pianificare come e quando spostarle.
- Migrazione dei dati in BigQuery
- La vista Migrazione dei dati a BigQuery delinea il percorso di migrazione con il tempo previsto per eseguire la migrazione dei dati utilizzando BigQuery Data Transfer Service. Per ulteriori informazioni, consulta la guida di BigQuery Data Transfer Service per Teradata.
La sezione Appendice contiene le seguenti viste:
- Distinzione tra maiuscole e minuscole
- La visualizzazione Sensibilità alle maiuscole mostra le tabelle nel data warehouse di origine che sono configurate per eseguire confronti senza distinzione tra maiuscole e minuscole. Per impostazione predefinita, i confronti di stringhe in BigQuery sono sensibili alle maiuscole. Per ulteriori informazioni, consulta la sezione Collazioni.
Amazon Redshift
- Punti salienti della migrazione
- La vista Punti salienti della migrazione fornisce un riepilogo esecutivo delle tre sezioni del report:
- Il riquadro Sistema esistente fornisce informazioni sul numero di database, schemi, tabelle e sulla dimensione totale del sistema Redshift esistente. Elenca anche gli schemi per dimensioni e potenziale utilizzo delle risorse non ottimale. Puoi utilizzare queste informazioni per ottimizzare i dati rimuovendo, partizionando o clustering le tabelle.
- Il riquadro Stato stazionario di BigQuery fornisce informazioni sull'aspetto dei dati dopo la migrazione su BigQuery, incluso il numero di query che possono essere tradotte automaticamente utilizzando BigQuery Migration Service. Questa sezione mostra anche i costi per l'archiviazione dei dati in BigQuery in base alla percentuale annuale di importazione dati, insieme ai suggerimenti per l'ottimizzazione di tabelle, provisioning e spazio.
- Il riquadro Percorso di migrazione fornisce informazioni sull'attività di migrazione stessa. Per ogni tabella mostra il tempo previsto per la migrazione, il numero di righe contenute e le dimensioni.
La sezione Sistema esistente contiene le seguenti viste:
- Query per tipo e pianificazione
- Nella vista Query per tipo e Pianificazione le query vengono classificate in ETL/Scrittura e Reporting/Aggregazione. Vedere la combinazione di query nel tempo ti aiuta a comprendere i pattern di utilizzo esistenti e a identificare la bursticità e il potenziale overprovisioning che può influire su costi e prestazioni.
- Coda delle query
- La vista Coda delle query fornisce ulteriori dettagli sul carico del sistema, tra cui il volume delle query, il loro mix e qualsiasi impatto sulle prestazioni dovuto all'accodamento, ad esempio risorse insufficienti.
- Query e scalabilità WLM
- La vista Query e scalabilità WLM identifica la scalabilità della contemporaneità come complessità aggiuntiva in termini di costi e configurazione. Mostra in che modo il sistema Redshift instrada le query in base alle regole specificate e l'impatto sulle prestazioni dovuto a accodamento, scalabilità della contemporaneità e query eliminate.
- Coda e attesa
- La visualizzazione Coda e attesa offre un'analisi più approfondita dei tempi di attesa e di coda per le query nel tempo.
- Corsi e prestazioni del programma WLM
- La vista Classi e prestazioni WLM offre un modo facoltativo per mappare le regole a BigQuery. Tuttavia, ti consigliamo di consentire a BigQuery di instradare automaticamente le query.
- Insight sul volume di query e tabelle
- La visualizzazione degli insight sul volume di query e tabelle elenca le query in base a dimensione, frequenza e utenti principali. In questo modo puoi classificare le origini del carico sul sistema e pianificare la migrazione dei carichi di lavoro.
- Database e schemi
- La vista Database e schemi fornisce metriche su dimensioni, tabelle, viste e procedure definite nel sistema di data warehouse di origine. Fornisce insight sul volume degli oggetti di cui è necessario eseguire la migrazione.
- Volume tabella
- La vista Volume tabella fornisce statistiche sulle tabelle e i database più grandi, mostrando come si accede. Poiché le tabelle di grandi dimensioni possono richiedere più tempo per l'estrazione dal sistema di data warehouse di origine, questa vista ti aiuta a pianificare la migrazione e a eseguire il sequenziamento.
- Utilizzo della tabella
- La vista Utilizzo delle tabelle fornisce statistiche sulle tabelle maggiormente utilizzate nel sistema di data warehouse di origine. Le tabelle molto utilizzate possono essere sfruttate per comprendere le tabelle che potrebbero avere molte dipendenze ed eseguire un'ulteriore pianificazione durante il processo di migrazione.
- Importatori ed esportatori
- La vista Importatori ed esportatori fornisce informazioni sui dati e sugli utenti coinvolti nell'importazione di dati (tramite query
COPY
) ed esportazione dati (utilizzandoUNLOAD
query). Questa visualizzazione consente di identificare il livello di gestione temporanea e i processi relativi all'importazione e alle esportazioni. - Utilizzo del cluster
- La vista Utilizzo cluster fornisce informazioni generali su tutti i cluster disponibili e mostra l'utilizzo della CPU per ogni cluster. Questa visualizzazione può aiutarti a comprendere la riserva di capacità del sistema.
La sezione stato fisso di BigQuery contiene le seguenti viste:
- Clustering e partizionamento
La vista Partizionamento e clustering mostra le tabelle che potrebbero trarre vantaggio dal partizionamento, dal clustering o da entrambi.
I suggerimenti relativi ai metadati vengono ottenuti analizzando lo schema del data warehouse di origine (come chiave di ordinamento e chiave dist nella tabella di origine) e trovando l'equivalente BigQuery più simile per ottenere caratteristiche di ottimizzazione simili.
I suggerimenti relativi al carico di lavoro si ottengono analizzando i log delle query di origine. Il suggerimento viene determinato analizzando i carichi di lavoro, in particolare le clausole
WHERE
oJOIN
nei log delle query analizzati.In fondo alla pagina è presente un'istruzione di creazione della tabella tradotta con tutte le ottimizzazioni fornite. Tutte le istruzioni DDL tradotte possono essere estratte dal set di dati. Le istruzioni DDL tradotte vengono archiviate nella tabella
SchemaConversion
nella colonnaCreateTableDDL
.I suggerimenti nel report sono forniti solo per le tabelle più grandi di 1 GB, perché le tabelle piccole non trarrebbero vantaggio dal clustering e dal partizionamento. Tuttavia, i file DDL per tutte le tabelle (incluse quelle di dimensioni inferiori a 1 GB) sono disponibili nella tabella
SchemaConversion
.- Tabelle senza utilizzo
La vista Tabelle senza utilizzo mostra le tabelle in cui la valutazione della migrazione di BigQuery non ha identificato alcun utilizzo durante il periodo dei log analizzati. Un mancato utilizzo potrebbe indicare che non è necessario trasferire la tabella in BigQuery durante la migrazione o che i costi di archiviazione dei dati in BigQuery potrebbero essere inferiori (fatturati come archiviazione a lungo termine). Consigliamo di convalidare l'elenco delle tabelle inutilizzate perché potrebbero essere utilizzate al di fuori del periodo dei log, ad esempio una tabella utilizzata solo una volta ogni tre o sei mesi.
- Tabelle senza scritture
La vista Tables senza scritture mostra le tabelle in cui la valutazione della migrazione di BigQuery non ha identificato alcun aggiornamento durante il periodo dei log analizzati. La mancanza di scritture può indicare dove potresti ridurre i costi di archiviazione in BigQuery (fatturati come archiviazione a lungo termine).
- BI Engine e viste materializzate
BI Engine e le viste materializzate forniscono ulteriori suggerimenti di ottimizzazione per migliorare le prestazioni in BigQuery.
La sezione Percorso di migrazione contiene le seguenti viste:
- Traduzione SQL
- La visualizzazione SQL Translation elenca il conteggio e i dettagli delle query che sono state convertite automaticamente dalla valutazione della migrazione di BigQuery e non richiedono un intervento manuale. La traduzione automatica di SQL in genere raggiunge elevate velocità di traduzione se vengono forniti metadati.
- Tentativo di traduzione SQL offline
- La visualizzazione Impegno offline di traduzione SQL cattura le aree che richiedono un intervento manuale, comprese funzioni definite dall'utente e query specifiche con potenziali ambiguità nella traduzione.
- Modifica supporto aggiunta tabella
- La vista Modifica supporto di aggiunta tabella mostra i dettagli sui costrutti SQL comuni di Redshift che non hanno una controparte diretta in BigQuery.
- Supporto dei comandi di copia
- La visualizzazione Supporto dei comandi di copia mostra i dettagli sui costrutti SQL comuni di Redshift che non hanno una controparte BigQuery diretta.
- Avvisi SQL
- La visualizzazione Avvisi SQL acquisisce le aree che sono state tradotte correttamente, ma richiedono una revisione.
- Violazioni della struttura grammaticale e della sintassi
- La visualizzazione Violazioni della struttura grammaticale e della sintassi mostra i nomi di colonne, tabelle, funzioni e procedure che violano la sintassi di BigQuery.
- Parole chiave riservate a BigQuery
- La visualizzazione Parole chiave riservate di BigQuery mostra l'uso rilevato di parole chiave
con un significato speciale nel linguaggio GoogleSQL e non possono essere utilizzate
come identificatori, a meno che non siano racchiuse tra accento grave (
`
). - Accoppiamento schema
- La vista Accoppiamento schema offre una visione generale su database, schemi e tabelle a cui si accede insieme in una singola query. Questa visualizzazione può mostrare a quali tabelle, schemi e database si fa spesso riferimento e cosa puoi utilizzare per pianificare la migrazione.
- Pianificazione degli aggiornamenti delle tabelle
- La vista Pianificazione degli aggiornamenti delle tabelle mostra come e con quale frequenza vengono aggiornate le tabelle per aiutarti a pianificare come e quando spostarle.
- Scala tabella
- La vista Scala tabella elenca le tabelle con il maggior numero di colonne.
- Migrazione dei dati in BigQuery
- La vista Migrazione dei dati a BigQuery delinea il percorso di migrazione con il tempo previsto per eseguire la migrazione dei dati utilizzando Data Transfer Service di BigQuery Migration Service. Per ulteriori informazioni, consulta la guida BigQuery Data Transfer Service per Redshift.
- Riepilogo esecuzione valutazione
Il riepilogo dell'esecuzione della valutazione contiene la completezza del report, l'avanzamento della valutazione in corso e lo stato dei file e degli errori elaborati.
La completezza del report rappresenta la percentuale di dati elaborati correttamente che è consigliata per mostrare insight significativi nel report di valutazione. Se i dati di una particolare sezione del report non sono disponibili, queste informazioni vengono elencate nella tabella Moduli di valutazione sotto l'indicatore Completezza dei report.
La metrica Avanzamento indica la percentuale dei dati elaborati fino a questo momento insieme alla stima del tempo rimanente per l'elaborazione di tutti i dati. Al termine dell'elaborazione, la metrica di avanzamento non viene visualizzata.
Apache Hive
Il report è composto da una narrazione in tre parti preceduta da una pagina di riepilogo in evidenza che include le seguenti sezioni:
Sistema esistente: Hive. Questa sezione consiste di uno snapshot del sistema Hive esistente e dell'utilizzo, tra cui il numero di database, le tabelle, la dimensione totale (in GB) e il numero di log di query elaborati. Questa sezione elenca anche i database per dimensione e punta a un potenziale utilizzo non ottimale delle risorse (tabelle senza scritture o poche letture) e provisioning. I dettagli di questa sezione includono:
- Computing e query
- Utilizzo CPU:
- Query per ora e giorno con utilizzo della CPU
- Query per tipo (lettura/scrittura)
- Code e applicazioni
- Overlay dell'uso orario della CPU con prestazioni orarie medie delle query e prestazioni orarie medie
- Istogramma delle query per tipo e durata delle query
- Pagina di accodamento e attesa
- Visualizzazione dettagliata code (suddivisione di code, utenti, query uniche, report ed ETL per metriche)
- Utilizzo CPU:
- Panoramica dello spazio di archiviazione
- Database per volume, visualizzazioni e tassi di accesso
- Tabelle con tassi di accesso per utenti, query, scritture e creazione di tabelle temporanee
- Code e applicazioni: frequenze di accesso e indirizzi IP client
- Computing e query
Stato stazionario di BigQuery. Questa sezione mostra come apparirà il sistema su BigQuery dopo la migrazione. Include suggerimenti per ottimizzare i carichi di lavoro su BigQuery (ed evitare sprechi). I dettagli di questa sezione includono:
- Tabelle identificate come candidati per le viste materializzate
- Raggruppamento e partizionamento dei candidati in base ai metadati e all'utilizzo
- Query a bassa latenza identificate come candidati per BigQuery BI Engine
- Tabelle senza utilizzo in lettura o scrittura
- Tabelle partizionate con il disallineamento dei dati
Piano di migrazione. Questa sezione fornisce informazioni sull'attività di migrazione stessa. Ad esempio, per passare dal sistema esistente allo stato stabile di BigQuery. Questa sezione contiene le destinazioni di archiviazione identificate per ogni tabella, le tabelle identificate come significative per la migrazione e il numero di query tradotte automaticamente. I dettagli di questa sezione includono:
- Visualizzazione dettagliata con query tradotte automaticamente
- Numero delle query totali con la possibilità di filtrare per utente, applicazione, tabelle interessate, tabelle sottoposte a query e tipo di query
- Bucket di query con pattern simili raggruppati, che consentono agli utenti di vedere la filosofia di traduzione per tipo di query
- Query che richiedono l'intervento umano
- Query con violazioni della struttura grammaticale di BigQuery
- Funzioni e procedure definite dall'utente
- Parole chiave prenotate in BigQuery
- Query da esaminare
- Pianificazioni delle tabelle per scrittura e lettura (per raggrupparle per lo spostamento)
- Destinazione di archiviazione identificata per tabelle esterne ed gestite
- Visualizzazione dettagliata con query tradotte automaticamente
La sezione Sistema esistente - Hive contiene le seguenti viste:
- Panoramica del sistema
- Questa visualizzazione fornisce le metriche relative al volume di alto livello dei componenti chiave del sistema esistente per un periodo di tempo specifico. La sequenza temporale dipende dai log analizzati dalla valutazione della migrazione di BigQuery. Questa vista offre insight rapidi sull'utilizzo del data warehouse di origine, che puoi usare per pianificare la migrazione.
- Volume tabella
- Questa visualizzazione fornisce statistiche sulle tabelle e sui database più grandi rilevati nella valutazione della migrazione di BigQuery. Poiché l'estrazione dal sistema di data warehouse di origine potrebbe richiedere più tempo per le tabelle di grandi dimensioni, questa vista può essere utile per la pianificazione e la sequenza della migrazione.
- Utilizzo della tabella
- Questa visualizzazione fornisce statistiche sulle tabelle maggiormente utilizzate nel sistema di data warehouse di origine. Le tabelle molto utilizzate possono aiutarti a capire quali tabelle potrebbero avere molte dipendenze e richiedere un'ulteriore pianificazione durante il processo di migrazione.
- Utilizzo delle code
- Questa visualizzazione fornisce statistiche sull'utilizzo delle code YARN rilevato durante l'elaborazione dei log. Queste viste consentono agli utenti di comprendere l'utilizzo di code e applicazioni specifiche nel tempo e l'impatto sull'utilizzo delle risorse. Queste viste aiutano anche a identificare e assegnare la priorità ai carichi di lavoro per la migrazione. Durante una migrazione, è importante visualizzare l'importazione e il consumo dei dati per comprendere meglio le dipendenze del data warehouse e analizzare l'impatto dello spostamento di varie applicazioni dipendenti insieme. La tabella degli indirizzi IP può essere utile per individuare l'applicazione esatta utilizzando il data warehouse su connessioni JDBC.
- Metriche code
- Questa visualizzazione fornisce un'analisi delle diverse metriche sulle code YARN trovate durante l'elaborazione dei log. Questa visualizzazione consente agli utenti di comprendere i modelli di utilizzo in code specifiche e l'impatto sulla migrazione. Puoi utilizzare questa visualizzazione anche per identificare le connessioni tra le tabelle a cui si accede nelle query e nelle code in cui è stata eseguita la query.
- Coda e attesa
- Questa vista fornisce un insight sul tempo di accodamento delle query nel data warehouse di origine. I tempi di coda indicano un peggioramento delle prestazioni dovuto a un provisioning insufficiente e un provisioning aggiuntivo richiede maggiori costi per hardware e manutenzione.
- Query
- Questa visualizzazione mostra un'analisi dettagliata dei tipi di istruzioni SQL eseguite e delle statistiche sul loro utilizzo. Puoi utilizzare l'istogramma del tipo di query e dell'ora per identificare i periodi ridotti di utilizzo del sistema e le ore ottimali della giornata per il trasferimento dei dati. Puoi utilizzare questa vista anche per identificare i motori di esecuzione Hive più utilizzati e le query eseguite di frequente, insieme ai dettagli dell'utente.
- Database
- Questa visualizzazione fornisce metriche su dimensioni, tabelle, viste e procedure definite nel sistema di data warehouse di origine. Questa vista può fornire insight sul volume degli oggetti di cui è necessario eseguire la migrazione.
- Accoppiamento di database e tabelle
- Questa vista offre una visione generale sui database e sulle tabelle a cui si accede insieme in una singola query. Questa vista può mostrare le tabelle e i database a cui si fa spesso riferimento e cosa puoi utilizzare per pianificare la migrazione.
La sezione Stato stazionario di BigQuery contiene le seguenti viste:
- Tabelle senza utilizzo
- La vista Tabelle senza utilizzo mostra le tabelle in cui la valutazione della migrazione a BigQuery non è riuscita a trovare alcun utilizzo durante il periodo dei log analizzato. Un mancato utilizzo potrebbe indicare che non è necessario trasferire la tabella in BigQuery durante la migrazione o che i costi di archiviazione dei dati in BigQuery potrebbero essere inferiori. Devi convalidare l'elenco delle tabelle non utilizzate perché potrebbero essere utilizzate al di fuori del periodo dei log, ad esempio una tabella utilizzata solo una volta ogni tre o sei mesi.
- Tabelle senza scritture
- La vista Tables senza scritture mostra le tabelle in cui la valutazione della migrazione BigQuery non è riuscita a trovare aggiornamenti durante il periodo dei log analizzato. La mancanza di scritture può indicare dove potresti ridurre i costi di archiviazione in BigQuery.
- Suggerimenti per clustering e partizionamento
Questa visualizzazione mostra le tabelle che potrebbero trarre vantaggio dal partizionamento, dal clustering o da entrambi.
I suggerimenti relativi ai metadati vengono ottenuti analizzando lo schema del data warehouse di origine (come partizionamento e chiave primaria nella tabella di origine) e trovando l'equivalente BigQuery più vicino per ottenere caratteristiche di ottimizzazione simili.
I suggerimenti relativi al carico di lavoro si ottengono analizzando i log delle query di origine. Il suggerimento viene determinato analizzando i carichi di lavoro, in particolare le clausole
WHERE
oJOIN
nei log delle query analizzati.- Partizioni convertite in cluster
Questa visualizzazione mostra le tabelle con più di 10.000 partizioni, in base alla definizione del vincolo di partizionamento. Queste tabelle tendono a essere buone candidati per il clustering di BigQuery, che consente partizioni granulari delle tabelle.
- Partizioni disallineate
La visualizzazione Partizioni disallineate mostra le tabelle basate sull'analisi dei metadati e con disallineamenti dei dati su una o più partizioni. Queste tabelle sono ottimi candidati per la modifica dello schema, poiché le query su partizioni disallineate potrebbero non funzionare correttamente.
- BI Engine e viste materializzate
La vista Query a bassa latenza e viste materializzate mostra una distribuzione dei tempi di esecuzione delle query in base ai dati di log analizzati e ulteriori suggerimenti di ottimizzazione per aumentare le prestazioni su BigQuery. Se il grafico di distribuzione della durata delle query mostra un numero elevato di query con un runtime inferiore a 1 secondo, valuta la possibilità di consentire a BI Engine di accelerare BI e altri carichi di lavoro a bassa latenza.
La sezione Piano di migrazione del report contiene le seguenti viste:
- Traduzione SQL
- La visualizzazione SQL Translation elenca il conteggio e i dettagli delle query che sono state convertite automaticamente dalla valutazione della migrazione di BigQuery e non richiedono un intervento manuale. La traduzione automatica SQL in genere raggiunge alte velocità di traduzione se vengono forniti metadati. Questa visualizzazione è interattiva e consente di analizzare le query comuni e il modo in cui vengono tradotte.
- Tentativo di traduzione SQL offline
- La visualizzazione Impegno offline illustra le aree che richiedono un intervento manuale, tra cui funzioni definite dall'utente specifiche e potenziali violazioni della sintassi e della struttura grammaticale di tabelle o colonne.
- Avvisi SQL
- La visualizzazione Avvisi SQL acquisisce le aree che sono state tradotte correttamente, ma richiedono una revisione.
- Parole chiave riservate a BigQuery
- La vista Parole chiave riservate di BigQuery mostra l'uso rilevato
di parole chiave con un significato speciale nel linguaggio GoogleSQL.
Queste parole chiave non possono essere utilizzate come identificatori, a meno che non siano racchiuse da un accento grave (
`
). - Pianificazione degli aggiornamenti delle tabelle
- La vista Pianificazione degli aggiornamenti delle tabelle mostra quando e con quale frequenza vengono aggiornate le tabelle per aiutarti a pianificare come e quando spostarle.
- Tavoli esterni BigLake
- La visualizzazione Tabelle esterne BigLake delinea le tabelle identificate come destinazioni della migrazione a BigLake anziché a BigQuery.
La sezione Appendice del report contiene le seguenti visualizzazioni:
- Analisi dettagliata dello sforzo offline di traduzione SQL
- La visualizzazione Analisi dettagliata dello sforzo offline fornisce un approfondimento sulle aree SQL che richiedono un intervento manuale.
- Analisi dettagliata degli avvisi SQL
- La visualizzazione Analisi dettagliata degli avvisi fornisce un ulteriore approfondimento sulle aree SQL tradotte correttamente, ma richiedono una revisione.
Snowflake
Il report è composto da diverse sezioni che possono essere utilizzate separatamente o insieme. Il diagramma seguente organizza queste sezioni in tre obiettivi utente comuni per aiutarti a valutare le tue esigenze di migrazione:
Visualizzazioni in evidenza della migrazione
La sezione Informazioni salienti della migrazione contiene le seguenti visualizzazioni:
- Modelli di prezzi di Snowflake e BigQuery
- Elenco dei prezzi per i diversi livelli/versioni. Include inoltre un'illustrazione di come la scalabilità automatica di BigQuery può aiutare a risparmiare di più rispetto a Snowflake.
- Costo totale di proprietà
- Tabella interattiva che consente all'utente di definire: versione di BigQuery, impegno, impegno di base per gli slot, percentuale di spazio di archiviazione attivo e percentuale di dati caricati o modificati. Consente di stimare meglio i costi per le richieste personalizzate.
- Traduzione automatica in evidenza
- Rapporto di traduzione aggregato, raggruppato per utente o database, in ordine crescente o decrescente. Include anche il messaggio di errore più comune per la traduzione automatica non riuscita.
Viste di sistema esistenti
La sezione Sistema esistente contiene le seguenti viste:
- Panoramica del sistema
- La vista Panoramica del sistema fornisce le metriche di volume di alto livello dei componenti chiave del sistema esistente per un periodo di tempo specificato. La tempistiche che viene valutata dipende dai log che sono stati analizzati dalla valutazione della migrazione di BigQuery. Questa vista offre insight rapidi sull'utilizzo del data warehouse di origine per pianificare la migrazione.
- Panoramica dei warehouse virtuali
- Mostra il costo di Snowflake per warehouse e il ridimensionamento basato su nodi nel periodo.
- Volume tabella
- La vista Volume tabella fornisce statistiche sulle tabelle e i database più grandi trovati nella valutazione della migrazione di BigQuery. Poiché le tabelle di grandi dimensioni possono richiedere più tempo per l'estrazione dal sistema di data warehouse di origine, questa vista può essere utile per la pianificazione e la sequenza della migrazione.
- Utilizzo della tabella
- La vista Utilizzo delle tabelle fornisce statistiche sulle tabelle maggiormente utilizzate nel sistema di data warehouse di origine. Le tabelle molto utilizzate possono aiutarti a capire quali tabelle potrebbero avere molte dipendenze e richiedere un'ulteriore pianificazione durante il processo di migrazione.
- Query
- La vista Query mostra un'analisi dettagliata dei tipi di istruzioni SQL eseguite e delle statistiche sul loro utilizzo. Puoi utilizzare l'istogramma delle sezioni Tipo di query e Ora per identificare i periodi ridotti di utilizzo del sistema e gli orari ottimali per il trasferimento dei dati. Puoi utilizzare questa vista anche per identificare le query eseguite di frequente e gli utenti che richiamano queste esecuzioni.
- Database
- La vista Database fornisce metriche su dimensioni, tabelle, viste e procedure definite nel sistema di data warehouse di origine. Questa vista fornisce informazioni sul volume degli oggetti di cui devi eseguire la migrazione.
Viste in stato stabile di BigQuery
La sezione stato fisso di BigQuery contiene le seguenti viste:
- Tabelle senza utilizzo
- La vista Tabelle senza utilizzo mostra le tabelle in cui la valutazione della migrazione a BigQuery non è riuscita a trovare alcun utilizzo durante il periodo dei log analizzato. Ciò può indicare quali tabelle potrebbero non dover essere trasferite a BigQuery durante la migrazione o che i costi di archiviazione dei dati in BigQuery potrebbero essere inferiori. Devi convalidare l'elenco delle tabelle inutilizzate perché potrebbero essere utilizzate al di fuori del periodo dei log analizzato, ad esempio una tabella che viene utilizzata solo una volta al trimestre o alla metà.
- Tabelle senza scritture
- La vista Tables senza scritture mostra le tabelle in cui la valutazione della migrazione BigQuery non è riuscita a trovare aggiornamenti durante il periodo dei log analizzato. Ciò può indicare che i costi di archiviazione dei dati in BigQuery potrebbero essere inferiori.
Viste del piano di migrazione
La sezione Piano di migrazione del report contiene le seguenti viste:
- Traduzione SQL
- La visualizzazione SQL Translation elenca il conteggio e i dettagli delle query che sono state convertite automaticamente dalla valutazione della migrazione di BigQuery e non richiedono un intervento manuale. La traduzione automatica SQL in genere raggiunge alte velocità di traduzione se vengono forniti metadati. Questa visualizzazione è interattiva e consente di analizzare le query comuni e il modo in cui vengono tradotte.
- Tentativo di traduzione SQL offline
- La visualizzazione Impegno offline illustra le aree che richiedono un intervento manuale, tra cui funzioni definite dall'utente specifiche e potenziali violazioni della sintassi e della struttura grammaticale di tabelle o colonne.
- Avvisi SQL - Da esaminare
- La visualizzazione Avvisi da rivedere mostra le aree per lo più tradotte, ma richiede un'ispezione umana.
- Parole chiave riservate a BigQuery
- La visualizzazione Parole chiave riservate di BigQuery mostra l'uso rilevato
delle parole chiave con significato speciale nel linguaggio GoogleSQL
e non possono essere utilizzate come identificatori, a meno che non siano racchiuse tra caratteri di accento circonflesso (
`
). - Accoppiamento di database e tabelle
- La vista Accoppiamento database offre una vista di alto livello su database e tabelle a cui si accede insieme in una singola query. Questa vista può mostrare le tabelle e i database a cui si fa spesso riferimento e cosa può essere utilizzato per pianificare la migrazione.
- Pianificazione degli aggiornamenti delle tabelle
- La vista Pianificazione degli aggiornamenti delle tabelle mostra quando e con quale frequenza vengono aggiornate le tabelle per aiutarti a pianificare come e quando spostarle.
Viste proof of concept
La sezione PoC (proof of concept) contiene le seguenti visualizzazioni:
- PDC per dimostrare i risparmi di BigQuery in stato stabile
- Include le query più frequenti, quelle che leggono la maggior parte dei dati, quelle più lente e le tabelle interessate da queste query.
- PDC per la dimostrazione del piano di migrazione di BigQuery
- Mostra in che modo BigQuery traduce le query più complesse e le tabelle su cui incidono.
Condividi il report
Il report di Looker Studio è una dashboard frontend per la valutazione della migrazione. Si basa sulle autorizzazioni di accesso ai set di dati sottostanti. Per condividere il report, il destinatario deve avere accesso sia al report di Looker Studio sia al set di dati BigQuery contenente i risultati della valutazione.
Quando apri il report dalla console Google Cloud, lo visualizzi in modalità di anteprima. Per creare e condividere il report con altri utenti, segui questi passaggi:
- Fai clic su Modifica e condividi. Looker Studio ti chiede di collegare al nuovo report i connettori Looker Studio appena creati.
- Fai clic su Aggiungi al report. Il report riceve un singolo ID report, che puoi utilizzare per accedere al report.
- Per condividere il report di Looker Studio con altri utenti, segui i passaggi indicati in Condividere i report con visualizzatori ed editor.
- Concedi agli utenti l'autorizzazione a visualizzare il set di dati BigQuery utilizzato per eseguire l'attività di valutazione. Per ulteriori informazioni, consulta Concedere l'accesso a un set di dati.
esegui una query sulle tabelle di output della valutazione della migrazione
Sebbene Looker Studio indichi il modo più comodo per visualizzare i risultati della valutazione, puoi anche eseguire query sui dati sottostanti nel set di dati BigQuery.
Query di esempio
L'esempio seguente restituisce il numero totale di query uniche, il numero di query per le quali la traduzione non è riuscita e la percentuale di query uniche per cui la traduzione non è riuscita.
SELECT QueryCount.v AS QueryCount, ErrorCount.v as ErrorCount, (ErrorCount.v * 100) / QueryCount.v AS FailurePercentage FROM ( SELECT COUNT(*) AS v FROM `your_project.your_dataset.TranslationErrors` WHERE Type = "ERROR" ) AS ErrorCount, ( SELECT COUNT(DISTINCT(QueryHash)) AS v FROM `your_project.your_dataset.Queries` ) AS QueryCount;
Schemi delle tabelle di valutazione
Per visualizzare le tabelle e i relativi schemi che la valutazione della migrazione di BigQuery scrive in BigQuery, seleziona il tuo data warehouse:
Teradata
AllRIChildren
Questa tabella fornisce le informazioni sull'integrità referenziale degli elementi secondari delle tabelle.
Colonna | Tipo | Descrizione |
---|---|---|
IndexId |
INTEGER |
Il numero di indice di riferimento. |
IndexName |
STRING |
Il nome dell'indice. |
ChildDB |
STRING |
Il nome del database di riferimento, convertito in minuscolo. |
ChildDBOriginal |
STRING |
Il nome del database di riferimento con il caso conservato. |
ChildTable |
STRING |
Il nome della tabella di riferimento, convertito in minuscolo. |
ChildTableOriginal |
STRING |
Il nome della tabella di riferimento con il caso conservato. |
ChildKeyColumn |
STRING |
Il nome di una colonna nella chiave di riferimento, convertito in minuscolo. |
ChildKeyColumnOriginal |
STRING |
Il nome di una colonna nella chiave di riferimento con la distinzione tra maiuscole e minuscole. |
ParentDB |
STRING |
Il nome del database di riferimento, convertito in minuscolo. |
ParentDBOriginal |
STRING |
Il nome del database a cui viene fatto riferimento con la distinzione tra maiuscole e minuscole. |
ParentTable |
STRING |
Il nome della tabella di riferimento, convertito in minuscolo. |
ParentTableOriginal |
STRING |
Il nome della tabella a cui viene fatto riferimento con la distinzione tra maiuscole e minuscole mantenuta. |
ParentKeyColumn |
STRING |
Il nome della colonna in una chiave di riferimento, convertito in minuscolo. |
ParentKeyColumnOriginal |
STRING |
Il nome della colonna in una chiave di riferimento con la distinzione tra maiuscole e minuscole. |
AllRIParents
Questa tabella fornisce le informazioni sull'integrità referenziale delle tabelle padre.
Colonna | Tipo | Descrizione |
---|---|---|
IndexId |
INTEGER |
Il numero di indice di riferimento. |
IndexName |
STRING |
Il nome dell'indice. |
ChildDB |
STRING |
Il nome del database di riferimento, convertito in minuscolo. |
ChildDBOriginal |
STRING |
Il nome del database di riferimento con il caso conservato. |
ChildTable |
STRING |
Il nome della tabella di riferimento, convertito in minuscolo. |
ChildTableOriginal |
STRING |
Il nome della tabella di riferimento con il caso conservato. |
ChildKeyColumn |
STRING |
Il nome di una colonna nella chiave di riferimento, convertito in minuscolo. |
ChildKeyColumnOriginal |
STRING |
Il nome di una colonna nella chiave di riferimento con la distinzione tra maiuscole e minuscole. |
ParentDB |
STRING |
Il nome del database di riferimento, convertito in minuscolo. |
ParentDBOriginal |
STRING |
Il nome del database a cui viene fatto riferimento con la distinzione tra maiuscole e minuscole. |
ParentTable |
STRING |
Il nome della tabella di riferimento, convertito in minuscolo. |
ParentTableOriginal |
STRING |
Il nome della tabella a cui viene fatto riferimento con la distinzione tra maiuscole e minuscole mantenuta. |
ParentKeyColumn |
STRING |
Il nome della colonna in una chiave di riferimento, convertito in minuscolo. |
ParentKeyColumnOriginal |
STRING |
Il nome della colonna in una chiave di riferimento con la distinzione tra maiuscole e minuscole. |
Columns
Questa tabella fornisce informazioni sulle colonne.
Colonna | Tipo | Descrizione |
---|---|---|
DatabaseName |
STRING |
Il nome del database, convertito in minuscolo. |
DatabaseNameOriginal |
STRING |
Il nome del database in cui viene mantenuta la distinzione tra maiuscole e minuscole. |
TableName |
STRING |
Il nome della tabella, convertito in minuscolo. |
TableNameOriginal |
STRING |
Il nome della tabella in cui le maiuscole e le minuscole vengono mantenute. |
ColumnName |
STRING |
Il nome della colonna, convertito in minuscolo. |
ColumnNameOriginal |
STRING |
Il nome della colonna in cui le maiuscole vengono mantenute. |
ColumnType |
STRING |
Il tipo di colonna BigQuery, ad esempio STRING . |
OriginalColumnType |
STRING |
Il tipo originale di colonna, ad esempio VARCHAR . |
ColumnLength |
INTEGER |
Il numero massimo di byte della colonna, ad esempio 30 per VARCHAR(30) . |
DefaultValue |
STRING |
Il valore predefinito, se esistente. |
Nullable |
BOOLEAN |
Indica se la colonna offre valori null. |
DiskSpace
Questa tabella fornisce informazioni sull'utilizzo dello spazio su disco per ciascun database.
Colonna | Tipo | Descrizione |
---|---|---|
DatabaseName |
STRING |
Il nome del database, convertito in minuscolo. |
DatabaseNameOriginal |
STRING |
Il nome del database in cui viene mantenuta la distinzione tra maiuscole e minuscole. |
MaxPerm |
INTEGER |
Il numero massimo di byte allo spazio permanente. |
MaxSpool |
INTEGER |
Il numero massimo di byte allocati allo spazio di spool. |
MaxTemp |
INTEGER |
Il numero massimo di byte allo spazio temporaneo. |
CurrentPerm |
INTEGER |
Il numero di byte attualmente allocati allo spazio permanente. |
CurrentSpool |
INTEGER |
Il numero di byte attualmente allocati allo spazio di spool. |
CurrentTemp |
INTEGER |
Il numero di byte attualmente allocati allo spazio temporaneo. |
PeakPerm |
INTEGER |
Numero massimo di byte utilizzati dall'ultima reimpostazione per lo spazio permanente. |
PeakSpool |
INTEGER |
Numero massimo di byte utilizzati dall'ultima reimpostazione per lo spazio di spool. |
PeakPersistentSpool |
INTEGER |
Numero massimo di byte utilizzati dall'ultima reimpostazione per lo spazio permanente. |
PeakTemp |
INTEGER |
Numero massimo di byte utilizzati dall'ultima reimpostazione per lo spazio temporaneo. |
MaxProfileSpool |
INTEGER |
Il limite di spazio di spool per l'utente. |
MaxProfileTemp |
INTEGER |
Il limite di spazio temporaneo per l'utente. |
AllocatedPerm |
INTEGER |
Allocazione attuale di spazio permanente. |
AllocatedSpool |
INTEGER |
Allocazione attuale dello spazio di spool. |
AllocatedTemp |
INTEGER |
Allocazione attuale di spazio temporaneo. |
Functions
Questa tabella fornisce informazioni sulle funzioni.
Colonna | Tipo | Descrizione |
---|---|---|
DatabaseName |
STRING |
Il nome del database, convertito in minuscolo. |
DatabaseNameOriginal |
STRING |
Il nome del database in cui viene mantenuta la distinzione tra maiuscole e minuscole. |
FunctionName |
STRING |
Il nome della funzione. |
LanguageName |
STRING |
Il nome della lingua. |
Indices
Questa tabella fornisce informazioni sugli indici.
Colonna | Tipo | Descrizione |
---|---|---|
DatabaseName |
STRING |
Il nome del database, convertito in minuscolo. |
DatabaseNameOriginal |
STRING |
Il nome del database in cui viene mantenuta la distinzione tra maiuscole e minuscole. |
TableName |
STRING |
Il nome della tabella, convertito in minuscolo. |
TableNameOriginal |
STRING |
Il nome della tabella in cui le maiuscole e le minuscole vengono mantenute. |
IndexName |
STRING |
Il nome dell'indice. |
ColumnName |
STRING |
Il nome della colonna, convertito in minuscolo. |
ColumnNameOriginal |
STRING |
Il nome della colonna in cui le maiuscole vengono mantenute. |
OrdinalPosition |
INTEGER |
La posizione della colonna. |
UniqueFlag |
BOOLEAN |
Indica se l'indice applica l'univocità. |
Queries
Questa tabella fornisce informazioni sulle query estratte.
Colonna | Tipo | Descrizione |
---|---|---|
QueryHash |
STRING |
L'hash della query. |
QueryText |
STRING |
Il testo della query. |
QueryLogs
Questa tabella fornisce alcune statistiche di esecuzione delle query estratte.
Colonna | Tipo | Descrizione |
---|---|---|
QueryText |
STRING |
Il testo della query. |
QueryHash |
STRING |
L'hash della query. |
QueryId |
STRING |
L'ID della query. |
QueryType |
STRING |
Il tipo di query, Query o DDL. |
UserId |
BYTES |
L'ID dell'utente che ha eseguito la query. |
UserName |
STRING |
Il nome dell'utente che ha eseguito la query. |
StartTime |
TIMESTAMP |
Timestamp dell'invio della query. |
Duration |
STRING |
Durata della query in millisecondi. |
AppId |
STRING |
L'ID dell'applicazione che ha eseguito la query. |
ProxyUser |
STRING |
L'utente proxy quando viene utilizzato tramite un livello intermedio. |
ProxyRole |
STRING |
Il ruolo proxy quando utilizzato attraverso un livello intermedio. |
QueryTypeStatistics
Questa tabella fornisce statistiche sui tipi di query.
Colonna | Tipo | Descrizione |
---|---|---|
QueryHash |
STRING |
L'hash della query. |
QueryType |
STRING |
Il tipo di query. |
UpdatedTable |
STRING |
La tabella aggiornata dalla query, se presente. |
QueriedTables |
ARRAY<STRING> |
Un elenco delle tabelle su cui è stata eseguita una query. |
ResUsageScpu
Questa tabella fornisce informazioni sull'utilizzo delle risorse della CPU.
Colonna | Tipo | Descrizione |
---|---|---|
EventTime |
TIMESTAMP |
L'ora dell'evento. |
NodeId |
INTEGER |
ID nodo |
CabinetId |
INTEGER |
Il numero del cabinet fisico del nodo. |
ModuleId |
INTEGER |
Il numero del modulo fisico del nodo. |
NodeType |
STRING |
Tipo di nodo. |
CpuId |
INTEGER |
ID della CPU all'interno di questo nodo. |
MeasurementPeriod |
INTEGER |
Il periodo della misurazione espresso in centisecondi. |
SummaryFlag |
STRING |
S: riga di riepilogo, N: riga non di riepilogo |
CpuFrequency |
FLOAT |
Frequenza CPU in MHz. |
CpuIdle |
FLOAT |
Il tempo di inattività della CPU espresso in centisecondi. |
CpuIoWait |
FLOAT |
Tempo di attesa della CPU per l'I/O espresso in centisecondi. |
CpuUServ |
FLOAT |
Il tempo di esecuzione del codice utente da parte della CPU, espresso in centisecondi. |
CpuUExec |
FLOAT |
Tempo di esecuzione del codice di servizio da parte della CPU, espresso in centisecondi. |
Roles
Questa tabella fornisce informazioni sui ruoli.
Colonna | Tipo | Descrizione |
---|---|---|
RoleName |
STRING |
Il nome del ruolo. |
Grantor |
STRING |
Il nome del database che ha concesso il ruolo. |
Grantee |
STRING |
L'utente a cui viene concesso il ruolo. |
WhenGranted |
TIMESTAMP |
Quando è stato concesso il ruolo. |
WithAdmin |
BOOLEAN |
Opzione amministratore impostata per il ruolo concesso. |
SchemaConversion
Questa tabella fornisce informazioni sulle conversioni dello schema correlate al clustering e al partizionamento.
Nome colonna | Tipo di colonna | Descrizione |
---|---|---|
DatabaseName |
STRING |
Il nome del database di origine per il quale viene apportato il suggerimento. Un database è mappato a un set di dati in BigQuery. |
TableName |
STRING |
Il nome della tabella per la quale viene fornito il suggerimento. |
PartitioningColumnName |
STRING |
Il nome della colonna di partizionamento suggerita in BigQuery. |
ClusteringColumnNames |
ARRAY |
I nomi delle colonne di clustering suggerite in BigQuery. |
CreateTableDDL |
STRING |
CREATE TABLE statement per creare la tabella in BigQuery. |
TableInfo
Questa tabella fornisce informazioni sulle tabelle.
Colonna | Tipo | Descrizione |
---|---|---|
DatabaseName |
STRING |
Il nome del database, convertito in minuscolo. |
DatabaseNameOriginal |
STRING |
Il nome del database in cui viene mantenuta la distinzione tra maiuscole e minuscole. |
TableName |
STRING |
Il nome della tabella, convertito in minuscolo. |
TableNameOriginal |
STRING |
Il nome della tabella in cui le maiuscole e le minuscole vengono mantenute. |
LastAccessTimestamp |
TIMESTAMP |
L'ultima volta che è stato eseguito l'accesso alla tabella. |
LastAlterTimestamp |
TIMESTAMP |
L'ultima volta che la tabella è stata modificata. |
TableKind |
STRING |
Il tipo di tabella. |
TableRelations
Questa tabella fornisce informazioni sulle tabelle.
Colonna | Tipo | Descrizione |
---|---|---|
QueryHash |
STRING |
L'hash della query che ha stabilito la relazione. |
DatabaseName1 |
STRING |
Il nome del primo database. |
TableName1 |
STRING |
Il nome della prima tabella. |
DatabaseName2 |
STRING |
Il nome del secondo database. |
TableName2 |
STRING |
Il nome della seconda tabella. |
Relation |
STRING |
Il tipo di relazione tra le due tabelle. |
TableSizes
Questa tabella fornisce informazioni sulle dimensioni delle tabelle.
Colonna | Tipo | Descrizione |
---|---|---|
DatabaseName |
STRING |
Il nome del database, convertito in minuscolo. |
DatabaseNameOriginal |
STRING |
Il nome del database in cui viene mantenuta la distinzione tra maiuscole e minuscole. |
TableName |
STRING |
Il nome della tabella, convertito in minuscolo. |
TableNameOriginal |
STRING |
Il nome della tabella in cui le maiuscole e le minuscole vengono mantenute. |
TableSizeInBytes |
INTEGER |
Le dimensioni della tabella in byte. |
Users
Questa tabella fornisce informazioni sugli utenti.
Colonna | Tipo | Descrizione |
---|---|---|
UserName |
STRING |
Il nome dell'utente. |
CreatorName |
STRING |
Il nome dell'entità che ha creato l'utente. |
CreateTimestamp |
TIMESTAMP |
Timestamp della creazione dell'utente. |
LastAccessTimestamp |
TIMESTAMP |
Timestamp dell'ultimo accesso a un database da parte dell'utente. |
Amazon Redshift
Columns
La tabella Columns
proviene da una delle seguenti tabelle:
SVV_COLUMNS,
INFORMATION_SCHEMA.COLUMNS
o
PG_TABLE_DEF,
ordinate per priorità. Lo strumento tenta di caricare prima i dati dalla tabella con la priorità più alta. Se non riesce, tenta di caricare i dati dalla successiva tabella con priorità più alta. Per maggiori dettagli su schema e utilizzo,
consulta la documentazione di Amazon Redshift o PostgreSQL.
Colonna | Tipo | Descrizione |
---|---|---|
DatabaseName |
STRING |
Il nome del database. |
SchemaName |
STRING |
Il nome dello schema. |
TableName |
STRING |
Il nome della tabella. |
ColumnName |
STRING |
Il nome della colonna. |
DefaultValue |
STRING |
Il valore predefinito, se disponibile. |
Nullable |
BOOLEAN |
Indica se una colonna può avere un valore nullo. |
ColumnType |
STRING |
Il tipo di colonna, ad esempio VARCHAR . |
ColumnLength |
INTEGER |
La dimensione della colonna, ad esempio 30 per un
VARCHAR(30) . |
CreateAndDropStatistic
Questa tabella fornisce informazioni sulla creazione e sull'eliminazione delle tabelle.
Colonna | Tipo | Descrizione |
---|---|---|
QueryHash |
STRING |
L'hash della query. |
DefaultDatabase |
STRING |
Il database predefinito. |
EntityType |
STRING |
Tipo di entità, ad esempio TABLE. |
EntityName |
STRING |
Il nome dell'entità. |
Operation |
STRING |
L'operazione: CREATE o DROP. |
Databases
Questa tabella proviene dalla tabella PG_DATABASE_INFO direttamente da Amazon Redshift. I nomi dei campi originali della tabella PG sono inclusi nelle descrizioni. Per maggiori dettagli su schema e utilizzo, consulta la documentazione di Amazon Redshift e PostgreSQL.
Colonna | Tipo | Descrizione |
---|---|---|
DatabaseName |
STRING |
Il nome del database. Nome origine: datname |
Owner |
STRING |
Il proprietario del database. ad esempio l'utente che ha creato il database. Nome origine: datdba |
ExternalColumns
Questa tabella contiene informazioni provenienti dalla tabella SVV_EXTERNAL_COLUMNS direttamente da Amazon Redshift. Per ulteriori dettagli su schema e utilizzo, consulta la documentazione di Amazon Redshift.
Colonna | Tipo | Descrizione |
---|---|---|
SchemaName |
STRING |
Il nome dello schema esterno. |
TableName |
STRING |
Il nome della tabella esterna. |
ColumnName |
STRING |
Il nome della colonna esterna. |
ColumnType |
STRING |
Il tipo di colonna. |
Nullable |
BOOLEAN |
Indica se una colonna può avere un valore nullo. |
ExternalDatabases
Questa tabella contiene informazioni provenienti dalla tabella SVV_EXTERNAL_DATABASES di Amazon Redshift. Per ulteriori dettagli su schema e utilizzo, consulta la documentazione di Amazon Redshift.
Colonna | Tipo | Descrizione |
---|---|---|
DatabaseName |
STRING |
Il nome del database esterno. |
Location |
STRING |
Località del database. |
ExternalPartitions
Questa tabella contiene informazioni provenienti dalla tabella SVV_EXTERNAL_PARTITIONS di Amazon Redshift. Per ulteriori dettagli su schema e utilizzo, consulta la documentazione di Amazon Redshift.
Colonna | Tipo | Descrizione |
---|---|---|
SchemaName |
STRING |
Il nome dello schema esterno. |
TableName |
STRING |
Il nome della tabella esterna. |
Location |
STRING |
La posizione della partizione. La dimensione della colonna è limitata a 128 caratteri. I valori più lunghi vengono troncati. |
ExternalSchemas
Questa tabella contiene informazioni provenienti dalla tabella SVV_EXTERNAL_SCHEMAS di Amazon Redshift direttamente. Per ulteriori dettagli su schema e utilizzo, consulta la documentazione di Amazon Redshift.
Colonna | Tipo | Descrizione |
---|---|---|
SchemaName |
STRING |
Il nome dello schema esterno. |
DatabaseName |
STRING |
Il nome del database esterno. |
ExternalTables
Questa tabella contiene informazioni provenienti dalla tabella SVV_EXTERNAL_TABLES di Amazon Redshift. Per ulteriori dettagli su schema e utilizzo, consulta la documentazione di Amazon Redshift.
Colonna | Tipo | Descrizione |
---|---|---|
SchemaName |
STRING |
Il nome dello schema esterno. |
TableName |
STRING |
Il nome della tabella esterna. |
Functions
Questa tabella contiene informazioni della tabella PG_PROC direttamente da Amazon Redshift. Per maggiori dettagli su schema e utilizzo, consulta la documentazione di Amazon Redshift e PostgreSQL.
Colonna | Tipo | Descrizione |
---|---|---|
SchemaName |
STRING |
Il nome dello schema. |
FunctionName |
STRING |
Il nome della funzione. |
LanguageName |
STRING |
Il linguaggio di implementazione o l'interfaccia di chiamata di questa funzione. |
Queries
Questa tabella viene generata utilizzando le informazioni della tabella QueryLogs
. A differenza della tabella QueryLogs
, ogni riga della tabella Query contiene una sola istruzione di query archiviata nella colonna QueryText. Questa tabella fornisce i dati di origine per generare le tabelle delle statistiche e gli output di traduzione.
Colonna | Tipo | Descrizione |
---|---|---|
QueryText |
STRING |
Il testo della query. |
QueryHash |
STRING |
L'hash della query. |
QueryLogs
Questa tabella fornisce informazioni sull'esecuzione della query.
Colonna | Tipo | Descrizione |
---|---|---|
QueryText |
STRING |
Il testo della query. |
QueryHash |
STRING |
L'hash della query. |
QueryID |
STRING |
L'ID della query. |
UserID |
STRING |
L'ID dell'utente. |
StartTime |
TIMESTAMP |
L'ora di inizio. |
Duration |
INTEGER |
Durata in millisecondi. |
QueryTypeStatistics
Colonna | Tipo | Descrizione |
---|---|---|
QueryHash |
STRING |
L'hash della query. |
DefaultDatabase |
STRING |
Il database predefinito. |
QueryType |
STRING |
Il tipo di query. |
UpdatedTable |
STRING |
La tabella aggiornata. |
QueriedTables |
ARRAY<STRING> |
Le tabelle su cui è stata eseguita la query. |
TableInfo
Questa tabella contiene informazioni estratte dalla tabella SVV_TABLE_INFO in Amazon Redshift.
Colonna | Tipo | Descrizione |
---|---|---|
DatabaseName |
STRING |
Il nome del database. |
SchemaName |
STRING |
Il nome dello schema. |
TableId |
INTEGER |
L'ID tabella. |
TableName |
STRING |
Il nome della tabella. |
SortKey1 |
STRING |
Prima colonna nella chiave di ordinamento. |
SortKeyNum |
INTEGER |
Numero di colonne definite come chiavi di ordinamento. |
MaxVarchar |
INTEGER |
Dimensioni della colonna più grande che utilizza un tipo di dati VARCHAR . |
Size |
INTEGER |
Dimensioni della tabella, in blocchi di dati da 1 MB. |
TblRows |
INTEGER |
Numero totale di righe nella tabella. |
TableRelations
Colonna | Tipo | Descrizione |
---|---|---|
QueryHash |
STRING |
L'hash della query che ha stabilito la relazione (ad esempio, una query JOIN). |
DefaultDatabase |
STRING |
Il database predefinito. |
TableName1 |
STRING |
La prima tabella della relazione. |
TableName2 |
STRING |
La seconda tabella della relazione. |
Relation |
STRING |
Il tipo di relazione. Utilizza uno dei seguenti valori:
COMMA_JOIN , CROSS_JOIN ,
FULL_OUTER_JOIN , INNER_JOIN ,
LEFT_OUTER_JOIN ,
RIGHT_OUTER_JOIN , CREATED_FROM o
INSERT_INTO . |
Count |
INTEGER |
La frequenza con cui è stata osservata questa relazione. |
TableSizes
Questa tabella fornisce informazioni sulle dimensioni delle tabelle.
Colonna | Tipo | Descrizione |
---|---|---|
DatabaseName |
STRING |
Il nome del database. |
SchemaName |
STRING |
Il nome dello schema. |
TableName |
STRING |
Il nome della tabella. |
TableSizeInBytes |
INTEGER |
Le dimensioni della tabella in byte. |
Tables
Questa tabella contiene informazioni estratte dalla tabella SVV_TABLES in Amazon Redshift. Per ulteriori dettagli su schema e utilizzo, consulta la documentazione di Amazon Redshift.
Colonna | Tipo | Descrizione |
---|---|---|
DatabaseName |
STRING |
Il nome del database. |
SchemaName |
STRING |
Il nome dello schema. |
TableName |
STRING |
Il nome della tabella. |
TableType |
STRING |
Il tipo di tabella. |
TranslatedQueries
Questa tabella fornisce le traduzioni delle query.
Colonna | Tipo | Descrizione |
---|---|---|
QueryHash |
STRING |
L'hash della query. |
TranslatedQueryText |
STRING |
Risultato della traduzione dal dialetto di origine a GoogleSQL. |
TranslationErrors
Questa tabella fornisce informazioni sugli errori di traduzione delle query.
Colonna | Tipo | Descrizione |
---|---|---|
QueryHash |
STRING |
L'hash della query. |
Severity |
STRING |
Gravità dell'errore, ad esempio ERROR . |
Category |
STRING |
La categoria dell'errore, ad esempio
AttributeNotFound . |
Message |
STRING |
Il messaggio con i dettagli dell'errore. |
LocationOffset |
INTEGER |
La posizione del carattere della posizione dell'errore. |
LocationLine |
INTEGER |
Il numero di riga dell'errore. |
LocationColumn |
INTEGER |
Il numero di colonna dell'errore. |
LocationLength |
INTEGER |
Il numero di caratteri della posizione dell'errore. |
UserTableRelations
Colonna | Tipo | Descrizione |
---|---|---|
UserID |
STRING |
L'ID utente. |
TableName |
STRING |
Il nome della tabella. |
Relation |
STRING |
La relazione. |
Count |
INTEGER |
Il conteggio. |
Users
Questa tabella contiene informazioni estratte dalla tabella PG_USER in Amazon Redshift. Per ulteriori dettagli su schema e utilizzo, consulta la documentazione di PostgreSQL.
Colonna | Tipo | Descrizione | |
---|---|---|---|
UserName |
STRING |
Il nome dell'utente. | |
UserId |
STRING |
L'ID utente. |
Apache Hive
Columns
Questa tabella fornisce informazioni sulle colonne:
Colonna | Tipo | Descrizione |
---|---|---|
DatabaseName |
STRING |
Il nome del database in cui viene mantenuta la distinzione tra maiuscole e minuscole. |
TableName |
STRING |
Il nome della tabella in cui le maiuscole e le minuscole vengono mantenute. |
ColumnName |
STRING |
Il nome della colonna in cui le maiuscole vengono mantenute. |
ColumnType |
STRING |
Il tipo di colonna BigQuery, ad esempio STRING . |
OriginalColumnType |
STRING |
Il tipo originale di colonna, ad esempio VARCHAR . |
CreateAndDropStatistic
Questa tabella fornisce informazioni sulla creazione e sull'eliminazione delle tabelle:
Colonna | Tipo | Descrizione |
---|---|---|
QueryHash |
STRING |
L'hash della query. |
DefaultDatabase |
STRING |
Il database predefinito. |
EntityType |
STRING |
Tipo di entità, ad esempio TABLE . |
EntityName |
STRING |
Il nome dell'entità. |
Operation |
STRING |
L'operazione eseguita sulla tabella (CREATE o DROP ). |
Databases
Questa tabella fornisce informazioni sui database:
Colonna | Tipo | Descrizione |
---|---|---|
DatabaseName |
STRING |
Il nome del database in cui viene mantenuta la distinzione tra maiuscole e minuscole. |
Owner |
STRING |
Il proprietario del database. ad esempio l'utente che ha creato il database. |
Location |
STRING |
Posizione del database nel file system. |
Functions
Questa tabella fornisce informazioni sulle funzioni:
Colonna | Tipo | Descrizione |
---|---|---|
DatabaseName |
STRING |
Il nome del database in cui viene mantenuta la distinzione tra maiuscole e minuscole. |
FunctionName |
STRING |
Il nome della funzione. |
LanguageName |
STRING |
Il nome della lingua. |
ClassName |
STRING |
Il nome della classe della funzione. |
ObjectReferences
Questa tabella fornisce informazioni sugli oggetti a cui viene fatto riferimento nelle query:
Colonna | Tipo | Descrizione |
---|---|---|
QueryHash |
STRING |
L'hash della query. |
DefaultDatabase |
STRING |
Il database predefinito. |
Clause |
STRING |
La clausola in cui compare l'oggetto. Ad esempio, SELECT . |
ObjectName |
STRING |
Il nome dell'oggetto. |
Type |
STRING |
Il tipo di oggetto. |
Subtype |
STRING |
Il sottotipo dell'oggetto. |
ParititionKeys
Questa tabella fornisce informazioni sulle chiavi di partizione:
Colonna | Tipo | Descrizione |
---|---|---|
DatabaseName |
STRING |
Il nome del database in cui viene mantenuta la distinzione tra maiuscole e minuscole. |
TableName |
STRING |
Il nome della tabella in cui le maiuscole e le minuscole vengono mantenute. |
ColumnName |
STRING |
Il nome della colonna in cui le maiuscole vengono mantenute. |
ColumnType |
STRING |
Il tipo di colonna BigQuery, ad esempio STRING . |
Parititions
Questa tabella fornisce informazioni sulle partizioni delle tabelle:
Colonna | Tipo | Descrizione |
---|---|---|
DatabaseName |
STRING |
Il nome del database in cui viene mantenuta la distinzione tra maiuscole e minuscole. |
TableName |
STRING |
Il nome della tabella in cui le maiuscole e le minuscole vengono mantenute. |
PartitionName |
STRING |
Il nome della partizione. |
CreateTimestamp |
TIMESTAMP |
Timestamp della creazione di questa partizione. |
LastAccessTimestamp |
TIMESTAMP |
Timestamp dell'ultimo accesso a questa partizione. |
LastDdlTimestamp |
TIMESTAMP |
Timestamp dell'ultima modifica della partizione. |
TotalSize |
INTEGER |
Le dimensioni compresse della partizione in byte. |
Queries
Questa tabella viene generata utilizzando le informazioni della tabella QueryLogs
. A differenza della tabella QueryLogs
, ogni riga della tabella Query contiene una sola istruzione di query memorizzata nella colonna QueryText
. Questa tabella fornisce i dati di origine per generare le tabelle delle statistiche e gli output di traduzione:
Colonna | Tipo | Descrizione |
---|---|---|
QueryHash |
STRING |
L'hash della query. |
QueryText |
STRING |
Il testo della query. |
QueryLogs
Questa tabella fornisce alcune statistiche di esecuzione relative alle query estratte:
Colonna | Tipo | Descrizione |
---|---|---|
QueryText |
STRING |
Il testo della query. |
QueryHash |
STRING |
L'hash della query. |
QueryId |
STRING |
L'ID della query. |
QueryType |
STRING |
Il tipo di query: Query o DDL . |
UserName |
STRING |
Il nome dell'utente che ha eseguito la query. |
StartTime |
TIMESTAMP |
Il timestamp di invio della query. |
Duration |
STRING |
Durata della query in millisecondi. |
QueryTypeStatistics
Questa tabella fornisce statistiche sui tipi di query:
Colonna | Tipo | Descrizione |
---|---|---|
QueryHash |
STRING |
L'hash della query. |
QueryType |
STRING |
Il tipo di query. |
UpdatedTable |
STRING |
La tabella aggiornata dalla query, se presente. |
QueriedTables |
ARRAY<STRING> |
Un elenco delle tabelle su cui è stata eseguita una query. |
QueryTypes
Questa tabella fornisce statistiche sui tipi di query:
Colonna | Tipo | Descrizione |
---|---|---|
QueryHash |
STRING |
L'hash della query. |
Category |
STRING |
La categoria della query. |
Type |
STRING |
Il tipo di query. |
Subtype |
STRING |
Il sottotipo della query. |
SchemaConversion
Questa tabella fornisce informazioni sulle conversioni dello schema correlate al clustering e al partizionamento:
Nome colonna | Tipo di colonna | Descrizione |
---|---|---|
DatabaseName |
STRING |
Il nome del database di origine per il quale viene apportato il suggerimento. Un database è mappato a un set di dati in BigQuery. |
TableName |
STRING |
Il nome della tabella per la quale viene fornito il suggerimento. |
PartitioningColumnName |
STRING |
Il nome della colonna di partizionamento suggerita in BigQuery. |
ClusteringColumnNames |
ARRAY |
I nomi delle colonne di clustering suggerite in BigQuery. |
CreateTableDDL |
STRING |
CREATE TABLE statement per creare la tabella in BigQuery. |
TableRelations
Questa tabella fornisce informazioni sulle tabelle:
Colonna | Tipo | Descrizione |
---|---|---|
QueryHash |
STRING |
L'hash della query che ha stabilito la relazione. |
DatabaseName1 |
STRING |
Il nome del primo database. |
TableName1 |
STRING |
Il nome della prima tabella. |
DatabaseName2 |
STRING |
Il nome del secondo database. |
TableName2 |
STRING |
Il nome della seconda tabella. |
Relation |
STRING |
Il tipo di relazione tra le due tabelle. |
TableSizes
Questa tabella fornisce informazioni sulle dimensioni delle tabelle:
Colonna | Tipo | Descrizione |
---|---|---|
DatabaseName |
STRING |
Il nome del database in cui viene mantenuta la distinzione tra maiuscole e minuscole. |
TableName |
STRING |
Il nome della tabella in cui le maiuscole e le minuscole vengono mantenute. |
TotalSize |
INTEGER |
Le dimensioni della tabella in byte. |
Tables
Questa tabella fornisce informazioni sulle tabelle:
Colonna | Tipo | Descrizione |
---|---|---|
DatabaseName |
STRING |
Il nome del database in cui viene mantenuta la distinzione tra maiuscole e minuscole. |
TableName |
STRING |
Il nome della tabella in cui le maiuscole e le minuscole vengono mantenute. |
Type |
STRING |
Il tipo di tabella. |
TranslatedQueries
Questa tabella fornisce le traduzioni delle query:
Colonna | Tipo | Descrizione |
---|---|---|
QueryHash |
STRING |
L'hash della query. |
TranslatedQueryText |
STRING |
Il risultato della traduzione dal dialetto di origine a GoogleSQL. |
TranslationErrors
Questa tabella fornisce informazioni sugli errori di traduzione delle query:
Colonna | Tipo | Descrizione |
---|---|---|
QueryHash |
STRING |
L'hash della query. |
Severity |
STRING |
Gravità dell'errore, ad esempio ERROR . |
Category |
STRING |
La categoria dell'errore, ad esempio
AttributeNotFound . |
Message |
STRING |
Il messaggio con i dettagli dell'errore. |
LocationOffset |
INTEGER |
La posizione del carattere della posizione dell'errore. |
LocationLine |
INTEGER |
Il numero di riga dell'errore. |
LocationColumn |
INTEGER |
Il numero di colonna dell'errore. |
LocationLength |
INTEGER |
Il numero di caratteri della posizione dell'errore. |
UserTableRelations
Colonna | Tipo | Descrizione |
---|---|---|
UserID |
STRING |
L'ID utente. |
TableName |
STRING |
Il nome della tabella. |
Relation |
STRING |
La relazione. |
Count |
INTEGER |
Il conteggio. |
Snowflake
Warehouses
Colonna | Tipo | Descrizione | Presenza |
---|---|---|---|
WarehouseName |
STRING |
Il nome del magazzino. | Sempre |
State |
STRING |
Lo stato del magazzino. Valori possibili: STARTED , SUSPENDED , RESIZING . |
Sempre |
Type |
STRING |
Tipo di warehouse. Valori possibili: STANDARD , SNOWPARK-OPTIMIZED . |
Sempre |
Size |
STRING |
Dimensioni del magazzino. Valori possibili: X-Small , Small , Medium , Large , X-Large , 2X-Large ... 6X-Large . |
Sempre |
Databases
Colonna | Tipo | Descrizione | Presenza |
---|---|---|---|
DatabaseNameOriginal |
STRING |
Il nome del database, mantenendo le maiuscole/minuscole. | Sempre |
DatabaseName |
STRING |
Il nome del database, convertito in minuscolo. | Sempre |
Schemata
Colonna | Tipo | Descrizione | Presenza |
---|---|---|---|
DatabaseNameOriginal |
STRING |
Il nome del database a cui appartiene lo schema, mantenendo le maiuscole/minuscole. | Sempre |
DatabaseName |
STRING |
Il nome del database a cui appartiene lo schema, convertito in lettere minuscole. | Sempre |
SchemaNameOriginal |
STRING |
Il nome dello schema, mantenendo le maiuscole/minuscole. | Sempre |
SchemaName |
STRING |
Il nome dello schema convertito in minuscolo. | Sempre |
Tables
Colonna | Tipo | Descrizione | Presenza |
---|---|---|---|
DatabaseNameOriginal |
STRING |
Il nome del database a cui appartiene la tabella, con la distinzione tra maiuscole e minuscole. | Sempre |
DatabaseName |
STRING |
Il nome del database a cui appartiene la tabella, convertito in lettere minuscole. | Sempre |
SchemaNameOriginal |
STRING |
Il nome dello schema a cui appartiene la tabella, con la distinzione tra maiuscole e minuscole. | Sempre |
SchemaName |
STRING |
Il nome dello schema a cui appartiene la tabella, convertito in minuscolo. | Sempre |
TableNameOriginal |
STRING |
Il nome della tabella, mantenendo le maiuscole/minuscole. | Sempre |
TableName |
STRING |
Il nome della tabella, convertito in minuscolo. | Sempre |
TableType |
STRING |
Tipo di tabella (Vista / Vista materializzata / Tabella di base). | Sempre |
RowCount |
BIGNUMERIC |
Numero di righe nella tabella. | Sempre |
Columns
Colonna | Tipo | Descrizione | Presenza |
---|---|---|---|
DatabaseName |
STRING |
Il nome del database, convertito in minuscolo. | Sempre |
DatabaseNameOriginal |
STRING |
Il nome del database, mantenendo le maiuscole/minuscole. | Sempre |
SchemaName |
STRING |
Il nome dello schema convertito in minuscolo. | Sempre |
SchemaNameOriginal |
STRING |
Il nome dello schema, mantenendo le maiuscole/minuscole. | Sempre |
TableName |
STRING |
Il nome della tabella, convertito in minuscolo. | Sempre |
TableNameOriginal |
STRING |
Il nome della tabella in cui le maiuscole e le minuscole vengono mantenute. | Sempre |
ColumnName |
STRING |
Il nome della colonna, convertito in minuscolo. | Sempre |
ColumnNameOriginal |
STRING |
Il nome della colonna in cui le maiuscole vengono mantenute. | Sempre |
ColumnType |
STRING |
Il tipo di colonna. | Sempre |
CreateAndDropStatistics
Colonna | Tipo | Descrizione | Presenza |
---|---|---|---|
QueryHash |
STRING |
L'hash della query. | Sempre |
DefaultDatabase |
STRING |
Il database predefinito. | Sempre |
EntityType |
STRING |
Il tipo di entità, ad esempio TABLE . |
Sempre |
EntityName |
STRING |
Il nome dell'entità. | Sempre |
Operation |
STRING |
Operazione: CREATE o DROP . |
Sempre |
Queries
Colonna | Tipo | Descrizione | Presenza |
---|---|---|---|
QueryText |
STRING |
Il testo della query. | Sempre |
QueryHash |
STRING |
L'hash della query. | Sempre |
QueryLogs
Colonna | Tipo | Descrizione | Presenza |
---|---|---|---|
QueryText |
STRING |
Il testo della query. | Sempre |
QueryHash |
STRING |
L'hash della query. | Sempre |
QueryID |
STRING |
L'ID della query. | Sempre |
UserID |
STRING |
L'ID dell'utente. | Sempre |
StartTime |
TIMESTAMP |
L'ora di inizio. | Sempre |
Duration |
INTEGER |
Durata in millisecondi. | Sempre |
QueryTypeStatistics
Colonna | Tipo | Descrizione | Presenza |
---|---|---|---|
QueryHash |
STRING |
L'hash della query. | Sempre |
DefaultDatabase |
STRING |
Il database predefinito. | Sempre |
QueryType |
STRING |
Il tipo di query. | Sempre |
UpdatedTable |
STRING |
La tabella aggiornata. | Sempre |
QueriedTables |
REPEATED STRING |
Le tabelle su cui è stata eseguita la query. | Sempre |
TableRelations
Colonna | Tipo | Descrizione | Presenza |
---|---|---|---|
QueryHash |
STRING |
L'hash della query che ha stabilito la relazione (ad esempio, una query JOIN ). |
Sempre |
DefaultDatabase |
STRING |
Il database predefinito. | Sempre |
TableName1 |
STRING |
La prima tabella della relazione. | Sempre |
TableName2 |
STRING |
La seconda tabella della relazione. | Sempre |
Relation |
STRING |
Il tipo di relazione. | Sempre |
Count |
INTEGER |
La frequenza con cui è stata osservata questa relazione. | Sempre |
TranslatedQueries
Colonna | Tipo | Descrizione | Presenza |
---|---|---|---|
QueryHash |
STRING |
L'hash della query. | Sempre |
TranslatedQueryText |
STRING |
Risultato della traduzione dal dialetto di origine a BigQuery SQL. | Sempre |
TranslationErrors
Colonna | Tipo | Descrizione | Presenza |
---|---|---|---|
QueryHash |
STRING |
L'hash della query. | Sempre |
Severity |
STRING |
La gravità dell'errore, ad esempio ERROR . |
Sempre |
Category |
STRING |
La categoria dell'errore, ad esempio AttributeNotFound . |
Sempre |
Message |
STRING |
Il messaggio con i dettagli dell'errore. | Sempre |
LocationOffset |
INTEGER |
La posizione del carattere della posizione dell'errore. | Sempre |
LocationLine |
INTEGER |
Il numero di riga dell'errore. | Sempre |
LocationColumn |
INTEGER |
Il numero di colonna dell'errore. | Sempre |
LocationLength |
INTEGER |
Il numero di caratteri della posizione dell'errore. | Sempre |
UserTableRelations
Colonna | Tipo | Descrizione | Presenza |
---|---|---|---|
UserID |
STRING |
ID utente. | Sempre |
TableName |
STRING |
Il nome della tabella. | Sempre |
Relation |
STRING |
La relazione. | Sempre |
Count |
INTEGER |
Il conteggio. | Sempre |
Risoluzione dei problemi
Questa sezione illustra alcuni problemi comuni e tecniche di risoluzione dei problemi per eseguire la migrazione del data warehouse a BigQuery.
dwh-migration-dumper
errore dello strumento
Per risolvere errori e avvisi nell'output del terminale dello strumento dwh-migration-dumper
che si sono verificati durante l'estrazione dei metadati o dei log delle query, consulta Risoluzione dei problemi relativi alla generazione dei metadati.
Errori di migrazione Hive
Questa sezione descrive i problemi comuni che potresti riscontrare quando prevedi di eseguire la migrazione del data warehouse da Hive a BigQuery.
L'hook di logging scrive i messaggi di log di debug nei log di hive-server2
. Se riscontri problemi, esamina i log di debug dell'hook di logging, che contengono la stringa MigrationAssessmentLoggingHook
.
Gestisci l'errore ClassNotFoundException
L'errore potrebbe essere causato da un errore di posizionamento del file JAR dell'hook di logging. Assicurati di aver aggiunto il file JAR alla cartella auxlib sul cluster Hive. In alternativa, puoi specificare il percorso completo
del file JAR nella proprietà hive.aux.jars.path
, ad esempio
file://
.
Le sottocartelle non vengono visualizzate nella cartella configurata
Questo problema potrebbe essere causato dall'errata configurazione o da problemi durante l'inizializzazione dell'hook di logging.
Cerca nei log di debug di hive-server2
i seguenti
messaggi hook di logging:
Unable to initialize logger, logging disabled
Log dir configuration key 'dwhassessment.hook.base-directory' is not set, logging disabled.
Error while trying to set permission
Esamina i dettagli del problema e controlla se c'è qualcosa che devi correggere per risolverlo.
I file non vengono visualizzati nella cartella
Questo problema potrebbe essere causato da problemi riscontrati durante l'elaborazione degli eventi o la scrittura su un file.
Cerca nei log di debug di hive-server2
i seguenti
messaggi hook di logging:
Failed to close writer for file
Got exception while processing event
Error writing record for query
Esamina i dettagli del problema e controlla se c'è qualcosa che devi correggere per risolverlo.
Alcuni eventi di query sono persi
Questo problema potrebbe essere causato dall'overflow della coda del thread dell'hook di logging.
Cerca nei log di debug di hive-server2
il seguente
messaggio hook di logging:
Writer queue is full. Ignoring event
Se sono presenti messaggi di questo tipo, ti consigliamo di aumentare il parametro dwhassessment.hook.queue.capacity
.
Passaggi successivi
Per maggiori informazioni sullo strumento dwh-migration-dumper
, consulta
dwh-migration-tools.
Puoi anche scoprire di più sui seguenti passaggi della migrazione del data warehouse:
- Panoramica della migrazione
- Panoramica del trasferimento di schemi e dati
- Pipeline di dati
- Traduzione SQL batch
- Traduzione SQL interattiva
- Sicurezza e governance dei dati
- Strumento di convalida dei dati