- Referensi: MigrationWorkflow
- MigrationTask
- AssessmentTaskDetails
- TranslationTaskDetails
- TeradataOptions
- BteqOptions
- DatasetReference
- TranslationFileMapping
- FileEncoding
- IdentifierSettings
- IdentifierCase
- IdentifierRewriteMode
- TokenType
- Filter
- TranslationConfigDetails
- Dialek
- BigQueryDialect
- HiveQLDialect
- RedshiftDialect
- TeradataDialect
- Mode
- OracleDialect
- SparkSQLDialect
- SnowflakeDialect
- NetezzaDialect
- AzureSynapseDialect
- VerticaDialect
- SQLServerDialect
- PostgresqlDialect
- PrestoDialect
- MySQLDialect
- SourceEnv
- SourceTargetLocationMapping
- SourceLocation
- TargetLocation
- TranslationDetails
- SourceTargetMapping
- SourceSpec
- Literal
- TargetSpec
- Status
- MigrationTaskOrchestrationResult
- AssessmentOrchestrationResultDetails
- TranslationTaskResult
- GcsReportLogMessage
- Status
- Metode
Referensi: MigrationWorkflow
Alur kerja migrasi yang menentukan apa yang perlu dilakukan untuk migrasi EDW.
Representasi JSON |
---|
{ "name": string, "displayName": string, "tasks": { string: { object ( |
Kolom | |
---|---|
name |
Hanya output. Tidak dapat diubah. Pengenal. ID unik untuk alur kerja migrasi. ID ini dibuat oleh server. Contoh: |
displayName |
Nama tampilan alur kerja. Ini dapat ditetapkan untuk memberi nama deskriptif pada alur kerja. Tidak ada jaminan atau penegakan keunikan. |
tasks |
Tugas dalam alur kerja dalam peta bernama. Nama (yaitu kunci) tidak memiliki arti dan hanya cara praktis untuk menangani tugas tertentu dalam alur kerja. |
state |
Hanya output. Status alur kerja tersebut. |
createTime |
Waktu saat alur kerja dibuat. |
lastUpdateTime |
Waktu saat alur kerja terakhir diperbarui. |
MigrationTask
Satu tugas untuk migrasi yang berisi detail tentang konfigurasi tugas tersebut.
Representasi JSON |
---|
{ "id": string, "type": string, "details": { "@type": string, field1: ..., ... }, "state": enum ( |
Kolom | |
---|---|
id |
Hanya output. Tidak dapat diubah. ID unik untuk tugas migrasi. ID ini dibuat oleh server. |
type |
Jenis tugas. Ini harus berupa salah satu jenis tugas yang didukung: Translation_Teradata2BQ, Translation_Redshift2BQ, Translation_Bteq2BQ, Translation_Oracle2BQ, Translation_HiveQL2BQ, Translation_SparkSQL2BQ, Translation_Snowflake2BQ, Translation_Netezza2BQ, Translation_AzureSynapse2BQ, Translation_AzureSynapse2BQ, Translation_AzureSynapse2BQ, Translation_AzureSynapse2BQ, Translation_AzureSynapse2BQ, Translation_AzureSynapse2BQ, Translation_AzureSynapse2BQ, Translation_AzureSynapse2BQ |
details |
TIDAK DIGUNAKAN LAGI! Gunakan salah satu task_details di bawah ini. Detail tugas. URL jenis harus berupa salah satu pesan detail tugas yang didukung dan sesuai dengan jenis Tugas. |
state |
Hanya output. Status tugas saat ini. |
processingError |
Hanya output. Penjelasan yang mungkin diisi saat tugas dalam status GAGAL. |
createTime |
Waktu saat tugas dibuat. |
lastUpdateTime |
Waktu saat tugas terakhir diperbarui. |
orchestrationResult |
Hanya output. Informasi tambahan tentang orkestrasi. |
resourceErrorDetails[] |
Hanya output. Memberikan detail tentang error dan masalah yang ditemukan saat memproses tugas. Adanya detail error bukan berarti tugas gagal. |
resourceErrorCount |
Jumlah atau resource yang memiliki error. Catatan: Ini bukan jumlah total error karena setiap resource dapat memiliki lebih dari satu error. Ini digunakan untuk menunjukkan pemotongan dengan menampilkan |
metrics[] |
Metrik untuk tugas. |
Kolom union task_details . Detail tugas. task_details hanya ada berupa salah satu diantara berikut: |
|
assessmentTaskDetails |
Konfigurasi tugas untuk Penilaian. |
translationTaskDetails |
Konfigurasi tugas untuk Terjemahan Batch SQL. |
translationConfigDetails |
Konfigurasi tugas untuk CW Batch/Offline SQL Translation. |
translationDetails |
Detail tugas untuk Terjemahan SQL terpadu. |
AssessmentTaskDetails
Konfigurasi tugas penilaian.
Representasi JSON |
---|
{ "inputPath": string, "outputDataset": string, "querylogsPath": string, "dataSource": string } |
Kolom | |
---|---|
inputPath |
Wajib. Jalur Cloud Storage untuk file input penilaian. |
outputDataset |
Wajib. Set data BigQuery untuk output. |
querylogsPath |
Opsional. Jalur Cloud Storage opsional untuk menulis log kueri (yang kemudian digunakan sebagai jalur input pada tugas terjemahan) |
dataSource |
Wajib. Sumber data atau jenis data warehouse (misalnya: TERADATA/REDSHIFT) tempat mengekstrak data input. |
TranslationTaskDetails
Konfigurasi tugas terjemahan untuk menangkap setelan yang diperlukan untuk tugas dan subtugas terjemahan.
Representasi JSON |
---|
{ "inputPath": string, "outputPath": string, "filePaths": [ { object ( |
Kolom | |
---|---|
inputPath |
Jalur Cloud Storage untuk file input terjemahan. |
outputPath |
Jalur Cloud Storage untuk file output terjemahan. |
filePaths[] |
File Cloud Storage yang akan diproses untuk diterjemahkan. |
schemaPath |
Jalur Cloud Storage ke file DDL sebagai skema tabel untuk membantu terjemahan semantik. |
fileEncoding |
Jenis encoding file. |
identifierSettings |
Setelan untuk ID SQL. |
specialTokenMap |
Peta menangkap token khusus yang akan diganti selama penerjemahan. Kuncinya adalah token khusus dalam string. Nilainya adalah jenis data token. Ini digunakan untuk menerjemahkan template kueri SQL yang berisi token khusus sebagai holder tempat. Token khusus membuat kueri tidak valid untuk diurai. Peta ini akan diterapkan untuk memberi anotasi token khusus tersebut dengan jenis agar parser memahami cara mengurainya ke dalam struktur yang tepat dengan informasi jenis. |
filter |
Filter diterapkan ke detail terjemahan. |
translationExceptionTable |
Menentukan nama yang tepat dari tabel bigquery ("dataset.table") yang akan digunakan untuk menampilkan error terjemahan mentah. Jika tabel tidak ada, kita akan membuatnya. Jika sudah ada dan skemanya sama, kita akan menggunakannya kembali. Jika tabel tersebut ada dan skemanya berbeda, kita akan menampilkan error. |
Kolom union language_options . Setelan spesifik bahasa untuk tugas terjemahan. language_options hanya ada berupa salah satu diantara berikut: |
|
teradataOptions |
Setelan khusus Teradata SQL untuk tugas terjemahan. |
bteqOptions |
Setelan khusus BTEQ untuk tugas terjemahan. |
TeradataOptions
Jenis ini tidak memiliki kolom.
Setelan terkait tugas terjemahan khusus Teradata SQL.
BteqOptions
Setelan terkait tugas terjemahan BTEQ.
Representasi JSON |
---|
{
"projectDataset": {
object ( |
Kolom | |
---|---|
projectDataset |
Menentukan project dan set data di BigQuery yang akan digunakan untuk pembuatan tabel eksternal selama penerjemahan. |
defaultPathUri |
Lokasi Cloud Storage yang akan digunakan sebagai jalur default untuk file yang tidak ditentukan dalam peta penggantian file. |
fileReplacementMap |
Memetakan jalur lokal yang digunakan dalam skrip BTEQ (kunci) ke jalur di Cloud Storage yang harus digunakan sebagai penggantinya dalam terjemahan (nilai). |
DatasetReference
Rujukan ke set data BigQuery.
Representasi JSON |
---|
{ "datasetId": string, "projectId": string, "datasetIdAlternative": [ string ], "projectIdAlternative": [ string ] } |
Kolom | |
---|---|
datasetId |
ID unik untuk set data ini, tanpa nama project. ID hanya boleh berisi huruf (a-z, A-Z), angka (0-9), atau garis bawah (_). Panjang maksimum adalah 1.024 karakter. |
TranslationFileMapping
Pemetaan antara file input dan output yang akan diterjemahkan dalam subtugas.
Representasi JSON |
---|
{ "inputPath": string, "outputPath": string } |
Kolom | |
---|---|
inputPath |
Jalur Cloud Storage untuk file ke terjemahan dalam subtugas. |
outputPath |
Jalur Cloud Storage untuk menulis kembali file input yang sesuai. |
FileEncoding
Jenis encoding file.
Enum | |
---|---|
FILE_ENCODING_UNSPECIFIED |
Setelan encoding file tidak ditentukan. |
UTF_8 |
Pengkodean file adalah UTF_8. |
ISO_8859_1 |
Pengkodean file adalah ISO_8859_1. |
US_ASCII |
Pengkodean file adalah US_ASCII. |
UTF_16 |
Pengkodean file adalah UTF_16. |
UTF_16LE |
Pengkodean file adalah UTF_16LE. |
UTF_16BE |
Encoding file adalah UTF_16BE. |
IdentifierSettings
Setelan yang terkait dengan ID SQL.
Representasi JSON |
---|
{ "outputIdentifierCase": enum ( |
Kolom | |
---|---|
outputIdentifierCase |
Setelan untuk mengontrol kasus ID kueri output. |
identifierRewriteMode |
Menentukan mode penulisan ulang untuk ID SQL. |
IdentifierCase
Jenis kasus ID.
Enum | |
---|---|
IDENTIFIER_CASE_UNSPECIFIED |
Kasus ID tidak ditentukan. |
ORIGINAL |
Kasus ID akan disimpan sebagai kasus asli. |
UPPER |
ID akan ditulis dalam huruf besar. |
LOWER |
ID akan memiliki huruf kecil. |
IdentifierRewriteMode
Mode penulisan ulang ID SQL.
Enum | |
---|---|
IDENTIFIER_REWRITE_MODE_UNSPECIFIED |
Mode penulisan ulang ID SQL tidak ditentukan. |
NONE |
ID SQL tidak akan ditulis ulang. |
REWRITE_ALL |
Semua ID SQL akan ditulis ulang. |
TokenType
Jenis data token khusus.
Enum | |
---|---|
TOKEN_TYPE_UNSPECIFIED |
Jenis token belum ditentukan. |
STRING |
Jenis token sebagai string. |
INT64 |
Jenis token sebagai bilangan bulat. |
NUMERIC |
Jenis token berupa numerik. |
BOOL |
Jenis token sebagai boolean. |
FLOAT64 |
Jenis token sebagai float. |
DATE |
Jenis token sebagai tanggal. |
TIMESTAMP |
Jenis token sebagai stempel waktu. |
Filter
Filter yang diterapkan ke detail kolom terjemahan.
Representasi JSON |
---|
{ "inputFileExclusionPrefixes": [ string ] } |
Kolom | |
---|---|
inputFileExclusionPrefixes[] |
Daftar awalan yang digunakan untuk mengecualikan pemrosesan file input. |
TranslationConfigDetails
Konfigurasi terjemahan untuk menangkap setelan yang diperlukan untuk tugas dan subtugas terjemahan.
Representasi JSON |
---|
{ "sourceDialect": { object ( |
Kolom | |
---|---|
sourceDialect |
Dialek file input. |
targetDialect |
Dialek target yang digunakan mesin untuk menerjemahkan input. |
sourceEnv |
Nilai lingkungan sumber default untuk terjemahan. |
sourceTargetLocationMapping[] |
Pemetaan dari jalur lokasi sumber ke jalur lokasi target. |
requestSource |
Indikator untuk menampilkan inisiator permintaan terjemahan. |
Kolom union source_location . Jalur yang dipilih tempat sumber file input akan ditemukan. source_location hanya ada berupa salah satu diantara berikut: |
|
gcsSourcePath |
Jalur Cloud Storage untuk direktori file yang akan diterjemahkan dalam tugas. |
Kolom union target_location . Jalur yang dipilih tempat tujuan file output akan ditemukan. target_location hanya ada berupa salah satu diantara berikut: |
|
gcsTargetPath |
Jalur Cloud Storage untuk menulis kembali file input yang sesuai. |
Dialek
Kemungkinan opsi dialek untuk terjemahan.
Representasi JSON |
---|
{ // Union field |
Kolom | |
---|---|
Kolom union dialect_value . Kemungkinan opsi dialek yang diwakili oleh pesan ini. dialect_value hanya ada berupa salah satu diantara berikut: |
|
bigqueryDialect |
Dialek BigQuery |
hiveqlDialect |
Dialek HiveQL |
redshiftDialect |
Dialek Redshift |
teradataDialect |
Dialek Teradata |
oracleDialect |
Dialek Oracle |
sparksqlDialect |
Dialek SparkSQL |
snowflakeDialect |
Dialek Snowflake |
netezzaDialect |
Dialek Netezza |
azureSynapseDialect |
Dialek Azure Synapse |
verticaDialect |
Dialek Vertica |
sqlServerDialect |
Dialek SQL Server |
postgresqlDialect |
Dialek Postgresql |
prestoDialect |
Dialek Presto |
mysqlDialect |
Dialek MySQL |
BigQueryDialect
Jenis ini tidak memiliki kolom.
Definisi dialek untuk BigQuery.
HiveQLDialect
Jenis ini tidak memiliki kolom.
Definisi dialek untuk HiveQL.
RedshiftDialect
Jenis ini tidak memiliki kolom.
Definisi dialek untuk Redshift.
TeradataDialect
Definisi dialek untuk Teradata.
Representasi JSON |
---|
{
"mode": enum ( |
Kolom | |
---|---|
mode |
Mode sub-dialek Teradata mana yang ditentukan pengguna. |
Mode
Opsi sub-dialek untuk Teradata.
Enum | |
---|---|
MODE_UNSPECIFIED |
Mode belum ditentukan. |
SQL |
Mode SQL Teradata. |
BTEQ |
Mode BTEQ (yang mencakup SQL). |
OracleDialect
Jenis ini tidak memiliki kolom.
Definisi dialek untuk Oracle.
SparkSQLDialect
Jenis ini tidak memiliki kolom.
Definisi dialek untuk SparkSQL.
SnowflakeDialect
Jenis ini tidak memiliki kolom.
Definisi dialek untuk Snowflake.
NetezzaDialect
Jenis ini tidak memiliki kolom.
Definisi dialek untuk Netezza.
AzureSynapseDialect
Jenis ini tidak memiliki kolom.
Definisi dialek untuk Azure Synapse.
VerticaDialect
Jenis ini tidak memiliki kolom.
Definisi dialek untuk Vertica.
SQLServerDialect
Jenis ini tidak memiliki kolom.
Definisi dialek untuk SQL Server.
PostgresqlDialect
Jenis ini tidak memiliki kolom.
Definisi dialek untuk Postgresql.
PrestoDialect
Jenis ini tidak memiliki kolom.
Definisi dialek untuk Presto.
MySQLDialect
Jenis ini tidak memiliki kolom.
Definisi dialek untuk MySQL.
SourceTargetLocationMapping
Mewakili satu pemetaan dari jalur lokasi sumber ke jalur lokasi target opsional.
Representasi JSON |
---|
{ "sourceLocation": { object ( |
Kolom | |
---|---|
sourceLocation |
Jalur ke lokasi data sumber. |
targetLocation |
Jalur ke lokasi data target. |
SourceLocation
Mewakili satu jalur ke lokasi yang menyimpan data sumber.
Representasi JSON |
---|
{ // Union field |
Kolom | |
---|---|
Kolom union location . Lokasi data sumber. location hanya ada berupa salah satu diantara berikut: |
|
gcsPath |
Jalur Cloud Storage untuk direktori file. |
TargetLocation
// Mewakili satu jalur ke lokasi yang menyimpan data target.
Representasi JSON |
---|
{ // Union field |
Kolom | |
---|---|
Kolom union location . Lokasi data target. location hanya ada berupa salah satu diantara berikut: |
|
gcsPath |
Jalur Cloud Storage untuk direktori file. |
TranslationDetails
Detail terjemahan untuk menangkap setelan yang diperlukan untuk tugas terjemahan.
Representasi JSON |
---|
{ "sourceTargetMapping": [ { object ( |
Kolom | |
---|---|
sourceTargetMapping[] |
Pemetaan dari SQL sumber ke target. |
targetBaseUri |
URI dasar untuk semua penulisan ke penyimpanan persisten. |
sourceEnvironment |
Nilai lingkungan sumber default untuk terjemahan. |
targetReturnLiterals[] |
Daftar target literal yang akan langsung ditampilkan ke respons. Setiap entri terdiri dari jalur yang dibuat, KECUALI jalur dasar. Tidak memberikan targetBaseUri akan mencegah penulisan ke penyimpanan persisten. |
targetTypes[] |
Jenis output yang akan dihasilkan, misalnya sql, sqlx, lineage, analisis, dll. Jika tidak ditentukan, kumpulan target default akan dibuat. Beberapa jenis target lainnya mungkin lebih lambat dibuat. Lihat dokumentasi untuk kumpulan jenis target yang tersedia. |
SourceTargetMapping
Mewakili satu pemetaan dari SQL sumber ke SQL target.
Representasi JSON |
---|
{ "sourceSpec": { object ( |
Kolom | |
---|---|
sourceSpec |
SQL sumber atau jalur ke SQL. |
targetSpec |
SQL target atau jalurnya. |
SourceSpec
Mewakili satu jalur ke lokasi yang menyimpan data sumber.
Representasi JSON |
---|
{ "encoding": string, // Union field |
Kolom | |
---|---|
encoding |
Opsional. Kolom opsional untuk menentukan encoding byte sql. |
Kolom union source . SQL sumber spesifik. source hanya ada berupa salah satu diantara berikut: |
|
baseUri |
URI dasar untuk semua file yang akan dibaca sebagai sumber terjemahan. |
literal |
Literal sumber. |
Literal
Data literal.
Representasi JSON |
---|
{ "relativePath": string, // Union field |
Kolom | |
---|---|
relativePath |
Wajib. ID entri literal. |
Kolom union literal_data . Isi SQL literal. literal_data hanya ada berupa salah satu diantara berikut: |
|
literalString |
Data {i>string<i} literal. |
literalBytes |
Data byte literal. |
TargetSpec
Mewakili satu jalur ke lokasi yang menyimpan data target.
Representasi JSON |
---|
{ "relativePath": string } |
Kolom | |
---|---|
relativePath |
Jalur relatif untuk data target. Dengan mempertimbangkan |
SourceEnvironment
Mewakili nilai lingkungan sumber default untuk terjemahan.
Representasi JSON |
---|
{ "defaultDatabase": string, "schemaSearchPath": [ string ], "metadataStoreDataset": string } |
Kolom | |
---|---|
defaultDatabase |
Nama database default untuk sepenuhnya memenuhi syarat objek SQL ketika nama database-nya tidak ada. |
schemaSearchPath[] |
Jalur penelusuran skema. Jika objek SQL tidak memiliki nama skema, mesin terjemahan akan menelusuri daftar ini untuk menemukan nilainya. |
metadataStoreDataset |
Opsional. Mengharapkan ID set data BigQuery validQ yang sudah ada, misalnya project-123.metadata_store_123. Jika ditentukan, terjemahan akan menelusuri dan membaca informasi skema yang diperlukan dari penyimpanan metadata dalam set data ini. Jika penyimpanan metadata tidak ada, penerjemahan akan mengurai file metadata dan mengupload info skema ke tabel sementara dalam set data untuk mempercepat tugas terjemahan di masa mendatang. |
Negara bagian/Provinsi
Kemungkinan status tugas migrasi.
Enum | |
---|---|
STATE_UNSPECIFIED |
Status tidak ditentukan. |
PENDING |
Tugas ini menunggu orkestrasi. |
ORCHESTRATING |
Tugas ditetapkan ke orkestrasi. |
RUNNING |
Tugas sedang berjalan, yaitu subtugasnya siap untuk dieksekusi. |
PAUSED |
Tugas dijeda. Subtugas yang ditetapkan dapat dilanjutkan, tetapi tidak ada subtugas baru yang akan dijadwalkan. |
SUCCEEDED |
Tugas berhasil diselesaikan. |
FAILED |
Tugas tidak berhasil diselesaikan. |
MigrationTaskOrchestrationResult
Informasi tambahan dari orkestrasi saat selesai dengan orkestrasi tugas.
Representasi JSON |
---|
{ // Union field |
Kolom | |
---|---|
Kolom union details . Detail yang spesifik untuk jenis tugas. details hanya ada berupa salah satu diantara berikut: |
|
assessmentDetails |
Detail spesifik terkait jenis tugas penilaian. |
translationTaskResult |
Detail khusus untuk jenis tugas terjemahan. |
AssessmentOrchestrationResultDetails
Detail hasil orkestrasi tugas penilaian.
Representasi JSON |
---|
{ "outputTablesSchemaVersion": string, "reportUri": string } |
Kolom | |
---|---|
outputTablesSchemaVersion |
Opsional. Versi yang digunakan untuk skema tabel output. |
reportUri |
Opsional. URI laporan Data Studio. |
TranslationTaskResult
Detail hasil khusus terjemahan dari tugas migrasi.
Representasi JSON |
---|
{ "translatedLiterals": [ { object ( |
Kolom | |
---|---|
translatedLiterals[] |
Daftar literal terjemahan. |
reportLogMessages[] |
Data dari laporan CSV gabungan untuk alur kerja migrasi. |
GcsReportLogMessage
Data dalam laporan CSV gabungan untuk alur kerja migrasi
Representasi JSON |
---|
{ "severity": string, "category": string, "filePath": string, "filename": string, "sourceScriptLine": integer, "sourceScriptColumn": integer, "message": string, "scriptContext": string, "action": string, "effect": string, "objectName": string } |
Kolom | |
---|---|
severity |
Tingkat keparahan rekaman terjemahan. |
category |
Kategori error/peringatan. Contoh: SyntaxError |
filePath |
Jalur file tempat error terjadi |
filename |
Nama file tempat kesalahan terjadi |
sourceScriptLine |
Menentukan baris dari teks sumber tempat error terjadi (berbasis 0, -1 untuk pesan tanpa lokasi baris). Contoh: 2 |
sourceScriptColumn |
Menentukan kolom dari teks sumber tempat error terjadi. (berbasis 0, -1 untuk pesan tanpa lokasi kolom) contoh: 6 |
message |
Pesan mendetail dari kumpulan data. |
scriptContext |
Konteks skrip (di-obfuscate) saat error terjadi |
action |
Kategori error/peringatan. Contoh: SyntaxError |
effect |
Kategori error/peringatan. Contoh: SyntaxError |
objectName |
Nama objek yang terpengaruh dalam pesan log. |
Negara bagian/Provinsi
Kemungkinan status alur kerja migrasi.
Enum | |
---|---|
STATE_UNSPECIFIED |
Status alur kerja tidak ditentukan. |
DRAFT |
Alur kerja dalam status draf, yaitu tugas belum memenuhi syarat untuk dieksekusi. |
RUNNING |
Alur kerja sedang berjalan (yaitu tugas memenuhi syarat untuk dieksekusi). |
PAUSED |
Alur kerja dijeda. Tugas yang sedang berlangsung dapat dilanjutkan, tetapi tidak ada tugas lebih lanjut yang akan dijadwalkan. |
COMPLETED |
Alur kerja selesai. Tidak boleh ada tugas apa pun dalam status non-terminal, tetapi jika tugas tersebut berakhir (misalnya, penghentian paksa), tugas tersebut tidak akan dijadwalkan. |
Metode |
|
---|---|
|
Membuat alur kerja migrasi. |
|
Menghapus alur kerja migrasi menurut nama. |
|
Mendapatkan alur kerja migrasi yang dibuat sebelumnya. |
|
Mencantumkan alur kerja migrasi yang dibuat sebelumnya. |
|
Memulai alur kerja migrasi yang dibuat sebelumnya. |