Memproses dokumen dengan fungsi ML.PROCESS_DOCUMENT

Pratinjau

Produk atau fitur ini tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum di Persyaratan Khusus Layanan. Produk dan fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

Catatan: Untuk memberikan masukan atau meminta dukungan terkait fitur ini, kirim email ke [e-mail].

Dokumen ini menjelaskan cara menggunakan fungsi ML.PROCESS_DOCUMENT dengan model jarak jauh untuk mengekstrak insight yang berguna dari dokumen dalam tabel objek.

Lokasi yang didukung

Anda harus membuat model jarak jauh yang digunakan dalam prosedur ini di multi-region US atau EU. Anda harus menjalankan fungsi ML.PROCESS_DOCUMENT di region yang sama dengan model jarak jauh.

Izin yang diperlukan

• Untuk membuat prosesor Document AI, Anda memerlukan peran berikut:

  • roles/documentai.editor

• Untuk membuat koneksi, Anda memerlukan keanggotaan dalam peran berikut:

  • roles/bigquery.connectionAdmin

• Untuk membuat model menggunakan BigQuery ML, Anda memerlukan izin berikut:

  • bigquery.jobs.create
  • bigquery.models.create
  • bigquery.models.getData
  • bigquery.models.updateData
  • bigquery.models.updateMetadata

• Untuk menjalankan inferensi, Anda memerlukan izin berikut:

  • bigquery.tables.getData pada tabel objek
  • bigquery.models.getData pada model
  • bigquery.jobs.create

Sebelum memulai

1. Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

2. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

   Catatan: Jika tidak berencana untuk menyimpan resource yang Anda buat dalam prosedur ini, buatlah project, bukan memilih project yang ada. Setelah menyelesaikan langkah ini, Anda dapat menghapus project, yang menghapus semua resource yang terkait dengan project ini.

   Buka pemilih project

3. Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.

4. Aktifkan API BigQuery, BigQuery Connection API, and Document AI.

   Mengaktifkan API

5. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

   Catatan: Jika tidak berencana untuk menyimpan resource yang Anda buat dalam prosedur ini, buatlah project, bukan memilih project yang ada. Setelah menyelesaikan langkah ini, Anda dapat menghapus project, yang menghapus semua resource yang terkait dengan project ini.

   Buka pemilih project

6. Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.

7. Aktifkan API BigQuery, BigQuery Connection API, and Document AI.

   Mengaktifkan API

Membuat pemroses

Buat prosesor di Document AI untuk memproses dokumen. Pemroses harus memiliki jenis yang didukung.

Membuat koneksi

Buat koneksi resource cloud dan dapatkan akun layanan koneksi tersebut.

Pilih salah satu opsi berikut:

Konsol

1. Buka halaman BigQuery.

   Buka BigQuery

2. Untuk membuat koneksi, klik Add, lalu klik Connections to external data sources.

3. Dalam daftar Connection type, pilih Vertex AI remote models, remote functions and BigLake (Cloud Resource).

4. Di kolom Connection ID, masukkan nama untuk koneksi Anda.

5. Klik Create connection.

6. Klik Go to connection.

7. Di panel Connection info, salin ID akun layanan untuk digunakan di langkah berikutnya.

bq

1. Di lingkungan command line, buat koneksi:

   bq mk --connection --location=REGION --project_id=PROJECT_ID \
       --connection_type=CLOUD_RESOURCE CONNECTION_ID
   

   Parameter --project_id akan mengganti project default.

   Ganti kode berikut:

   • REGION: region koneksi Anda
   • PROJECT_ID: project ID Google Cloud Anda
   • CONNECTION_ID: ID untuk koneksi Anda

   Saat Anda membuat resource koneksi, BigQuery akan membuat akun layanan sistem unik dan mengaitkannya dengan koneksi.

   Pemecahan masalah: Jika Anda mendapatkan error koneksi berikut, update Google Cloud SDK:

   Flags parsing error: flag --connection_type=CLOUD_RESOURCE: value should be one of...
   

2. Ambil dan salin ID akun layanan untuk digunakan di langkah berikutnya:

   bq show --connection PROJECT_ID.REGION.CONNECTION_ID
   

   Outputnya mirip dengan hal berikut ini:

   name                          properties
   1234.REGION.CONNECTION_ID     {"serviceAccountId": "[e-mail]"}
   

Terraform

Tambahkan bagian berikut ke dalam file main.tf Anda.

 ## This creates a cloud resource connection.
 ## Note: The cloud resource nested object has only one output only field - serviceAccountId.
 resource "google_bigquery_connection" "connection" {
    connection_id = "CONNECTION_ID"
    project = "PROJECT_ID"
    location = "REGION"
    cloud_resource {}
}        

Ganti kode berikut:

• CONNECTION_ID: ID untuk koneksi Anda
• PROJECT_ID: project ID Google Cloud Anda
• REGION: region koneksi Anda

Memberikan akses ke akun layanan

Pilih salah satu opsi berikut:

Konsol

1. Buka halaman IAM & Admin.

   Buka IAM & Admin

2. Klik Berikan Akses.

   Dialog Add principals akan terbuka.

3. Di kolom New principals, masukkan ID akun layanan yang Anda salin sebelumnya.

4. Di kolom Select a role, pilih Document AI, lalu pilih Document AI Viewer.

5. Klik Add another role.

6. Di kolom Select a role, pilih Cloud Storage, lalu pilih Storage Object Viewer.

7. Klik Save.

gcloud

Gunakan perintah gcloud projects add-iam-policy-binding:

gcloud projects add-iam-policy-binding 'PROJECT_NUMBER' --member='serviceAccount:MEMBER' --role='roles/documentai.viewer' --condition=None
gcloud projects add-iam-policy-binding 'PROJECT_NUMBER' --member='serviceAccount:MEMBER' --role='roles/storage.objectViewer' --condition=None

Ganti kode berikut:

• PROJECT_NUMBER: nomor project Anda.
• MEMBER: ID akun layanan yang Anda salin sebelumnya.

Kegagalan dalam memberikan izin akan menghasilkan error Permission denied.

Catatan: Jika Anda membuat prosesor di project yang berbeda dengan bucket Cloud Storage yang digunakan oleh tabel objek, berikan peran Identity and Access Management (IAM) ke akun layanan sebagai berikut:

• Beri akun layanan peran Document AI Viewer pada project yang berisi prosesor.
• Berikan peran Storage Object Viewer kepada akun layanan pada project yang berisi bucket Cloud Storage.

Membuat set data

Buat set data untuk memuat model dan tabel objek.

Membuat model

Buat model jarak jauh dengan REMOTE_SERVICE_TYPE dari CLOUD_AI_DOCUMENT_V1:

CREATE OR REPLACE MODEL
`PROJECT_ID.DATASET_ID.MODEL_NAME`
REMOTE WITH CONNECTION `PROJECT_ID.REGION.CONNECTION_ID`
OPTIONS (
  REMOTE_SERVICE_TYPE = 'CLOUD_AI_DOCUMENT_V1',
  DOCUMENT_PROCESSOR = 'projects/PROJECT_NUMBER/locations/LOCATION/processors/PROCESSOR_ID/processorVersions/PROCESSOR_VERSION'
);

Ganti kode berikut:

• PROJECT_ID: project ID Anda.
• DATASET_ID: ID set data yang akan berisi model.
• MODEL_NAME: nama model.
• REGION: region yang digunakan oleh koneksi.
• CONNECTION_ID: ID koneksi—misalnya, myconnection.

  Saat Anda melihat detail koneksi di Konsol Google Cloud, ID koneksi adalah nilai di bagian terakhir ID koneksi yang sepenuhnya memenuhi syarat, yang ditampilkan di Connection ID—misalnya projects/myproject/locations/connection_location/connections/myconnection.

• PROJECT_NUMBER: nomor project project yang berisi pemroses dokumen. Untuk menemukan nilai ini, lihat detail pemroses, lihat endpoint Prediction, lalu ambil nilai setelah elemen project—misalnya, https://us-documentai.googleapis.com/v1/projects/project_number/locations/processor_location/processors/processor_id:process.
• LOCATION: lokasi yang digunakan oleh pemroses dokumen. Untuk menemukan nilai ini, lihat detail pemroses, lihat endpoint Prediction, lalu ambil nilai setelah elemen lokasi—misalnya, https://us-documentai.googleapis.com/v1/projects/project_number/locations/processor_location/processors/processor_id:process.
• PROCESSOR_ID: ID pemroses dokumen. Untuk menemukan nilai ini, lihat detail pemroses, lihat endpoint Prediction, lalu ambil nilai setelah elemen pemroses—misalnya, https://us-documentai.googleapis.com/v1/projects/project_number/locations/processor_location/processors/processor_id:process.
• PROCESSOR_VERSION: versi pemroses dokumen. Untuk menemukan nilai ini, lihat detail pemroses, pilih tab Manage Versions, dan salin nilai Version ID dari versi yang ingin Anda gunakan.

Penting: Anda harus menentukan project ID untuk koneksi meskipun jika koneksi tersebut berada dalam project default.

Untuk melihat kolom output model, klik Go to model di hasil kueri setelah model dibuat. Kolom output ditampilkan di bagian Labels pada tab Schema.

Membuat tabel objek

Buat tabel objek pada sekumpulan dokumen di Cloud Storage. Dokumen dalam tabel objek harus merupakan jenis yang didukung.

Memproses dokumen

Proses dokumen dengan fungsi ML.PROCESS_DOCUMENT:

SELECT *
FROM ML.PROCESS_DOCUMENT(
  MODEL `PROJECT_ID.DATASET_ID.MODEL_NAME`,
  TABLE `PROJECT_ID.DATASET_ID.OBJECT_TABLE_NAME`
);

Ganti kode berikut:

• PROJECT_ID: project ID Anda.
• DATASET_ID: ID set data yang berisi model.
• MODEL_NAME: nama model.
• OBJECT_TABLE_NAME: nama tabel objek yang berisi URI dari dokumen yang akan diproses.

Contoh

Contoh 1

Contoh berikut menggunakan parser pengeluaran untuk memproses dokumen yang direpresentasikan oleh tabel documents:

SELECT *
FROM ML.PROCESS_DOCUMENT(
  MODEL `myproject.mydataset.expense_parser`,
  TABLE `myproject.mydataset.documents`
);

Kueri ini menampilkan laporan pengeluaran yang diuraikan, termasuk mata uang, jumlah total, tanggal penerimaan, dan item baris pada laporan pengeluaran. Kolom ml_process_document_result berisi output mentah dari parser biaya, dan kolom ml_process_document_status berisi error yang ditampilkan oleh pemrosesan dokumen.

Contoh 2

Contoh berikut menunjukkan cara memfilter tabel objek untuk memilih dokumen yang akan diproses, kemudian menulis hasilnya ke tabel:

CREATE TABLE `myproject.mydataset.expense_details`
AS
SELECT uri, content_type, receipt_date, purchase_time, total_amount, currency
FROM
  ML.PROCESS_DOCUMENT(
    MODEL `myproject.mydataset.expense_parser`, TABLE `myproject.mydataset.expense_reports`)
WHERE uri LIKE '%restaurant%';

Langkah selanjutnya

• Untuk mengetahui informasi tentang inferensi model di BigQuery ML, baca Ringkasan inferensi model.
• Untuk mengetahui informasi tentang pernyataan dan fungsi SQL yang didukung pada setiap jenis model, lihat Perjalanan pengguna menyeluruh untuk setiap model.