重新整理結構化和非結構化資料

本頁說明如何重新整理結構化和非結構化資料。

如要重新整理網站應用程式，請參閱「重新整理網頁」。

重新整理結構化資料

只要使用的結構定義與資料儲存區中的結構定義相同或向後相容，即可重新整理結構化資料儲存區中的資料。舉例來說，如果只在現有結構定義中新增欄位，就具有回溯相容性。

您可以在 Google Cloud 控制台中或使用 API 重新整理結構化資料。

控制台

如要使用 Google Cloud 控制台，從資料存放區的分支重新整理結構化資料，請按照下列步驟操作：

  1. 前往 Google Cloud 控制台的「AI Applications」頁面。

    AI 應用程式

  2. 在導覽選單中，按一下「資料儲存庫」。

  3. 在「名稱」欄中，點選要編輯的資料儲存庫。

  4. 在「文件」分頁中，按一下「匯入資料」。

  5. 如要從 Cloud Storage 重新整理：

    1. 在「Select a data source」(選取資料來源) 窗格中，選取「Cloud Storage」。
    2. 在「Import data from Cloud Storage」(從 Cloud Storage 匯入資料) 窗格中，按一下「Browse」(瀏覽)，選取包含更新資料的值區，然後按一下「Select」(選取)。或者，您也可以直接在「gs://」欄位中輸入 bucket 位置。
    3. 在「資料匯入選項」下方，選取匯入選項。
    4. 按一下「匯入」。

  6. 如要重新整理 BigQuery 資料，請按照下列步驟操作：

    1. 在「選取資料來源」窗格中，選取「BigQuery」。
    2. 在「Import data from BigQuery」(從 BigQuery 匯入資料) 窗格中，按一下「Browse」(瀏覽)，選取包含重新整理資料的資料表，然後按一下「Select」(選取)。或者，直接在「BigQuery 路徑」欄位中輸入資料表位置。
    3. 在「資料匯入選項」下方，選取匯入選項。
    4. 按一下「匯入」。

REST

使用 documents.import 方法重新整理資料，並指定適當的 reconciliationMode 值。

如要使用指令列重新整理 BigQuery 或 Cloud Storage 中的結構化資料，請按照下列步驟操作：

  1. 找出資料儲存庫 ID。如果已有資料商店 ID，請跳到下一個步驟。

    1. 前往 Google Cloud 控制台的「AI Applications」頁面，然後在導覽選單中點選「Data Stores」。

      前往「資料儲存庫」頁面

    2. 點按資料儲存庫的名稱。

    3. 在資料儲存庫的「資料」頁面中，取得資料儲存庫 ID。

  2. 如要從 BigQuery 匯入結構化資料，請呼叫下列方法。您可以從 BigQuery 或 Cloud Storage 匯入資料。如要從 Cloud Storage 匯入，請跳至下一個步驟。

    curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/branches/0/documents:import" \
-d '{
  "bigquerySource": {
    "projectId": "PROJECT_ID",
    "datasetId":"DATASET_ID",
    "tableId": "TABLE_ID",
    "dataSchema": "DATA_SCHEMA_BQ",
  },
  "reconciliationMode": "RECONCILIATION_MODE",
  "autoGenerateIds": AUTO_GENERATE_IDS,
  "idField": "ID_FIELD",
  "errorConfig": {
    "gcsPrefix": "ERROR_DIRECTORY"
  }
}'

    更改下列內容：

    • PROJECT_ID：您的 Google Cloud 專案 ID。
    • DATA_STORE_ID：Vertex AI Search 資料儲存庫的 ID。
    • DATASET_ID：BigQuery 資料集的名稱。
    • TABLE_ID：BigQuery 資料表的名稱。
    • DATA_SCHEMA_BQ：選用欄位，用於指定從 BigQuery 來源剖析資料時要使用的結構定義。可能具有下列值：
      • document：預設值。您使用的 BigQuery 資料表必須符合下列預設的 BigQuery 結構定義。您可以自行定義每份文件的 ID，同時將整個資料包裝在 json_data 字串中。
      • custom：系統接受任何 BigQuery 資料表結構定義，且 AI 應用程式會自動為匯入的每份文件產生 ID。
    • ERROR_DIRECTORY：選填欄位，可指定 Cloud Storage 目錄，存放匯入作業的錯誤資訊，例如 gs://<your-gcs-bucket>/directory/import_errors。Google 建議將這個欄位留空，讓 AI 應用程式自動建立暫時目錄。
    • RECONCILIATION_MODE：選用欄位，用於指定如何將匯入的文件與目標資料儲存庫中的現有文件進行比對。可能具有下列值：
      • INCREMENTAL：預設值。從 BigQuery 增量重新整理資料至資料儲存庫。這會執行 upsert 作業，新增文件並以 ID 相同的更新文件取代現有文件。
      • FULL：導致資料存放區中的文件完全重新建立基準。 因此，系統會將新文件和更新的文件新增至資料存放區，並從資料存放區中移除不在 BigQuery 中的文件。如果您想自動刪除不再需要的檔案，可以選擇 FULL 模式。

    • AUTO_GENERATE_IDS：選填欄位，可指定是否要自動產生文件 ID。如果設為 true，系統會根據酬載的雜湊值產生文件 ID。請注意，多次匯入時，產生的文件 ID 可能不一致。如果您在多次匯入時自動產生 ID，Google 強烈建議將 reconciliationMode 設為 FULL，確保文件 ID 一致。

      只有在 bigquerySource.dataSchema 設為 custom 時，才指定 autoGenerateIds。否則，系統會傳回 INVALID_ARGUMENT 錯誤。如未指定 autoGenerateIds 或將其設為 false，則必須指定 idField。否則文件無法匯入。

    • ID_FIELD：選用欄位，可指定哪些欄位是文件 ID。如果是 BigQuery 來源檔案，idField 表示 BigQuery 資料表中包含文件 ID 的資料欄名稱。

      只有在滿足下列兩個條件時，才指定 idField，否則會傳回 INVALID_ARGUMENT 錯誤：

      • bigquerySource.dataSchema設為 custom
      • auto_generate_ids 設為 false 或未指定。

      此外，BigQuery 資料欄名稱的值必須為字串類型，長度必須介於 1 至 63 個字元之間，且必須符合 RFC-1034。否則文件無法匯入。

    預設的 BigQuery 結構定義如下。設定 dataSchema 為 document 時，BigQuery 資料表必須符合這個結構定義。

    [
 {
   "name": "id",
   "mode": "REQUIRED",
   "type": "STRING",
   "fields": []
 },
 {
   "name": "jsonData",
   "mode": "NULLABLE",
   "type": "STRING",
   "fields": []
 }
]

  3. 如要從 Cloud Storage 匯入結構化資料，請呼叫下列方法。 您可以從 BigQuery 或 Cloud Storage 匯入資料。如要從 BigQuery 匯入，請返回上一步。

    curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/branches/0/documents:import" \
-d '{
  "gcsSource": {
    "inputUris": ["GCS_PATHS"],
    "dataSchema": "DATA_SCHEMA_GCS",
  },
  "reconciliationMode": "RECONCILIATION_MODE",
  "idField": "ID_FIELD",
  "errorConfig": {
    "gcsPrefix": "ERROR_DIRECTORY"
  }
}'

    更改下列內容：

    • PROJECT_ID：您的 Google Cloud 專案 ID。
    • DATA_STORE_ID：Vertex AI Search 資料儲存庫的 ID。
    • GCS_PATHS：以逗號分隔的 URI 清單，指向要匯入資料的 Cloud Storage 位置。每個 URI 最多可包含 2,000 個半形字元。URI 可以比對儲存空間物件的完整路徑，也可以比對一或多個物件的模式。舉例來說，gs://bucket/directory/*.json 是有效路徑。
    • DATA_SCHEMA_GCS：選用欄位，用於指定從 BigQuery 來源剖析資料時要使用的結構定義。可能具有下列值：
      • document：預設值。您使用的 BigQuery 資料表必須符合下列預設的 BigQuery 結構定義。您可以自行定義每份文件的 ID，同時將整個資料包裝在 json_data 字串中。
      • custom：系統接受任何 BigQuery 資料表結構定義，且 AI 應用程式會自動為匯入的每份文件產生 ID。
    • ERROR_DIRECTORY：選填欄位，可指定 Cloud Storage 目錄，存放匯入作業的錯誤資訊，例如 gs://<your-gcs-bucket>/directory/import_errors。Google 建議將這個欄位留空，讓 AI 應用程式自動建立暫時目錄。
    • RECONCILIATION_MODE：選用欄位，用於指定如何將匯入的文件與目標資料儲存庫中的現有文件進行比對。可能具有下列值：
      • INCREMENTAL：預設值。從 BigQuery 增量重新整理資料至資料儲存庫。這會執行 upsert 作業，新增文件並以 ID 相同的更新文件取代現有文件。
      • FULL：導致資料存放區中的文件完全重新建立基準。 因此，系統會將新文件和更新的文件新增至資料存放區，並從資料存放區中移除不在 BigQuery 中的文件。如果您想自動刪除不再需要的檔案，可以選擇 FULL 模式。

Python

詳情請參閱 AI Applications Python API 參考說明文件。

如要向 AI Applications 進行驗證，請設定應用程式預設憑證。 詳情請參閱「為本機開發環境設定驗證」。


from google.api_core.client_options import ClientOptions
from google.cloud import discoveryengine

# TODO(developer): Uncomment these variables before running the sample.
# project_id = "YOUR_PROJECT_ID"
# location = "YOUR_LOCATION" # Values: "global"
# data_store_id = "YOUR_DATA_STORE_ID"
# bigquery_dataset = "YOUR_BIGQUERY_DATASET"
# bigquery_table = "YOUR_BIGQUERY_TABLE"

#  For more information, refer to:
# https://cloud.google.com/generative-ai-app-builder/docs/locations#specify_a_multi-region_for_your_data_store
client_options = (
    ClientOptions(api_endpoint=f"{location}-discoveryengine.googleapis.com")
    if location != "global"
    else None
)

# Create a client
client = discoveryengine.DocumentServiceClient(client_options=client_options)

# The full resource name of the search engine branch.
# e.g. projects/{project}/locations/{location}/dataStores/{data_store_id}/branches/{branch}
parent = client.branch_path(
    project=project_id,
    location=location,
    data_store=data_store_id,
    branch="default_branch",
)

request = discoveryengine.ImportDocumentsRequest(
    parent=parent,
    bigquery_source=discoveryengine.BigQuerySource(
        project_id=project_id,
        dataset_id=bigquery_dataset,
        table_id=bigquery_table,
        data_schema="custom",
    ),
    # Options: `FULL`, `INCREMENTAL`
    reconciliation_mode=discoveryengine.ImportDocumentsRequest.ReconciliationMode.INCREMENTAL,
)

# Make the request
operation = client.import_documents(request=request)

print(f"Waiting for operation to complete: {operation.operation.name}")
response = operation.result()

# After the operation is complete,
# get information from operation metadata
metadata = discoveryengine.ImportDocumentsMetadata(operation.metadata)

# Handle the response
print(response)
print(metadata)

重新整理非結構化資料

您可以在 Google Cloud 控制台中或使用 API 重新整理非結構化資料。

控制台

如要使用 Google Cloud 控制台，從資料存放區的分支重新整理非結構化資料，請按照下列步驟操作：

  1. 前往 Google Cloud 控制台的「AI Applications」頁面。

    AI 應用程式

  2. 在導覽選單中，按一下「資料儲存庫」。

  3. 在「名稱」欄中，點選要編輯的資料儲存庫。

  4. 在「文件」分頁中，按一下「匯入資料」。

  5. 如要從 Cloud Storage 值區擷取資料 (含或不含中繼資料)：

    1. 在「Select a data source」(選取資料來源) 窗格中，選取「Cloud Storage」。
    2. 在「Import data from Cloud Storage」(從 Cloud Storage 匯入資料) 窗格中，按一下「Browse」(瀏覽)，選取包含更新資料的值區，然後按一下「Select」(選取)。或者，也可以直接在 gs:// 欄位中輸入 bucket 位置。
    3. 在「資料匯入選項」下方，選取匯入選項。
    4. 按一下「匯入」。

  6. 如要從 BigQuery 擷取資料，請按照下列步驟操作：

    1. 在「選取資料來源」窗格中，選取「BigQuery」。
    2. 在「從 BigQuery 匯入資料」窗格中，按一下「瀏覽」，選取包含重新整理資料的資料表，然後按一下「選取」。或者，直接在「BigQuery 路徑」欄位中輸入資料表位置。
    3. 在「資料匯入選項」下方，選取匯入選項。
    4. 按一下「匯入」。

REST

如要使用 API 重新整理非結構化資料，請使用 documents.import 方法重新匯入資料，並指定適當的 reconciliationMode 值。如要進一步瞭解如何匯入非結構化資料，請參閱非結構化資料。

Python

詳情請參閱 AI Applications Python API 參考說明文件。

如要向 AI Applications 進行驗證，請設定應用程式預設憑證。 詳情請參閱「為本機開發環境設定驗證」。

from google.api_core.client_options import ClientOptions
from google.cloud import discoveryengine

# TODO(developer): Uncomment these variables before running the sample.
# project_id = "YOUR_PROJECT_ID"
# location = "YOUR_LOCATION" # Values: "global"
# data_store_id = "YOUR_DATA_STORE_ID"

# Examples:
# - Unstructured documents
#   - `gs://bucket/directory/file.pdf`
#   - `gs://bucket/directory/*.pdf`
# - Unstructured documents with JSONL Metadata
#   - `gs://bucket/directory/file.json`
# - Unstructured documents with CSV Metadata
#   - `gs://bucket/directory/file.csv`
# gcs_uri = "YOUR_GCS_PATH"

#  For more information, refer to:
# https://cloud.google.com/generative-ai-app-builder/docs/locations#specify_a_multi-region_for_your_data_store
client_options = (
    ClientOptions(api_endpoint=f"{location}-discoveryengine.googleapis.com")
    if location != "global"
    else None
)

# Create a client
client = discoveryengine.DocumentServiceClient(client_options=client_options)

# The full resource name of the search engine branch.
# e.g. projects/{project}/locations/{location}/dataStores/{data_store_id}/branches/{branch}
parent = client.branch_path(
    project=project_id,
    location=location,
    data_store=data_store_id,
    branch="default_branch",
)

request = discoveryengine.ImportDocumentsRequest(
    parent=parent,
    gcs_source=discoveryengine.GcsSource(
        # Multiple URIs are supported
        input_uris=[gcs_uri],
        # Options:
        # - `content` - Unstructured documents (PDF, HTML, DOC, TXT, PPTX)
        # - `custom` - Unstructured documents with custom JSONL metadata
        # - `document` - Structured documents in the discoveryengine.Document format.
        # - `csv` - Unstructured documents with CSV metadata
        data_schema="content",
    ),
    # Options: `FULL`, `INCREMENTAL`
    reconciliation_mode=discoveryengine.ImportDocumentsRequest.ReconciliationMode.INCREMENTAL,
)

# Make the request
operation = client.import_documents(request=request)

print(f"Waiting for operation to complete: {operation.operation.name}")
response = operation.result()

# After the operation is complete,
# get information from operation metadata
metadata = discoveryengine.ImportDocumentsMetadata(operation.metadata)

# Handle the response
print(response)
print(metadata)