Text mit der Funktion ML.underStand_TEXT verstehen

In diesem Dokument wird beschrieben, wie Sie die Funktion ML.UNDERSTAND_TEXT mit einem Remote-Modell verwenden, um für Text aus einer BigQuery-Standardtabelle eine Natural Language Text-Analysefunktion auszuführen.

Weitere Informationen zur Modellinferenz in BigQuery ML finden Sie unter Modellinferenz.

Informationen zu den unterstützten Modelltypen jeder SQL-Anweisung und -Funktion sowie zu allen unterstützten SQL-Anweisungen und -Funktionen für jeden Modelltyp finden Sie unter End-to-End-Nutzerpfad für jedes Modell.

Erforderliche Berechtigungen

• Zum Erstellen einer Verbindung benötigen Sie die Mitgliedschaft in der folgenden Rolle:

  • roles/bigquery.connectionAdmin

• Zum Erteilen von Berechtigungen für das Dienstkonto der Verbindung benötigen Sie die folgende Berechtigung:

  • resourcemanager.projects.setIamPolicy

• Zum Erstellen des Modells mit BigQuery ML benötigen Sie die folgenden Berechtigungen:

  • bigquery.jobs.create
  • bigquery.models.create
  • bigquery.models.getData
  • bigquery.models.updateData
  • bigquery.models.updateMetadata

• Zum Ausführen von Inferenzen benötigen Sie die folgenden Berechtigungen:

  • bigquery.tables.getData für die Tabelle
  • bigquery.models.getData für das Modell
  • bigquery.jobs.create

Hinweis

1. Melden Sie sich bei Ihrem Google Cloud-Konto an. Wenn Sie mit Google Cloud noch nicht vertraut sind, erstellen Sie ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.

2. Wählen Sie in der Google Cloud Console auf der Seite der Projektauswahl ein Google Cloud-Projekt aus oder erstellen Sie eines.

   Hinweis: Wenn Sie die Ressourcen, die Sie in diesem Verfahren erstellen, nicht behalten möchten, erstellen Sie ein Projekt, anstatt ein vorhandenes Projekt auszuwählen. Wenn Sie fertig sind, können Sie das Projekt löschen und dadurch alle mit dem Projekt verknüpften Ressourcen entfernen.

   Zur Projektauswahl

3. Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.

4. BigQuery, BigQuery Connection API, and Cloud Natural Language API APIs aktivieren.

   Aktivieren Sie die APIs

5. Wählen Sie in der Google Cloud Console auf der Seite der Projektauswahl ein Google Cloud-Projekt aus oder erstellen Sie eines.

   Hinweis: Wenn Sie die Ressourcen, die Sie in diesem Verfahren erstellen, nicht behalten möchten, erstellen Sie ein Projekt, anstatt ein vorhandenes Projekt auszuwählen. Wenn Sie fertig sind, können Sie das Projekt löschen und dadurch alle mit dem Projekt verknüpften Ressourcen entfernen.

   Zur Projektauswahl

6. Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.

7. BigQuery, BigQuery Connection API, and Cloud Natural Language API APIs aktivieren.

   Aktivieren Sie die APIs

Verbindung herstellen

Erstellen Sie eine Cloud-Ressourcenverbindung und rufen Sie das Dienstkonto der Verbindung ab.

Wählen Sie eine der folgenden Optionen aus:

Console

1. Rufen Sie die Seite BigQuery auf.

   BigQuery aufrufen

2. Klicken Sie auf Hinzufügen und dann auf Verbindungen zu externen Datenquellen, um eine Verbindung zu erstellen.

3. Wählen Sie in der Liste Verbindungstyp die Option Vertex AI-Remote-Modelle, Remote-Funktionen und BigLake (Cloud Resource) aus.

4. Geben Sie im Feld Verbindungs-ID einen Namen für die Verbindung ein.

5. Klicken Sie auf Verbindung erstellen.

6. Klicken Sie auf Zur Verbindung.

7. Kopieren Sie im Bereich Verbindungsinformationen die Dienstkonto-ID zur Verwendung in einem späteren Schritt.

bq

1. Erstellen Sie in einer Befehlszeilenumgebung eine Verbindung:

   bq mk --connection --location=REGION --project_id=PROJECT_ID \
       --connection_type=CLOUD_RESOURCE CONNECTION_ID
   

   Der Parameter --project_id überschreibt das Standardprojekt.

   Ersetzen Sie Folgendes:

   • REGION: Ihre Verbindungsregion
   • PROJECT_ID: Ihre Google Cloud-Projekt-ID
   • CONNECTION_ID: eine ID für Ihre Verbindung

   Wenn Sie eine Verbindungsressource herstellen, erstellt BigQuery ein eindeutiges Systemdienstkonto und ordnet es der Verbindung zu.

   Fehlerbehebung:Wird der folgende Verbindungsfehler angezeigt, aktualisieren Sie das Google Cloud SDK:

   Flags parsing error: flag --connection_type=CLOUD_RESOURCE: value should be one of...
   

2. Rufen Sie die Dienstkonto-ID ab und kopieren Sie sie zur Verwendung in einem späteren Schritt:

   bq show --connection PROJECT_ID.REGION.CONNECTION_ID
   

   Die Ausgabe sieht in etwa so aus:

   name                          properties
   1234.REGION.CONNECTION_ID     {"serviceAccountId": "[e-mail]"}
   

Terraform

Hängen Sie folgenden Abschnitt an Ihre main.tf-Datei an.

 ## This creates a cloud resource connection.
 ## Note: The cloud resource nested object has only one output only field - serviceAccountId.
 resource "google_bigquery_connection" "connection" {
    connection_id = "CONNECTION_ID"
    project = "PROJECT_ID"
    location = "REGION"
    cloud_resource {}
}        

Ersetzen Sie Folgendes:

• CONNECTION_ID: eine ID für Ihre Verbindung
• PROJECT_ID: Ihre Google Cloud-Projekt-ID
• REGION: Ihre Verbindungsregion

Zugriff auf das Dienstkonto gewähren

Wählen Sie eine der folgenden Optionen aus:

Console

1. Zur Seite IAM & Verwaltung.

   IAM & Verwaltung aufrufen

2. Klicken Sie auf Hinzufügen.

   Das Dialogfeld Principals hinzufügen wird geöffnet.

3. Geben Sie im Feld Neue Hauptkonten die Dienstkonto-ID ein, die Sie zuvor kopiert haben.

4. Wählen Sie im Feld Rolle auswählen die Option Service Usage und dann Service Usage-Nutzer aus.

5. Klicken Sie auf Weitere Rolle hinzufügen.

6. Wählen Sie im Feld Rolle auswählen die Option BigQuery aus und wählen Sie dann BigQuery Connection User aus.

7. Klicken Sie auf Speichern.

gcloud

Führen Sie den Befehl gcloud projects add-iam-policy-binding aus:

gcloud projects add-iam-policy-binding 'PROJECT_NUMBER' --member='serviceAccount:MEMBER' --role='roles/serviceusage.serviceUsageConsumer' --condition=None
gcloud projects add-iam-policy-binding 'PROJECT_NUMBER' --member='serviceAccount:MEMBER' --role='roles/bigquery.connectionUser' --condition=None

Ersetzen Sie Folgendes:

• PROJECT_NUMBER: Ihre Projektnummer.
• MEMBER: Die Dienstkonto-ID, die Sie zuvor kopiert haben.

Wenn die Berechtigung nicht erteilt wird, tritt ein Fehler auf.

Modell erstellen

Erstellen Sie ein Remote-Modell mit einem REMOTE_SERVICE_TYPE von CLOUD_AI_NATURAL_LANGUAGE_V1:

CREATE OR REPLACE MODEL
`PROJECT_ID.DATASET_ID.MODEL_NAME`
REMOTE WITH CONNECTION PROJECT_ID.REGION.CONNECTION_ID
OPTIONS (REMOTE_SERVICE_TYPE = 'CLOUD_AI_NATURAL_LANGUAGE_V1');

Ersetzen Sie Folgendes:

• PROJECT_ID ist Ihre Projekt-ID.
• DATASET_ID ist die ID des Datasets, das das Modell enthalten soll. Dieses Dataset muss sich am selben Standort wie die von Ihnen verwendete Verbindung befinden.
• MODEL_NAME ist der Name des Modells.
• REGION ist die Region, die von der Verbindung verwendet wird.
• CONNECTION_ID: die Verbindungs-ID, z. B. myconnection.

  Wenn Sie sich Verbindungsdetails in der Google Cloud Console ansehen, ist die Verbindungs-ID der Wert im letzten Abschnitt der voll qualifizierten Verbindungs-ID, der unter Verbindungs-ID angezeigt wird, z. B. projects/myproject/locations/connection_location/connections/myconnection.

Text verstehen

Text mit der ML.UNDERSTAND_TEXT-Funktion verstehen:

SELECT *
FROM ML.UNDERSTAND_TEXT(
  MODEL `PROJECT_ID.DATASET_ID.MODEL_NAME`,
  { TABLE PROJECT_ID.DATASET_ID.TABLE_NAME | (QUERY) },
  STRUCT('FEATURE_NAME' AS nlu_option)
);

Ersetzen Sie Folgendes:

• PROJECT_ID ist Ihre Projekt-ID.
• DATASET_ID ist die ID des Datasets, das das Modell enthält.
• MODEL_NAME ist der Name des Modells.
• TABLE_NAME ist der Name der Tabelle, die den zu analysierenden Text in einer Spalte mit dem Namen text_content enthält. Wenn sich der Text in einer Spalte mit einem anderen Namen befindet, geben Sie text_content als Alias für diese Spalte an.
• QUERY: eine Abfrage, die den zu beschreibenden Text in einer Spalte namens text_content enthält. Wenn sich der Text in einer Spalte mit einem anderen Namen befindet, geben Sie text_content als Alias für diese Spalte an.
• FEATURE_NAME ist der Name eines unterstützten Natural Language API-Features.

Beispiel 1

Im folgenden Beispiel wird der Text in der Spalte text_content der Tabelle untersucht und die vorherrschende emotionale Stimmung im Text ermittelt:

SELECT * FROM ML.UNDERSTAND_TEXT(
  MODEL `mydataset.mynlpmodel`,
  TABLE mydataset.mytable,
  STRUCT('analyze_sentiment' AS nlu_option)
);

Beispiel 2

Im folgenden Beispiel wird der Text in der Spalte comment der Tabelle geprüft und es werden syntaktische Informationen zum Text bereitgestellt:

SELECT * FROM ML.UNDERSTAND_TEXT(
  MODEL `mydataset.mynlpmodel`,
  (SELECT comment AS text_content from mydataset.mytable),
  STRUCT('analyze_syntax' AS nlu_option)
);

Nächste Schritte

Testen Sie das Notebook Unstrukturierte Datenanalysen mit BigQuery ML und vortrainierten Vertex AI-Modellen.