Colab Enterprise Data Science Agent mit BigQuery verwenden

Vorabversion

Diese Funktion unterliegt den „Bedingungen für Pre-GA-Angebote“ im Abschnitt „Allgemeine Dienstbedingungen“ der dienstspezifischen Nutzungsbedingungen. Pre-GA-Funktionen sind „wie gesehen“ verfügbar und bieten möglicherweise nur eingeschränkten Support. Weitere Informationen finden Sie in den Beschreibungen der Produkteinführungsphasen.

Hinweis: Wenn Sie Feedback geben, Fragen stellen oder diese Vorabversion deaktivieren möchten, wenden Sie sich an [e-mail] oder füllen Sie das Opt-out-Formular für die öffentliche Vorabversion des Data Science Agent aus.

Mit dem Data Science Agent (DSA) für Colab Enterprise und BigQuery können Sie die explorative Datenanalyse automatisieren, Machine-Learning-Aufgaben ausführen und Statistiken in einem Colab Enterprise-Notebook bereitstellen.

Hinweise

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

1. Enable the BigQuery, Vertex AI, Dataform, and Compute Engine APIs.

   Enable the APIs

   Bei neuen Projekten ist die BigQuery API automatisch aktiviert.

Wenn Sie Colab Enterprise in BigQuery noch nicht kennen, finden Sie auf der Seite Notebooks erstellen eine Anleitung zur Einrichtung.

Beschränkungen

• Der Data Science Agent unterstützt die folgenden Datenquellen:
  • CSV-Dateien
  • BigQuery-Tabellen
• Der vom Data Science Agent generierte Code wird nur in der Laufzeit Ihres Notebooks ausgeführt.
• Der Data Science Agent wird nicht in Projekten unterstützt, in denen VPC Service Controls aktiviert ist.
• Wenn Sie den Data Science Agent zum ersten Mal ausführen, kann es zu einer Latenz von etwa fünf bis zehn Minuten kommen. Das geschieht nur einmal pro Projekt bei der Ersteinrichtung.

Wann sollte der Data Science Agent verwendet werden?

Der Data Science-KI-Agent unterstützt Sie bei Aufgaben von der explorativen Datenanalyse bis hin zur Generierung von Machine-Learning-Vorhersagen und ‑Prognosen. Sie können das DSA für Folgendes verwenden:

• Plan erstellen: Erstellen und ändern Sie einen Plan, um eine bestimmte Aufgabe mit gängigen Tools wie Python, SQL und BigQuery-DataFrames zu erledigen.
• Datenexploration: Untersuchen Sie einen Datensatz, um seine Struktur zu verstehen, potenzielle Probleme wie fehlende Werte und Ausreißer zu identifizieren und die Verteilung wichtiger Variablen mit Python oder SQL zu analysieren.
• Datenbereinigung: Bereinigen Sie Ihre Daten. Entfernen Sie beispielsweise Datenpunkte, die Ausreißer sind.
• Datenbereinigung: Konvertieren Sie kategorische Merkmale in numerische Darstellungen. Verwenden Sie dazu Techniken wie One-Hot-Encoding oder Label-Encoding oder die Tools zur Merkmalstransformation von BigQuery. Neue Funktionen für die Analyse erstellen
• Datenanalyse: Analysieren Sie die Beziehungen zwischen verschiedenen Variablen. Korrelationen zwischen numerischen Features berechnen und Verteilungen kategorialer Features untersuchen Suchen Sie nach Mustern und Trends in den Daten.
• Datenvisualisierung: Erstellen Sie Visualisierungen wie Histogramme, Boxplots, Streudiagramme und Balkendiagramme, die die Verteilungen einzelner Variablen und die Beziehungen zwischen ihnen darstellen. Sie können auch Visualisierungen in Python für Tabellen erstellen, die in BigQuery gespeichert sind.
• Feature Engineering: Erstellen Sie neue Features aus einem bereinigten Dataset.
• Datenaufteilung: Teilen Sie ein aufbereitetes Dataset in Trainings-, Validierungs- und Test-Datasets auf.
• Modelltraining: Sie können ein Modell mit den Trainingsdaten in einem Pandas-DataFrame (X_train, y_train), einem BigQuery-DataFrame> oder mit der BigQuery ML-Anweisung CREATE MODEL und BigQuery-Tabellen trainieren.
• Modelloptimierung: Ein Modell mithilfe des Validierungssatzes optimieren. Sehen Sie sich alternative Modelle wie DecisionTreeRegressor und RandomForestRegressor an und vergleichen Sie ihre Leistung.
• Modellbewertung: Das leistungsstärkste Modell anhand eines Testdatasets bewerten, das in einem pandas-DataFrame oder BigQuery DataFrame gespeichert ist. Mit den Modellbewertungsfunktionen von BigQuery ML können Sie die Modellqualität bewerten, Modelle vergleichen oder die Modellleistung vorhersagen.
• Modellinferenz: Mit BigQuery ML-Inferenzfunktionen können Sie Inferenzen mit in BigQuery ML trainierten Modellen, importierten Modellen und Remote-Modellen ausführen. Alternativ können Sie die BigFrames-Methode model.predict() verwenden, um Vorhersagen für unbekannte Daten zu treffen.

Data Science Agent in BigQuery verwenden

In den folgenden Schritten wird beschrieben, wie Sie den Data Science Agent in BigQuery verwenden.

1. Erstellen oder öffnen Sie ein Colab Enterprise-Notebook.

2. Laden Sie eine CSV-Datei hoch, wählen Sie eine oder mehrere BigQuery-Tabellen in der Tabellenauswahl aus oder verweisen Sie in Ihrem Prompt auf eine BigQuery-Tabelle.

3. Geben Sie einen Prompt ein, der die gewünschte Datenanalyse oder den Prototyp beschreibt, den Sie erstellen möchten. Standardmäßig generiert der Data Science-Agent Python-Code mit Open-Source-Bibliotheken wie sklearn, um komplexe Aufgaben im Bereich des maschinellen Lernens zu erledigen. Wenn Sie ein bestimmtes Tool verwenden möchten, fügen Sie die folgenden Keywords in Ihren Prompt ein:

   • Wenn Sie BigQuery ML verwenden möchten, fügen Sie das Keyword „SQL“ ein.
   • Wenn Sie „BigQuery DataFrames“ verwenden möchten, geben Sie die Keywords „BigFrames“ oder „BigQuery DataFrames“ an.

   Beispielaufforderungen

4. Sehen Sie sich die Ergebnisse an.

CSV-Datei analysieren

So analysieren Sie eine CSV-Datei mit dem Data Science Agent in BigQuery:

1. Rufen Sie die Seite BigQuery auf.

   BigQuery aufrufen

2. Klicken Sie auf der BigQuery Studio-Startseite unter Neu erstellen auf Notebook.

   Alternativ können Sie in der Tableiste auf den Drop-down-Pfeil neben dem +-Symbol und dann auf Notebook > Leeres Notebook klicken.

3. Klicken Sie in der Symbolleiste auf die Schaltfläche spark Gemini ein-/ausblenden, um das Chatdialogfeld zu öffnen.

   Hinweis :Sie können den Chatdialog in einen separaten Bereich außerhalb des Notebooks verschieben, indem Sie auf das Symbol In Bereich verschieben klicken.

4. Laden Sie die CSV-Datei hoch.

   1. Klicken Sie im Chat-Dialogfeld auf  Dateien hinzufügen.

   2. Autorisieren Sie gegebenenfalls Ihr Google-Konto.

   3. Klicken Sie im Aktionsbereich auf  Datei hochladen.

   4. Suchen Sie nach der CSV-Datei und klicken Sie auf Öffnen.

   5. Klicken Sie neben dem Dateinamen auf das Symbol  Weitere Aktionen und wählen Sie Zu Gemini hinzufügen aus.

5. Geben Sie Ihren Prompt in das Chatfenster ein. Beispiel: Identify trends and anomalies in this file.

6. Klicken Sie auf send Senden. Die Ergebnisse werden im Chatfenster angezeigt.

7. Sie können den Agent bitten, den Plan zu ändern, oder ihn ausführen, indem Sie auf Akzeptieren und ausführen klicken. Während der Ausführung des Plans werden generierter Code und Text im Notebook angezeigt. Klicke auf Abbrechen, um den Vorgang zu beenden.

BigQuery-Tabellen analysieren

Wenn Sie eine BigQuery-Tabelle analysieren möchten, wählen Sie im Tabellenauswahlfeld eine oder mehrere Tabellen aus oder geben Sie in Ihrem Prompt einen Verweis auf die Tabelle an.

1. Rufen Sie die Seite BigQuery auf.

   BigQuery aufrufen

2. Klicken Sie auf der BigQuery Studio-Startseite unter Neu erstellen auf Notebook.

   Alternativ können Sie in der Tableiste auf den Drop-down-Pfeil neben dem +-Symbol und dann auf Notebook > Leeres Notebook klicken.

3. Klicken Sie in der Symbolleiste auf die Schaltfläche spark Gemini ein-/ausblenden, um das Chatdialogfeld zu öffnen.

   Hinweis :Sie können den Chatdialog in einen separaten Bereich außerhalb des Notebooks verschieben, indem Sie auf das Symbol In Bereich verschieben klicken.

4. Geben Sie Ihren Prompt in das Chatfenster ein.

5. Wählen Sie mit der Tabellenauswahl eine oder mehrere Tabellen aus:

   1. Klicken Sie auf  Zu Gemini hinzufügen > BigQuery-Tabellen.

   2. Wählen Sie im Fenster BigQuery-Tabellen eine oder mehrere Tabellen in Ihrem Projekt aus. Sie können projektübergreifend nach Tabellen suchen und Tabellen über die Suchleiste filtern.

6. Sie können auch direkt in Ihrem Prompt auf eine BigQuery-Tabelle verweisen. Beispiel: „Hilf mir, eine explorative Datenanalyse durchzuführen und Erkenntnisse zu den Daten in dieser Tabelle zu gewinnen: project_id:dataset.table.“

   Ersetzen Sie Folgendes:

   • project_id: Ihre Projekt-ID.
   • dataset: der Name des Datasets, das die zu analysierende Tabelle enthält
   • table: der Name der Tabelle, die Sie analysieren

7. Klicken Sie auf send Senden.

   Die Ergebnisse werden im Chatfenster angezeigt.

8. Sie können den Agent bitten, den Plan zu ändern, oder ihn ausführen, indem Sie auf Akzeptieren und ausführen klicken. Während der Ausführung des Plans werden generierter Code und Text im Notebook angezeigt. Für zusätzliche Schritte im Plan müssen Sie möglicherweise noch einmal auf Akzeptieren und ausführen klicken. Klicke auf Abbrechen, um den Vorgang zu beenden.

Beispiel-Prompts

Unabhängig von der Komplexität des Prompts, den Sie verwenden, generiert der Data Science Agent einen Plan, den Sie an Ihre Anforderungen anpassen können.

Die folgenden Beispiele zeigen die Arten von Prompts, die Sie mit der DSA verwenden können.

Python-Prompts

Python-Code wird standardmäßig generiert, sofern Sie in der Aufforderung kein bestimmtes Keyword wie „BigQuery ML“ oder „SQL“ verwenden.

• Untersuchen Sie fehlende Werte und füllen Sie sie mithilfe des Machine-Learning-Algorithmus „k-Nearest Neighbors“ (KNN) aus.
• Erstellen Sie ein Diagramm des Gehalts nach Erfahrungsniveau. Verwenden Sie die Spalte experience_level, um die Gehälter zu gruppieren, und erstellen Sie für jede Gruppe ein Boxplot mit den Werten aus der Spalte salary_in_usd.
• Verwenden Sie den XGBoost-Algorithmus, um ein Modell zur Bestimmung der Variablen class einer bestimmten Frucht zu erstellen. Teilen Sie die Daten in Trainings- und Test-Datasets auf, um ein Modell zu generieren und die Genauigkeit des Modells zu bestimmen. Erstellen Sie eine Wahrheitsmatrix, um die Vorhersagen für jede Klasse darzustellen, einschließlich aller richtigen und falschen Vorhersagen.
• Erstelle eine Prognose für target_variable ab filename.csv für die nächsten sechs Monate.

SQL- und BigQuery ML-Prompts

• Erstellen und bewerten Sie ein Klassifizierungsmodell für bigquery-public-data.ml_datasets.census_adult_income mit BigQuery SQL.
• Erstelle mit SQL eine Prognose für den zukünftigen Traffic meiner Website für den nächsten Monat basierend auf bigquery-public-data.google_analytics_sample.ga_sessions_*. Stellen Sie dann die Verlaufs- und Prognosewerte grafisch dar.
• Ähnliche Kunden lassen sich mit einem KMeans-Modell gruppieren, um Kampagnen für die Zielgruppenansprache zu erstellen. Verwenden Sie drei Features für das Clustering. Visualisieren Sie die Ergebnisse dann, indem Sie eine Reihe von 2D-Streudiagrammen erstellen. Verwenden Sie die Tabelle bigquery-public-data.ml_datasets.census_adult_income.
• Texteinbettungen in BigQuery ML mit den Rezensionsinhalten in bigquery-public-data.imdb.reviews generieren.

Eine Liste der unterstützten Modelle und Aufgaben für maschinelles Lernen finden Sie in der BigQuery ML-Dokumentation.

DataFrame-Prompts

• Erstellen Sie ein Pandas-DataFrame für die Daten in project_id:dataset.table. Analysieren Sie die Daten auf Nullwerte und stellen Sie dann die Verteilung der einzelnen Spalten mit dem Diagrammtyp dar. Verwenden Sie Violin-Diagramme für Messwerte und Balkendiagramme für Kategorien.
• filename.csv lesen und DataFrame erstellen Führen Sie eine Analyse des DataFrame aus, um zu ermitteln, was mit den Werten geschehen muss. Gibt es beispielsweise fehlende Werte, die ersetzt oder entfernt werden müssen, oder doppelte Zeilen, die korrigiert werden müssen? Mithilfe der Datendatei können Sie die Verteilung des in US-Dollar investierten Geldes pro Stadt ermitteln. Stellen Sie die 20 besten Ergebnisse in einem Balkendiagramm dar, in dem die Ergebnisse in absteigender Reihenfolge als „Standort“ im Vergleich zu „Durchschnittlich investierter Betrag (USD)“ angezeigt werden.
• Klassifizierungsmodell für project_id:dataset.table mit BigQuery DataFrames erstellen und bewerten.
• Erstellen Sie ein Zeitreihen-Prognosemodell für project_id:dataset.table mit BigQuery DataFrames und visualisieren Sie die Modellbewertungen.
• Visualisieren Sie die Umsatzzahlen des letzten Jahres in der BigQuery-Tabelle project_id:dataset.table mit BigQuery DataFrames.
• Finden Sie die Merkmale, mit denen sich die Pinguinart aus der Tabelle bigquery-public_data.ml_datasets.penguins mithilfe von BigQuery DataFrames am besten vorhersagen lässt.

Gemini in BigQuery deaktivieren

Wenn Sie Gemini in BigQuery für ein Google Cloud -Projekt deaktivieren möchten, muss ein Administrator die Gemini for Google Cloud API deaktivieren. Weitere Informationen finden Sie unter Dienste deaktivieren.

Wenn Sie Gemini in BigQuery für einen bestimmten Nutzer deaktivieren möchten, muss der Administrator ihm die Rolle Gemini for Google Cloud User (roles/cloudaicompanion.user) entziehen. Weitere Informationen finden Sie unter Einzelne IAM-Rolle widerrufen.

Hinweis :Wenn Sie die Data Science Agent-Vorabversion deaktivieren möchten, ohne andere Gemini-Funktionen zu deaktivieren, wenden Sie sich an [e-mail].

Preise

Während der Vorschauphase werden Ihnen die Ausführung von Code in der Notebook-Laufzeit und alle verwendeten BigQuery-Slots in Rechnung gestellt. Weitere Informationen finden Sie unter Colab Enterprise-Preise.

Unterstützte Regionen

Eine Liste der unterstützten Regionen für den Data Science Agent von Colab Enterprise finden Sie unter Standorte.