Fundierung mit Google Maps in Vertex AI

Auf dieser Seite wird beschrieben, wie Sie mit Grounding mit Google Maps in Vertex AI den geospatialen Kontext Ihrer generativen KI-Anwendungen verbessern können.

Übersicht

Grounding with Google Maps in Vertex AI ist ein Vorschau-Dienst, der Gemini-Modelle mit Geodaten von Google Maps verbindet. Google Maps hat Zugriff auf Informationen zu Millionen von Orten, darunter Unternehmen, Sehenswürdigkeiten und POIs. Mit diesen Daten haben Sie Zugriff auf Informationen zu über 250 Millionen Orten, die Sie verwenden können, um die Antworten Ihres Modells zu fundieren. So können Ihre KI-Anwendungen und ‑Agents lokale Daten und räumlichen Kontext bereitstellen.

Anwendungsbereiche für die Fundierung mit Google Maps

Sie können die Fundierung mit Google Maps für verschiedene Anwendungen verwenden, z. B.:

  • Chatbasierte Agents.
  • Zusammenfassung von Ortsinformationen
  • Übersetzung von Inhalten
  • Konversationelle Assistenten, die Fragen zu Orten in der Nähe beantworten können, z. B. „Gibt es Parks in der Nähe?“.
  • Personalisierte Beschreibungen von Orten, z. B. „Kannst du mir mehr über die Parks und familienfreundlichen Restaurants in Gehweite erzählen?“

Das kann für Branchen wie Immobilien, Reisen, Mobilität und soziale Anwendungen nützlich sein.

Wenn Sie technischen Support zur Fundierung mit Google Maps benötigen, senden Sie eine E-Mail an maps-grounding-feedback-external@google.com.

Unterstützte Modelle

In diesem Abschnitt sind die Modelle aufgeführt, die Grounding mit Google Maps unterstützen.

Weitere Informationen zu den Gemini-Modellen finden Sie unter Gemini-Modelle.

Fundierung mit Google Maps verwenden, um die Antworten Ihres Modells zu fundieren

In diesem Codebeispiel wird gezeigt, wie Sie die Fundierung mit Google Maps verwenden, um die Antworten Ihres Modells zu fundieren.

Suchergebnisse können mithilfe der Breiten- und Längengradkoordinaten für einen bestimmten geografischen Standort angepasst werden. Weitere Informationen finden Sie in der Grounding API.

Konsole

So verwenden Sie die Fundierung mit Google Maps mit Vertex AI Studio:

  1. Rufen Sie in der Google Cloud Console die Seite Vertex AI Studio auf.

    Zu Vertex AI Studio

  2. Klicken Sie auf den Tab Freies Format.
  3. Klicken Sie in der Seitenleiste auf den Schalter Antworten des Ground-Modells.
  4. Klicken Sie auf Anpassen und legen Sie Google Maps als Quelle fest.
  5. Geben Sie Ihren Prompt in das Textfeld ein und klicken Sie auf Senden.

Ihre Prompt-Antworten werden in Google Maps fundiert.

REST

Ersetzen Sie diese Werte in den folgenden Anfragedaten:

  • LOCATION: Die Region, in der die Anfrage verarbeitet werden soll.
  • PROJECT_ID: Ihre Projekt-ID.
  • MODEL_ID: die Modell-ID des multimodalen Modells.
  • TEXT: Die Textanleitung, die in den Prompt eingefügt werden soll.
  • LATITUDE: Der Breitengrad des Standorts. Ein Breitengrad von 37.7749 entspricht beispielsweise San Francisco. Sie können Breiten- und Längengradkoordinaten über Dienste wie Google Maps oder andere Geocoding-Tools abrufen.
  • LONGITUDE: Der Längengrad des Standorts. Ein Längengrad von -122.4194 entspricht beispielsweise San Francisco.

HTTP-Methode und URL:

POST https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/MODEL_ID:generateContent

JSON-Text anfordern:

{
  "contents": [{
    "role": "user",
    "parts": [{
      "text": "TEXT"
    }]
  }],
  "tools": [{
    "googleMaps": {}
  }],
  "toolConfig": {
    "retrievalConfig": {
      "latLng": {
        "latitude": LATITUDE,
        "longitude": LONGITUDE
      }
    }
  },
  "model": "projects/PROJECT_ID/locations/LOCATION/publishers/google/models/MODEL_ID"
}

Wenn Sie die Anfrage senden möchten, maximieren Sie eine der folgenden Optionen:

Sie sollten eine JSON-Antwort ähnlich wie diese erhalten:

{
  "candidates": [
    {
      "content": {
        "role": "model",
        "parts": [
          {
            "text": "\"The Italian Place\" in Alexandria, VA, is good for children and offers takeout. It has a rating of 4.2 stars based on 411 reviews."
          }
        ]
      },
      "finishReason": "STOP",
      "groundingMetadata": {
        "groundingChunks": [
          {
            "maps": {
              "uri": "https://maps.google.com/?cid=9001322937822692826",
              "title": "The Italian Place",
              "text": "**About:**\n\n* **Type:** Italian Restaurant\n* **Address:** 621 Wythe St, Alexandria, VA 22314, USA\n* **Open Now:** Yes\n* **Rating:** 4.2 (411 reviews)\n* **Price Level:** Moderate\n* **Phone:** (571) 777-8981\n* **Summary:** Down-to-earth, counter-serve stop offering Italian sandwiches, coffee & market goods.\n* **Additional Summary:** Relaxed Italian eatery known for sandwiches and pizza along with gourmet food items and gelato.\n* **Offers Takeout:** Yes\n* **Offers Delivery:** Yes\n* **Offers Dine-in:** Yes\n* **Good for Children:** Yes\n* **Has Restroom:** Yes\n* **Outdoor Seating:** Yes\n* **Live Music:** No\n* **Menu for Children:** No\n* **Serves Dessert:** Yes\n* **Serves Coffee:** Yes\n* **Good for Watching Sports:** No\n* **Serves Lunch:** Yes\n* **Serves Dinner:** Yes\n* **Serves Beer:** Yes\n* **Serves Vegetarian Food:** Yes\n\n**Opening Hours (local time):**\n\n* Monday: 11:00 AM – 7:00 PM\n* Tuesday: 10:00 AM – 7:00 PM\n* Wednesday: 11:00 AM – 7:00 PM\n* Thursday: 11:00 AM – 7:00 PM\n* Friday: 11:00 AM – 7:00 PM\n* Saturday: 11:00 AM – 7:00 PM\n* Sunday: 12:00 – 7:00 PM\n\n**Parking options:**\n\n* **Free parking lot:** Yes\n* **Free street parking:** Yes\n* **Valet parking:** No\n\n**Accessibility:**\n\n* **Wheelchair accessible parking:** Yes\n* **Wheelchair accessible restroom:** Yes\n\n**Payment options:**\n\n* **Credit Card:** Yes\n* **Debit Card:** Yes\n* **Cash Only:** No\n* **NFC:** Yes\n\n**Distance & Travel Time:**\n\n* 384.6 kilometers\n* 4.2 hours",
              "placeId": "places/ChIJOTRDf_qwt4kR2kV_WYUf63w"
            }
          },
          ...
        ],
        "groundingSupports": [
          {
            "segment": {
              "endIndex": 79,
              "text": "\"The Italian Place\" in Alexandria, VA, is good for children and offers takeout."
            },
            "groundingChunkIndices": [
              0
            ]
          },
          {
            "segment": {
              "startIndex": 80,
              "endIndex": 130,
              "text": "It has a rating of 4.2 stars based on 411 reviews."
            },
            "groundingChunkIndices": [
              0
            ]
          }
        ],
        "googleMapsWidgetContextToken": "widgetcontent/..."
      }
    }
  ],
  ...
}

Optional: Kontextbezogenes Google Maps-Widget

Das kontextbezogene Widget ist ein Pre-GA-Angebot von Google Maps, das als visueller Container zur Unterstützung oder Ergänzung anderer Google Maps-Inhalte verwendet wird. Mit dem kontextbezogenen Google Maps-Widget können Sie Grounding mit Google Maps in Ihre Anwendungen einbinden, um einen auf einem konversationellen LLM basierenden Chat zu erstellen. Das kontextbezogene Widget wird mit dem Kontext-Token googleMapsWidgetContextToken gerendert, das in der Vertex AI API-Antwort zurückgegeben wird und zum Rendern visueller Inhalte verwendet werden kann.

Das kontextbezogene Widget hat je nach Szenario unterschiedliche Funktionen:

  • Es werden subjektive nutzergenerierte Inhalte (UGC) in dem Szenario angezeigt, in dem Google Maps-Prompts zur Antwortgenerierung verwendet werden.

  • Damit lassen sich Ergebnisse mit Kartendarstellungen und Daten anreichern, wenn Vertex AI nur eine Textantwort generiert.

Weitere Informationen zum kontextbezogenen Widget finden Sie unter Maps-Fundierungs-Widget.

Kontextbezogenes Google Maps-Widget rendern

Wenn Sie das kontextbezogene Google Maps-Widget rendern und verwenden möchten, müssen Sie die Alphaversion der Google Maps JavaScript API auf der Seite verwenden, auf der das Widget angezeigt wird. Weitere Informationen finden Sie unter Maps JavaScript API laden.

Die folgenden Codebeispiele zeigen, wie ein kontextbezogenes Widget verwendet wird:

HTML

  1. Kontextbezogenes Widget erstellen

      <body>
    <gmp-place-contextual id="widget"></gmp-place-contextual>
  </body>

  2. In jeder Antwort, die auf Google Maps basiert, gibt es ein entsprechendes googleMapsWidgetContextToken, mit dem das kontextbezogene Widget gerendert wird. Es wird in unmittelbarer Nähe der generierten Antwort platziert.

    Legen Sie widget.contextToken property fest, um das Kontext-Token zu aktualisieren.

    "googleMapsWidgetContextToken": "widgetcontent/AcBXPQdpWQWbap9H-OH8sEKmOXxmEKAYvff0tvthhneMQC3VrqWCjpnPBl4-Id98FGiA_S_t8aeAeJj0T6JkWFX56Bil8oBSR0W8JH3C_RSYLbTjxKdpxc9yNn6JcZTtolIRZon9xi6WpNGuSyjcIxWu2S0hwpasNOpUlWrG1RxVCB4WD1fsz_pwR236mG36lMxevXTQ_JnfdYNuQwQ4Lc3vn...<snip>...
Ts5VJE_b3IC5eE_6wez0nh61r7foTUZpP7BXMwxR-7Wyfcj6x1v6mIWsFGr1o0p_HSAMNqWPg-aFVnkPLhAkOR6MaNZOfezTva-gxHlu7z_haFvYxcUE1qfNVQ",

    function updateWidget(contextToken) {
  let widget = document.querySelector('#widget');
  widget.contextToken = contextToken;
}

  3. Optional: Geben Sie das Listenlayout an. Gültige Werte sind:

    • Kompaktes Layout: <gmp-place-contextual-list-config layout="compact">
    • Vertikales Layout: <gmp-place-contextual-list-config layout="vertical">

    In diesem Codebeispiel wird gezeigt, wie das Listenlayout in ein kompaktes Layout geändert wird.

        <gmp-place-contextual id="widget">
      <gmp-place-contextual-list-config layout="compact">
      </gmp-place-contextual-list-config>
    </gmp-place-contextual>

  4. Optional: Ändern Sie den Kartenmodus. Gültige Werte sind:

    • 2D-Roadmap-Karte: map-mode="roadmap"
    • 3D-Hybridkarte: map-mode="hybrid"
    • Keine Karte: map-mode="none"

    In diesem Codebeispiel wird gezeigt, wie Sie den Kartenmodus in eine 2D-Karte ändern.

        <gmp-place-contextual id="widget">
      <gmp-place-contextual-list-config map-mode="roadmap">
      </gmp-place-contextual-list-config>
    </gmp-place-contextual>

JavaScript

  1. Kontextbezogenes Widget erstellen

    async function createWidget(contextToken) {
  await google.maps.importLibrary('places');
  let widgetContainer = document.querySelector('#wc');  // a div that contains the widget
  const placeContextualElement = new
      google.maps.places.PlaceContextualElement({ contextToken });
  widgetContainer.appendChild(placeContextualElement);
}

  2. In jeder Antwort, die auf Google Maps basiert, gibt es ein entsprechendes googleMapsWidgetContextToken, mit dem das kontextbezogene Widget gerendert wird. Es wird in unmittelbarer Nähe der generierten Antwort platziert.

    Um das Kontext-Token zu aktualisieren, legen Sie die Eigenschaft widget.contextToken fest.

      "googleMapsWidgetContextToken": "widgetcontent/AcBXPQdpWQWbap9H-OH8sEKmOXxmEKAYvff0tvthhneMQC3VrqWCjpnPBl4-Id98FGiA_S_t8aeAeJj0T6JkWFX56Bil8oBSR0W8JH3C_RSYLbTjxKdpxc9yNn6JcZTtolIRZon9xi6WpNGuSyjcIxWu2S0hwpasNOpUlWrG1RxVCB4WD1fsz_pwR236mG36lMxevXTQ_JnfdYNuQwQ4Lc3vn...<snip>...
  Ts5VJE_b3IC5eE_6wez0nh61r7foTUZpP7BXMwxR-7Wyfcj6x1v6mIWsFGr1o0p_HSAMNqWPg-aFVnkPLhAkOR6MaNZOfezTva-gxHlu7z_haFvYxcUE1qfNVQ",

      function updateWidget(contextToken) {
    widget.contextToken = contextToken;
  }

  3. Optional: Geben Sie das Listenlayout an. Gültige Werte sind:

    • Kompaktes Layout: layout: google.maps.places.PlaceContextualListLayout.COMPACT
    • Vertikales Layout: layout: google.maps.places.PlaceContextualListLayout.VERTICAL

    In diesem Codebeispiel wird gezeigt, wie das Listenlayout in ein kompaktes Layout geändert wird.

      const widgetConfig = new google.maps.places.PlaceContextualListConfigElement({
    layout: google.maps.places.PlaceContextualListLayout.COMPACT
  });
  widget.appendChild(widgetConfig);

  4. Optional: Ändern Sie den Kartenmodus. Gültige Werte sind:

    • 2D-Roadmap-Karte: mapMode: google.maps.places.PlaceContextualListMapMode.ROADMAP
    • 3D-Hybridkarte: mapMode: google.maps.places.PlaceContextualListMapMode.HYBRID
    • Keine Karte: mapMode: google.maps.places.PlaceContextualListMapMode.NONE

    In diesem Codebeispiel wird gezeigt, wie Sie den Kartenmodus in eine 2D-Karte ändern.

      const widgetConfig = new google.maps.places.PlaceContextualListConfigElement({
    mapMode: google.maps.places.PlaceContextualListMapMode.ROADMAP
  });
  widget.appendChild(widgetConfig);

Anforderungen an die Quellenangabe

Wenn Sie von Vertex AI generierte Inhalte präsentieren, die sich direkt auf Informationen beziehen, die durch die Fundierung mit Google Maps verfügbar gemacht wurden, müssen Sie die Google Maps-Quellen angeben, die zur Unterstützung der Antwort verwendet wurden.

Dieses Bild zeigt Google Maps-Quellen, die zur Unterstützung der Antwort des Modells verwendet wurden.

Prompt mit Antwort, in der Quellen angegeben sind

Endnutzer über die Verwendung von Grounding-Quellen informieren

Sie müssen Ihre Nutzer über Folgendes informieren:

  • Die Fundierungsquellen, die zur Unterstützung der LLM-generierten Inhalte verwendet wurden, in unmittelbarer Nähe der Inhalte.
  • Die Fundierungsquellen müssen innerhalb einer Nutzerinteraktion sichtbar sein.

Google Maps-Quell-URLs anzeigen

Google Maps-Quellen werden in groundingMetadata innerhalb von groundingChunks und groundingSupports zurückgegeben. Google Maps-Quellen werden sowohl für Orte als auch für unterstützende Inhalte für Ortsantworten wie Nutzerrezensionen zurückgegeben, die zum Generieren der Antwort verwendet wurden.

In diesem Codebeispiel werden eine Ortsquelle und eine Ortsantwortquelle in der Antwort veranschaulicht:

  "groundingChunks": [
            {
              "maps": {
                "uri": "{Link to Maps Content}",
                "title": "{Name of Maps Place}",
                "text": "{Maps content that was sent to the model for this place}"
                "placeId": "{Place ID}",
                "placeAnswerSources":
                                  {
                    "review": "",
                    "authorAttribution": {
                      "displayName": "",
                      "photoUri": ""
                    },
                    "flagContentUri": "",
                    "googleMapsUri": ""
                  },
              },
               "flagContentUri": ""
              }
            }
          }
        ],

Für jede Quelle, auf die sich das LLM bezieht, muss eine Linkvorschau generiert werden, die den folgenden Anforderungen entspricht:

  • Weisen Sie jede Quelle Google Maps gemäß den Richtlinien für die Quellenangabe im Text zu.
  • Zeigen Sie den Open-Graph-Seitentitel (og:title) oder den Titel im Format
    an.

    [Place Name] - Google Maps

  • Rufen Sie das Quellmaterial über die Quell-URL auf.

Wenn es in groundingChunks Quellen für Antworten zu Orten gibt, müssen Sie Folgendes tun:

  • Rezensionslinks in grounding_chunks.maps.placeAnswerSources.reviewSnippets.googleMapsUri rendern.
  • Zeigen Sie den Open Graph-Titel oder einen Titel im Format
    an.

    Google Review of [Place Name] by [Author Name].

    Place Name finden Sie unter grounding_chunks.maps.title und Author Name unter grounding_chunks.maps.placeAnswerSources.reviewSnippets.authorAttribution.displayName.

  • Optional: Sie können die Linkvorschau mit zusätzlichen Inhalten wie den folgenden erweitern:

    • Das Google Maps-Favicon (<link rel="icon" href="https://www.google.com/favicon.ico">) wird vor der Google Maps-Quellenangabe als Text eingefügt.
    • Beschreibung (og:description)
    • Foto (og:image)

Auf diesen Bildern sehen Sie die Mindestanforderungen für die Anzeige von Ortslinks.

Prompt mit Antwort, in der Quellen angegeben sind

Sie können die Ansicht der Quellen minimieren.

Prompt mit minimierter Antwort und Quellen

Auf diesem Bild ist das Foto des Orts zu sehen. Es ist ein optionaler Link, über den Sie sich eine Vorschau der Attribute der Quellen ansehen können.

Prompt mit Antwort und Quellen

Unzulässige Gebiete

Google Maps schränkt bestimmte Inhalte und Aktivitäten ein, um eine sichere und zuverlässige Plattform zu bieten. Eine Liste der verbotenen Gebiete finden Sie unter Verbotene Gebiete der Google Maps Platform.

Ortsattribute

In diesem Abschnitt werden die Ortsattribute aufgeführt, die zur Beschreibung von Orten verwendet werden und die von Grounding mit Google Maps zum Generieren von Antworten verwendet werden. Mit diesen Eigenschaften wird festgelegt, welche Arten von Fragen mit Grounding mit Google Maps beantwortet werden können.

Beispiele für Ortseigenschaften

Diese Liste enthält eine alphabetisch sortierte Auswahl von Eigenschaften zu Orten, die von Ihrem Modell zum Generieren von Antworten verwendet werden können.

  • Adresse
  • Abholung vor dem Laden
  • Debitkarte
  • Entfernung
  • Kostenlose Parkplätze
  • Livemusik
  • Menü für Kinder
  • Öffnungszeiten
  • Zahlungsoptionen (z. B. Barzahlung oder Kreditkarte)
  • Antwort zu Ort
  • Haustierfreundlich
  • Bier
  • Vegetarische Speisen
  • Rollstuhlgerecht
  • WLAN

Ortsbezogene Antworten sind Antworten, die auf Informationen aus Nutzerrezensionen basieren und mit Google Maps fundiert werden. Wenn es ein Problem mit dem Inhalt der Ortsantwort in den Metadaten gibt, können Sie es Google über einen Link im Feld flagContentUri innerhalb des Objekts PlaceAnswerSources in der API-Antwort melden.

Beispiele für die Verwendung von Orteigenschaften

In den folgenden Beispielen werden Ortsattribute in Fragen zu verschiedenen Arten von Orten verwendet. Bei der Fundierung mit Google Maps werden die Eigenschaften verwendet, um Ihre Intention zu verstehen. Anschließend werden relevante Antworten auf Grundlage der Daten zu Orten in Google Maps bereitgestellt.

  • Ein Familienessen planen: Sie könnten fragen: Ist „The Italian Place“ für Kinder geeignet und bieten sie Essen zum Mitnehmen an? Wie ist ihre Bewertung?

    Anhand der Antworten auf diese Fragen können Sie feststellen, ob ein Restaurant für eine Familie geeignet ist und ob es einen praktischen Service bietet.

  • Barrierefreiheit für einen Freund prüfen: Sie könnten fragen: Ich suche ein Restaurant mit einem rollstuhlgerechten Eingang.

    Eine Antwort auf diesen Prompt kann Ihnen helfen, festzustellen, ob der Ort bestimmte Anforderungen an die Barrierefreiheit erfüllt.

  • Einen Ort für einen Mitternachtssnack finden: Sie könnten fragen: Ist „Burger Joint“ jetzt geöffnet? Wird hier Abendessen serviert? Welche Öffnungszeiten gelten am Freitag?

    Die Antworten auf diese Fragen helfen Ihnen, ein geöffnetes Lokal zu finden, in dem zu einer bestimmten Zeit ein bestimmtes Gericht serviert wird.

  • Mit einem Kunden zum Kaffeetrinken treffen: Sie könnten fragen: Hat das „Cafe Central“ WLAN? Gibt es hier Kaffee? Wie hoch ist das Preisniveau und werden Kreditkarten akzeptiert?

    Anhand der Antworten auf diese Fragen können Sie die Eignung eines Cafés für ein Geschäftstreffen anhand von Annehmlichkeiten, Angeboten und Zahlungsoptionen beurteilen.

Nächste Schritte

  • Weitere Informationen zur Fundierung von Gemini-Modellen auf Ihren Daten finden Sie unter Fundierung mit Ihren Daten.
  • Weitere Informationen zu Best Practices für verantwortungsbewusste KI und den Sicherheitsfiltern von Vertex AI finden Sie unter Verantwortungsbewusste KI.