Respuestas fundamentales para modelos PaLM 2

Para comenzar a usar los fundamentos de modelos de IA generativa en Vertex AI, debes completar algunos requisitos. Esto incluye crear una fuente de datos de Vertex AI Search, habilitar la edición Enterprise para tu almacén de datos y vincular el almacén de datos a tu app en Vertex AI Search. La fuente de datos sirve como base para los fundamentos text-bison y chat-bison en Vertex AI.

Vertex AI Search te ayuda a comenzar con búsquedas de o recomendaciones de alta calidad según los datos que proporciones. Para obtener más información sobre Vertex AI Search, consulta la Introducción a Vertex AI Search.

Habilita Vertex AI Search

En la consola de Google Cloud, ve a la página Search & Conversation.

Search & Conversation
Lee y acepta las Condiciones del Servicio y, luego, haz clic en Continuar y activar la API.

Importante: Debes aceptar las condiciones de uso de datos de las soluciones de descubrimiento para cada proyecto con el que desees usar Vertex AI Search.

Crea un almacén de datos en Vertex AI Search

Para fundamentar tus modelos en los datos de origen, debes preparar y guardar tus datos en Vertex AI Search. Para ello, debes crear un almacén de datos en Vertex AI Search.

Si comienzas desde cero, debes preparar los datos para la transferencia a Vertex AI Search. Consulta Prepara datos para la transferencia para comenzar. Según el tamaño de tus datos, la transferencia puede tardar varios minutos o varias horas. Solo se admiten almacenes de datos no estructurados para los fundamentos. Una vez que hayas preparado tus datos para la transferencia, puedes crear un almacén de datos de búsqueda. Después de crear un almacén de datos de forma correcta, crea una app de búsqueda para vincularla y activa la edición Enterprise.

Fundamenta el modelo `text-bison`

Los fundamentos están disponibles para los modelos text-bison y chat-bison. En los siguientes ejemplos, se usa el modelo de base text-bison.

Si usas la API, debes fundamentar text-bison cuando llamas a la predicción. Para hacerlo, debes agregar la groundingConfig opcional y hacer referencia a la ubicación de tu almacén de datos y el ID del almacén de datos.

Si no conoces el ID del almacén de datos, sigue estos pasos:

En la consola de Google Cloud, ve a la página Vertex AI Search y, en el menú de navegación, haz clic en Almacenes de datos. Ir a la página de almacenes de datos.
Haz clic en el nombre de tu almacén de datos.
En la página Datos de tu almacén de datos, obtén el ID del almacén de datos.

REST

Para probar un mensaje de texto con la API de Vertex AI, envía una solicitud POST al extremo del modelo de publicador.

Antes de usar cualquiera de los datos de solicitud a continuación, realiza los siguientes reemplazos:

PROJECT_ID: El ID del proyecto.
PROMPT: Una instrucción es una solicitud de lenguaje natural que se envía a un modelo de lenguaje para recibir una respuesta. Los mensajes pueden contener preguntas, instrucciones, información contextual, ejemplos y texto para que el modelo se complete o continúe. (No agregues comillas alrededor del mensaje aquí).
TEMPERATURE: La temperatura se usa para las muestras durante la generación de respuesta, que se genera cuando se aplican topP y topK. La temperatura controla el grado de aleatoriedad en la selección de tokens. Las temperaturas más bajas son buenas para los mensajes que requieren una respuesta menos abierta o de creativa, mientras que las temperaturas más altas pueden generar resultados más diversos o creativos. Una temperatura de 0 significa que siempre se seleccionan los tokens de probabilidad más alta. En este caso, las respuestas para un mensaje determinado son, en su mayoría, deterministas, pero es posible que haya una pequeña cantidad de variación.
Si el modelo muestra una respuesta demasiado genérica, demasiado corta o el modelo proporciona una respuesta de resguardo, intenta aumentar la temperatura.
MAX_OUTPUT_TOKENS: Cantidad máxima de tokens que se pueden generar en la respuesta. Un token tiene casi cuatro caracteres. 100 tokens corresponden a casi 60 u 80 palabras.
Especifica un valor más bajo para las respuestas más cortas y un valor más alto para las respuestas potencialmente más largas.
TOP_P: Top-P cambia la manera en la que el modelo selecciona los tokens para el resultado. Los tokens se seleccionan del más (consulta top-K) al menos probable, hasta que la suma de sus probabilidades sea igual al valor de P superior. Por ejemplo, si los tokens A, B y C tienen una probabilidad de 0.3, 0.2 y 0.1, y el valor P superior es 0.5, el modelo elegirá A o B como el siguiente token mediante la temperatura y excluirá a C como candidato.
Especifica un valor más bajo para respuestas menos aleatorias y un valor más alto para respuestas más aleatorias.
TOP_K: El parámetro Top-K cambia la manera en la que el modelo selecciona los tokens para el resultado. Un top-K de 1 significa que el siguiente token seleccionado es el más probable entre todos los tokens en el vocabulario del modelo (también llamado decodificación codiciosa), mientras que un top-K de 3 significa que el siguiente token se selecciona de los tres tokens más probables con la temperatura.
Para cada paso de selección de tokens, se muestran los tokens de K superior con las probabilidades más altas. Luego, los tokens se filtran según el superior con el token final seleccionado mediante el muestreo de temperatura.

Especifica un valor más bajo para respuestas menos aleatorias y un valor más alto para respuestas más aleatorias.
SOURCE_TYPE: el tipo de fuente de datos que fundamenta el modelo. Solo se admite Vertex AI Search.
VERTEX_AI_SEARCH_DATA_STORE: la ruta del ID del almacén de datos de Vertex AI Search.
VERTEX_AI_SEARCH_DATA_STORE debe usar el siguiente formato. Usa los valores proporcionados para las ubicaciones y colecciones: projects/{project_id}/locations/global/collections/default_collection/dataStores/{data_store_id}

Nota: El ID del proyecto en esta ruta del ID del almacén de datos es el ID del proyecto de Vertex AI Search.

HTTP method and URL:

POST https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/text-bison:predict

Cuerpo JSON de la solicitud:

{
  "instances": [
    { "prompt": "PROMPT"}
  ],
  "parameters": {
    "temperature": TEMPERATURE,
    "maxOutputTokens": MAX_OUTPUT_TOKENS,
    "topP": TOP_P,
    "topK": TOP_K,
    "groundingConfig": {
      "sources": [
          {
              "type": "VERTEX_AI_SEARCH",
              "vertexAiSearchDatastore": "VERTEX_AI_SEARCH_DATA_STORE"
          }
      ]
    }
  }
}

Para enviar tu solicitud, elige una de estas opciones:

curl

Nota: Con el siguiente comando, se supone que accediste a la CLI de gcloud con tu cuenta de usuario a través de la ejecución de gcloud init o gcloud auth login, o a través del uso de Cloud Shell, que accede de forma automática a la CLI de gcloud. Para comprobar la cuenta activa actual, ejecuta gcloud auth list.

Guarda el cuerpo de la solicitud en un archivo llamado request.json y ejecuta el siguiente comando:

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/text-bison:predict"

PowerShell

Nota: En el siguiente comando, se supone que accediste a la CLI de gcloud con tu cuenta de usuario a través de la ejecución de gcloud init o gcloud auth login . Para comprobar la cuenta activa actual, ejecuta gcloud auth list.

Guarda el cuerpo de la solicitud en un archivo llamado request.json y ejecuta el siguiente comando:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/text-bison:predict" | Select-Object -Expand Content

Deberías recibir una respuesta JSON similar a la que se muestra a continuación:

Respuesta

{
  "predictions": [
    {
      "content": "A monstera is a popular tropical plant known for its large, distinctive leaves with iconic holes and splits.  They're a type of vining plant, so they like to climb and will often develop aerial roots for support."
      "citationMetadata": {
        "citations": []
      "groundingMetadata": {
        "searchQueries": "What's a monstera?"
      },
      "safetyAttributes": {
        "scores": [],
        "blocked": false,
        "categories": []
      }
    }
  ],
  "metadata": {
    "tokenMetadata": {
      "inputTokenCount": {
        "totalBillableCharacters": ,
        "totalTokens":
      },
      "outputTokenCount": {
        "totalBillableCharacters": ,
        "totalTokens":
      }
    }
  }
}

Console

Para fundamentar un modelo desde Vertex AI Studio, sigue estas instrucciones.

Selecciona la tarjeta de modelo PaLM 2 para Text Bison o PaLM 2 para Chat Bison en Model Garden.
Ir a Model Garden
En la tarjeta de modelo, haz clic en Abrir diseño de mensajes. Se abre Vertex AI Studio.
En el panel de parámetros, selecciona Avanzada.
Activa o desactiva la opción Enable Grounding y selecciona Personalizar.
En el menú desplegable de la fuente de los fundamentos, selecciona Vertex AI Search.
Ingresa la ruta de acceso del almacén de datos de Vertex AI Search a tu contenido. La ruta debe tener el siguiente formato: projects/{project_id}/locations/global/collections/default_collection/dataStores/{data_store_id}.
Ingresa el mensaje y haz clic en Enviar.

Python

Si deseas obtener información para instalar o actualizar el SDK de Vertex AI para Python, consulta Instala el SDK de Vertex AI para Python. Si deseas obtener más información, consulta la documentación de referencia de la API de Python.

import vertexai

from vertexai.language_models import GroundingSource, TextGenerationModel

# TODO(developer): Update project_id and location
vertexai.init(project=PROJECT_ID, location="us-central1")

# TODO developer - override these parameters as needed:
parameters = {
    "temperature": 0.7,  # Temperature controls the degree of randomness in token selection.
    "max_output_tokens": 256,  # Token limit determines the maximum amount of text output.
    "top_p": 0.8,  # Tokens are selected from most probable to least until the sum of their probabilities equals the top_p value.
    "top_k": 40,  # A top_k of 1 means the selected token is the most probable among all tokens.
}

model = TextGenerationModel.from_pretrained("text-bison@002")

# TODO(developer): Update values for data_store_location, data_store_id
# data_store_id = ""
# data_store_location = ""
if data_store_id and data_store_location:
    # Use Vertex AI Search data store
    grounding_source = GroundingSource.VertexAISearch(
        data_store_id=data_store_id, location=data_store_location
    )
else:
    # Use Google Search for grounding (Private Preview)
    grounding_source = GroundingSource.WebSearch()

response = model.predict(
    "What are the price, available colors, and storage size options of a Pixel Tablet?",
    grounding_source=grounding_source,
    **parameters,
)
print(f"Response from Model: {response.text}")
print(f"Grounding Metadata: {response.grounding_metadata}")

¿Qué sigue?

Aprende a enviar solicitudes de mensaje de chat.
Obtén información sobre las prácticas recomendadas de IA responsable y los filtros de seguridad de Vertex AI.
Para aprender a fundamentar modelos de Gemini, consulta Fundamenta respuestas para modelos de Gemini.