Invocar previsões com a gestão de pontos finais de modelos

Selecione uma versão da documentação:

Esta página descreve uma pré-visualização que lhe permite fazer experiências com o registo de um ponto final de modelo de IA e invocar previsões com a gestão de pontos finais de modelos. Para usar modelos de IA em ambientes de produção, consulte o artigo Crie aplicações de IA generativa com a IA do AlloyDB.

Depois de os pontos finais do modelo serem adicionados e registados na gestão de pontos finais do modelo, pode fazer referência aos mesmos através do ID do modelo para invocar previsões.

Antes de começar

Certifique-se de que registou o ponto final do modelo na gestão de pontos finais do modelo. Para mais informações, consulte o artigo Registe um ponto final de modelo com a gestão de pontos finais de modelos

Invocar previsões para modelos genéricos

Use a função SQL google_ml.predict_row() para chamar um ponto final de modelo genérico registado para invocar previsões. Pode usar a função google_ml.predict_row() com qualquer tipo de modelo.

SELECT
  google_ml.predict_row(
    model_id => 'MODEL_ID',
    request_body => 'REQUEST_BODY');

Substitua o seguinte:

  • MODEL_ID: o ID do modelo que definiu quando registou o ponto final do modelo.
  • REQUEST_BODY: os parâmetros da função de previsão, no formato JSON.

Exemplos

Alguns exemplos de invocar previsões através de pontos finais de modelos registados estão listados nesta secção.

Para gerar previsões para um ponto final do modelo gemini-pro registado, execute a seguinte declaração:

    SELECT
        json_array_elements(
        google_ml.predict_row(
            model_id => 'gemini-pro',
            request_body => '{
        "contents": [
            {
                "role": "user",
                "parts": [
                    {
                        "text": "For TPCH database schema as mentioned here https://www.tpc.org/TPC_Documents_Current_Versions/pdf/TPC-H_v3.0.1.pdf , generate a SQL query to find all supplier names which are located in the India nation."
                    }
                ]
            }
        ]
        }'))-> 'candidates' -> 0 -> 'content' -> 'parts' -> 0 -> 'text';

Para gerar previsões para um ponto final do modelo facebook/bart-large-mnli registado no Hugging Face, execute a seguinte declaração:

  SELECT
  google_ml.predict_row(
    model_id => 'facebook/bart-large-mnli',
    request_body =>
      '{
       "inputs": "Hi, I recently bought a device from your company but it is not working as advertised and I would like to get reimbursed!",
    "parameters": {"candidate_labels": ["refund", "legal", "faq"]}
    }'
  );