Generative AI on Vertex AI 概览

借助 Vertex AI 上的生成式 AI，您可以构建可用于生产环境的应用，这些应用由托管在 Google 先进全球基础架构上的先进生成式 AI 模型提供支持。

开始

适合企业

借助企业级安全性、数据驻留地、访问透明性和低延迟，大规模部署生成式 AI 应用。

先进的功能

利用 Gemini 1.5 Pro 支持的 200 万个词元的上下文窗口，扩展应用的功能。

开放式平台

借助 Vertex AI，您可以使用第三方 AI 公司的 100 多个模型，包括 Anthropic Claude 3.5 Sonnet、Meta Llama 3 和 Mistral AI Mixtral 8x7B。

核心功能

多模态处理
同时处理多种类型的输入媒体，例如图片、视频、音频和文档。
嵌入生成
生成嵌入以执行搜索、分类、聚类和离群值检测等任务。
模型调优
调整模型以更准确地执行特定任务。
函数调用
将模型连接到外部 API，以扩展模型的功能。
落地
将模型与外部数据源相关联，以减少响应中的幻觉。
图片生成
使用自然语言文本提示生成和修改图片。

Vertex AI 与 Google AI 的区别

Vertex AI 和 Google AI 中的 Gemini API 可让您将 Gemini 模型的功能整合到应用中。适合哪个平台取决于您的目标，详见下表。

API	设计目标	特征
Vertex AI Gemini API	扩缩部署企业	技术支持基于模式的定价赔偿保护模型库中包含 100 多个模型
Google AI Gemini API	实验原型设计易用性	免费层级基于令牌的定价

从 Google AI 迁移到 Vertex AI

使用 Vertex AI SDK 进行构建

Vertex AI 提供以下语言的 SDK：

Python

from vertexai.generative_models import GenerativeModel
model = GenerativeModel(model_name="gemini-1.5-flash")
response = model.generate_content([Part.from_uri(IMAGE_URI, mime_type="image/jpeg"),"What is this?"])

Node.js

const vertexAI = new VertexAI({project: projectId, location: location});
const generativeVisionModel = vertexAI.getGenerativeModel({ model: "gemini-1.5-flash"});

const result = await model.generateContent([
  "What is this?",
  {inlineData: {data: imgDataInBase64, mimeType: 'image/png'}}
]);

Java

public static void main(String[] args) throws Exception {
  try (VertexAI vertexAi = new VertexAI(PROJECT_ID, LOCATION); ) {
    GenerativeModel model = new GenerativeModel("gemini-1.5-flash", vertexAI);
  List<Content> contents = new ArrayList<>();
  contents.add(ContentMaker
                .fromMultiModalData(
                    "What is this?",
                    PartMaker.fromMimeTypeAndData("image/jpeg", IMAGE_URI)));
  GenerateContentResponse response = model.generateContent(contents);
  }
}

Go

model := client.GenerativeModel("gemini-1.5-flash", "us-central1")
img := genai.ImageData("jpeg", image_bytes)
prompt := genai.Text("What is this?")
resp, err := model.GenerateContent(ctx, img, prompt)

C#

var predictionServiceClient = new PredictionServiceClientBuilder {
  Endpoint = $"{location}-aiplatform.googleapis.com"
}.Build();

var generateContentRequest = new GenerateContentRequest {
  Model = $"projects/{projectId}/locations/{location}/publishers/google/models/gemini-1.5-flash",
  Contents = {
    new Content {
      Role = "USER",
      Parts = {
        new Part {Text = "What's in this?"},
        new Part {FileData = new() {MimeType = "image/jpeg", FileUri = fileUri}}
      }
    }
  }
};

GenerateContentResponse response = await predictionServiceClient.GenerateContentAsync(generateContentRequest);

开始

在 Vertex AI 中试用 Gemini API
新客户可获得 $300 赠金。
试用 Vertex AI Studio
测试无需设置的提示。
通过 OpenAI 代码调用 Vertex AI 模型
使用 OpenAI 库调用 Vertex AI 模型。