Model OpenAI

Model OpenAI di Vertex AI menawarkan model sebagai API yang terkelola sepenuhnya dan serverless. Untuk menggunakan model OpenAI di Vertex AI, kirim permintaan langsung ke endpoint Vertex AI API. Karena model OpenAI menggunakan API terkelola, tidak perlu menyediakan atau mengelola infrastruktur.

Anda dapat melakukan streaming respons untuk mengurangi persepsi latensi pengguna akhir. Respons yang di-streaming menggunakan peristiwa yang dikirim server (SSE) untuk mengalirkan respons secara bertahap.

Model OpenAI yang tersedia

Model berikut tersedia dari OpenAI untuk digunakan di Vertex AI. Untuk mengakses model OpenAI, buka kartu modelnya di Model Garden.

gpt-oss 120B

gpt-oss 120B OpenAI adalah model bahasa dengan bobot terbuka 120B yang dirilis berdasarkan lisensi Apache 2.0. Model ini sangat cocok untuk kasus penggunaan penalaran dan panggilan fungsi. Model dioptimalkan untuk deployment di hardware konsumen.

Model 120B mencapai paritas yang hampir sama dengan o4-mini OpenAI pada tolok ukur penalaran inti, sambil berjalan di satu GPU 80 GB.

Buka kartu model gpt-oss 120B

gpt-oss 20B

gpt-oss 20B OpenAI adalah model bahasa dengan bobot terbuka 20B yang dirilis berdasarkan lisensi Apache 2.0. Model ini sangat cocok untuk kasus penggunaan penalaran dan panggilan fungsi. Model dioptimalkan untuk deployment di hardware konsumen.

Model 20B memberikan hasil yang serupa dengan o3-mini OpenAI pada tolok ukur umum dan dapat berjalan di perangkat edge dengan memori 16 GB, sehingga ideal untuk kasus penggunaan di perangkat, inferensi lokal, atau iterasi cepat tanpa infrastruktur yang mahal.

Buka kartu model gpt-oss 20B

Sebelum memulai

Untuk menggunakan model OpenAI dengan Vertex AI, Anda harus melakukan langkah-langkah berikut. Vertex AI API (aiplatform.googleapis.com) harus diaktifkan untuk menggunakan Vertex AI. Jika sudah memiliki project dengan Vertex AI API yang diaktifkan, Anda dapat menggunakan project tersebut, bukan membuat project baru.

  1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  2. Verify that billing is enabled for your Google Cloud project.

  3. Enable the Vertex AI API.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the API

  4. Buka salah satu kartu model Model Garden berikut, lalu klik Aktifkan.