Model OpenAI

Model OpenAI di Vertex AI menawarkan model sebagai API yang serverless dan terkelola sepenuhnya. Untuk menggunakan model OpenAI di Vertex AI, kirim permintaan langsung ke endpoint Vertex AI API. Karena model OpenAI menggunakan API terkelola, tidak perlu menyediakan atau mengelola infrastruktur.

Anda dapat melakukan streaming respons untuk mengurangi persepsi latensi pengguna akhir. Respons yang di-streaming menggunakan peristiwa yang dikirim server (SSE) untuk mengalirkan respons secara bertahap.

Model OpenAI yang tersedia

Model berikut tersedia dari OpenAI untuk digunakan di Vertex AI. Untuk mengakses model OpenAI, buka kartu modelnya di Model Garden.

gpt-oss 120B

gpt-oss 120B OpenAI adalah model bahasa dengan bobot terbuka 120B yang dirilis berdasarkan lisensi Apache 2.0. Model ini sangat cocok untuk kasus penggunaan penalaran dan panggilan fungsi. Model dioptimalkan untuk deployment di hardware konsumen.

Model 120B mencapai paritas yang hampir sama dengan o4-mini OpenAI pada tolok ukur penalaran inti, sambil berjalan di satu GPU 80 GB.

Buka kartu model gpt-oss 120B

gpt-oss 20B

gpt-oss 20B OpenAI adalah model bahasa dengan bobot terbuka 20B yang dirilis berdasarkan lisensi Apache 2.0. Model ini sangat cocok untuk kasus penggunaan penalaran dan panggilan fungsi. Model dioptimalkan untuk deployment di hardware konsumen.

Model 20B memberikan hasil yang serupa dengan o3-mini OpenAI pada tolok ukur umum dan dapat berjalan di perangkat edge dengan memori 16 GB, sehingga ideal untuk kasus penggunaan di perangkat, inferensi lokal, atau iterasi cepat tanpa infrastruktur yang mahal.

Buka kartu model gpt-oss 20B

Sebelum memulai

Untuk menggunakan model OpenAI dengan Vertex AI, Anda harus melakukan langkah-langkah berikut. Vertex AI API (aiplatform.googleapis.com) harus diaktifkan untuk menggunakan Vertex AI. Jika sudah memiliki project dengan Vertex AI API yang diaktifkan, Anda dapat menggunakan project tersebut, bukan membuat project baru.

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the Vertex AI API.

    Enable the API

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  6. Verify that billing is enabled for your Google Cloud project.

  7. Enable the Vertex AI API.

    Enable the API

  8. Buka salah satu kartu model Model Garden berikut, lalu klik Aktifkan.