Menggunakan model Claude dari Anthropic

Model Claude dari Anthropic di Vertex AI menawarkan model terkelola sepenuhnya dan tanpa server sebagai API. Untuk menggunakan model Claude di Vertex AI, kirim permintaan langsung ke endpoint Vertex AI API. Karena model Claude Anthropic menggunakan API terkelola, Anda tidak perlu menyediakan atau mengelola infrastruktur.

Anda dapat melakukan streaming respons Claude untuk mengurangi persepsi latensi pengguna akhir. Respons yang di-streaming menggunakan peristiwa yang dikirim server (SSE) untuk melakukan streaming respons secara bertahap.

Anda membayar model Claude saat menggunakannya (bayar sesuai penggunaan), atau membayar biaya tetap saat menggunakan throughput penyediaan. Untuk harga bayar sesuai penggunaan, lihat model Claude dari Anthropic di halaman harga Vertex AI.

Model Claude yang tersedia

Model berikut tersedia dari Anthropic untuk digunakan di Vertex AI. Untuk mengakses model Claude, buka kartu model Model Garden-nya.

Claude 3.5 Sonnet v2

Claude 3.5 Sonnet v2 adalah model canggih untuk tugas software engineering di dunia nyata dan kemampuan agen. Claude 3.5 Sonnet v2 menghadirkan peningkatan ini dengan harga dan kecepatan yang sama seperti Claude 3.5 Sonnet.

Model Claude 3.5 Sonnet yang telah diupgrade dapat berinteraksi dengan alat yang dapat memanipulasi lingkungan desktop komputer. Untuk mengetahui informasi selengkapnya, lihat dokumentasi Anthropoic.

Claude 3.5 Sonnet dioptimalkan untuk kasus penggunaan berikut:

  • Tugas agen dan penggunaan alat - Claude 3.5 Sonnet menawarkan pengikutan petunjuk yang unggul, pemilihan alat, koreksi error, dan penalaran lanjutan untuk alur kerja agen yang memerlukan penggunaan alat.
  • Coding - Untuk tugas pengembangan software mulai dari migrasi kode, perbaikan kode, dan terjemahan, Claude 3.5 Sonnet menawarkan performa yang kuat dalam perencanaan dan penyelesaian tugas coding yang kompleks.
  • Tanya Jawab Dokumen - Claude 3.5 Sonnet menggabungkan pemahaman konteks yang kuat, penalaran lanjutan, dan sintesis untuk memberikan respons yang akurat dan mirip manusia.
  • Ekstraksi data visual - Dengan keterampilan visi terkemuka Claude 3.5 Sonnet, Claude 3.5 Sonnet dapat mengekstrak data mentah dari visual seperti diagram atau grafik sebagai bagian dari alur kerja AI.
  • Pembuatan dan analisis konten - Claude 3.5 Sonnet dapat memahami nuansa dan nada dalam konten, menghasilkan konten yang lebih menarik, dan menganalisis konten pada tingkat yang lebih mendalam.

Buka kartu model Claude 3.5 Sonnet v2

Claude 3.5 Haiku

Claude 3.5 Haiku, model Anthropic generasi berikutnya yang paling cepat dan hemat biaya, optimal untuk kasus penggunaan yang membutuhkan kecepatan dan keterjangkauan. Perangkat ini lebih baik dari pendahulunya di setiap set keterampilan. Claude 3.5 Haiku dioptimalkan untuk kasus penggunaan berikut:

  • Penyelesaian kode - Dengan waktu respons yang cepat dan pemahaman tentang pola pemrograman, Claude 3.5 Haiku sangat unggul dalam memberikan saran dan penyelesaian kode yang cepat dan akurat dalam alur kerja pengembangan real-time.
  • Chatbot interaktif - Kemampuan percakapan alami dan penalaran yang ditingkatkan dari Claude 3.5 Haiku membuatnya ideal untuk membuat chatbot yang responsif dan menarik yang dapat menangani interaksi pengguna dalam jumlah besar secara efisien.
  • Ekstraksi dan pelabelan data - Dengan memanfaatkan keterampilan analisis yang ditingkatkan, Claude 3.5 Haiku memproses dan mengategorikan data secara efisien, sehingga berguna untuk tugas pelabelan otomatis dan ekstraksi data yang cepat.
  • Moderasi konten real-time - Dengan keterampilan penalaran yang kuat dan pemahaman konten, Claude 3.5 Haiku memberikan moderasi konten yang cepat dan andal untuk platform yang memerlukan waktu respons langsung dalam skala besar.

Buka kartu model Claude 3.5 Haiku

Claude 3 Opus

Claude 3 Opus dari Anthropic adalah model AI canggih dengan performa terbaik untuk menyelesaikan tugas yang sangat kompleks. Model ini dapat menavigasi perintah terbuka dan skenario yang tidak terlihat dengan kemahiran yang luar biasa dan pemahaman layaknya manusia. Claude 3 Opus dioptimalkan untuk kasus penggunaan berikut:

  • Otomatisasi tugas, seperti coding dan perencanaan interaktif, atau menjalankan tindakan kompleks di seluruh API dan database.

  • Tugas riset dan pengembangan, seperti peninjauan riset, bertukar pikiran, dan pembuatan hipotesis, serta pengujian produk.

  • Tugas strategi, seperti analisis lanjutan diagram dan grafik, keuangan dan tren pasar, serta perkiraan.

  • Tugas visi, seperti memproses gambar untuk menampilkan output teks. Selain itu, analisis diagram, grafik, diagram teknis, laporan, dan konten visual lainnya.

Buka kartu model Claude 3 Opus

Claude 3 Haiku

Claude 3 Haiku Anthropic adalah model teks dan visi tercepat dari Anthropic untuk merespons kueri sederhana secara instan, yang ditujukan untuk pengalaman AI yang lancar yang meniru interaksi manusia.

  • Interaksi pelanggan dan terjemahan secara real time.

  • Moderasi konten untuk mendeteksi perilaku atau permintaan pelanggan yang mencurigakan.

  • Tugas penghematan biaya, seperti pengelolaan inventaris dan ekstraksi pengetahuan dari data tidak terstruktur.

  • Tugas visi, seperti memproses gambar untuk menampilkan output teks, analisis diagram, grafik, diagram teknis, laporan, dan konten visual lainnya.

Buka kartu model Claude 3 Haiku

Claude 3.5 Sonnet

Claude 3.5 Sonnet dari Anthropic mengungguli Claude 3 Opus di berbagai evaluasi Anthropic, dengan kecepatan dan biaya Claude 3 Sonnet tingkat menengah Anthropic. Claude 3.5 Sonnet dioptimalkan untuk kasus penggunaan berikut:

  • Coding, seperti menulis, mengedit, dan menjalankan kode dengan kemampuan pemecahan masalah dan penalaran yang canggih.

  • Tangani kueri kompleks dari dukungan pelanggan dengan memahami konteks pengguna dan mengelola alur kerja multi-langkah.

  • Data science dan analisis dengan menavigasi data tidak terstruktur dan memanfaatkan beberapa alat untuk menghasilkan insight.

  • Pemrosesan visual, seperti menafsirkan diagram dan grafik yang memerlukan pemahaman visual.

  • Menulis konten dengan gaya bahasa yang lebih alami dan seperti manusia.

Buka kartu model Claude 3.5 Sonnet

Claude 3 Sonnet

Claude 3 Sonnet Anthropic adalah kombinasi keterampilan dan kecepatan yang andal dari Anthropic. Layanan ini dirancang agar dapat diandalkan untuk deployment AI berskala besar di berbagai kasus penggunaan. Claude 3 Sonnet dioptimalkan untuk kasus penggunaan berikut:

  • Pemrosesan data, termasuk retrieval-augmented generation (RAG) dan pengambilan penelusuran.

  • Tugas penjualan, seperti rekomendasi produk, perkiraan, dan pemasaran yang ditargetkan.

  • Tugas yang menghemat waktu, seperti pembuatan kode, kontrol kualitas, dan pengenalan karakter optik (OCR) dalam gambar.

  • Tugas visi, seperti memproses gambar untuk menampilkan output teks. Selain itu, analisis diagram, grafik, diagram teknis, laporan, dan konten visual lainnya.

Buka kartu model Claude 3 Sonnet

Menggunakan model Claude

Anda dapat menggunakan SDK Anthropic atau perintah curl untuk mengirim permintaan ke endpoint Vertex AI menggunakan nama model berikut:

  • Untuk Claude 3.5 Sonnet v2, gunakan claude-3-5-sonnet-v2@20241022.
  • Untuk Claude 3.5 Haiku, gunakan claude-3-5-haiku@20241022.
  • Untuk Claude 3 Opus, gunakan claude-3-opus@20240229.
  • Untuk Claude 3.5 Sonnet, gunakan claude-3-5-sonnet@20240620.
  • Untuk Claude 3 Haiku, gunakan claude-3-haiku@20240307.
  • Untuk Claude 3 Sonnet, gunakan claude-3-sonnet@20240229.

Versi model Claude dari Anthropic harus digunakan dengan akhiran yang dimulai dengan simbol @ (seperti claude-3-5-sonnet-v2@20241022 atau claude-3-5-haiku@20241022) untuk menjamin perilaku yang konsisten.

Sebelum memulai

Untuk menggunakan model Claude dari Anthropic dengan Vertex AI, Anda harus melakukan langkah-langkah berikut. Vertex AI API (aiplatform.googleapis.com) harus diaktifkan untuk menggunakan Vertex AI. Jika sudah memiliki project dengan Vertex AI API yang diaktifkan, Anda dapat menggunakan project tersebut, bukan membuat project baru.

Pastikan Anda memiliki izin yang diperlukan untuk mengaktifkan dan menggunakan model partner. Untuk mengetahui informasi selengkapnya, lihat Memberikan izin yang diperlukan.

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

    Buka pemilih project

  3. Make sure that billing is enabled for your Google Cloud project.

  4. Aktifkan API Vertex AI.

    Mengaktifkan API

    5.

  5. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

    Buka pemilih project

  6. Make sure that billing is enabled for your Google Cloud project.

  7. Aktifkan API Vertex AI.

    Mengaktifkan API

    8.
  8. Buka salah satu kartu model Model Garden berikut, lalu klik enable:

Menggunakan SDK Anthropic

Anda dapat membuat permintaan API ke model Claude Anthropic menggunakan Anthropic Claude SDK. Untuk mempelajari lebih lanjut, lihat hal berikut:

Melakukan panggilan streaming ke model Claude menggunakan Vertex SDK Anthropic

Contoh kode berikut menggunakan Vertex SDK Anthropic untuk melakukan panggilan streaming ke model Claude.

Python

Untuk mempelajari cara menginstal atau mengupdate Vertex AI SDK untuk Python, lihat Menginstal Vertex AI SDK untuk Python. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi Python API. 

# TODO(developer): Vertex AI SDK - uncomment below & run
# pip3 install --upgrade --user google-cloud-aiplatform
# gcloud auth application-default login
# pip3 install -U 'anthropic[vertex]'

# TODO(developer): Update and un-comment below line
# PROJECT_ID = "your-project-id"

from anthropic import AnthropicVertex

client = AnthropicVertex(project_id=PROJECT_ID, region="us-east5")
result = []

with client.messages.stream(
    model="claude-3-5-sonnet-v2@20241022",
    max_tokens=1024,
    messages=[
        {
            "role": "user",
            "content": "Send me a recipe for banana bread.",
        }
    ],
) as stream:
    for text in stream.text_stream:
        print(text, end="", flush=True)
        result.append(text)

# Example response:
# Here's a simple recipe for delicious banana bread:
# Ingredients:
# - 2-3 ripe bananas, mashed
# - 1/3 cup melted butter
# ...
# ...
# 8. Bake for 50-60 minutes, or until a toothpick inserted into the center comes out clean.
# 9. Let cool in the pan for a few minutes, then remove and cool completely on a wire rack.

Melakukan panggilan unary ke model Claude menggunakan Vertex SDK Anthropic

Contoh kode berikut menggunakan Vertex SDK Anthropic untuk melakukan panggilan unary ke model Claude.

Python

Untuk mempelajari cara menginstal atau mengupdate Vertex AI SDK untuk Python, lihat Menginstal Vertex AI SDK untuk Python. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi Python API. 

# TODO(developer): Vertex AI SDK - uncomment below & run
# pip3 install --upgrade --user google-cloud-aiplatform
# gcloud auth application-default login
# pip3 install -U 'anthropic[vertex]'

# TODO(developer): Update and un-comment below line
# PROJECT_ID = "your-project-id"

from anthropic import AnthropicVertex

client = AnthropicVertex(project_id=PROJECT_ID, region="us-east5")
message = client.messages.create(
    model="claude-3-5-sonnet-v2@20241022",
    max_tokens=1024,
    messages=[
        {
            "role": "user",
            "content": "Send me a recipe for banana bread.",
        }
    ],
)
print(message.model_dump_json(indent=2))
# Example response:
# {
#   "id": "msg_vrtx_0162rhgehxa9rvJM5BSVLZ9j",
#   "content": [
#     {
#       "text": "Here's a simple recipe for delicious banana bread:\n\nIngredients:\n- 2-3 ripe bananas...
#   ...

Menggunakan perintah curl

Anda dapat menggunakan perintah curl untuk membuat permintaan ke endpoint Vertex AI. Perintah curl menentukan model Claude yang didukung yang ingin Anda gunakan.

Versi model Claude dari Anthropic harus digunakan dengan akhiran yang dimulai dengan simbol @ (seperti claude-3-5-sonnet-v2@20241022 atau claude-3-5-haiku@20241022) untuk menjamin perilaku yang konsisten.

Topik berikut menunjukkan cara membuat perintah curl dan menyertakan contoh perintah curl.

REST

Untuk menguji prompt teks menggunakan Vertex AI API, kirim permintaan POST ke endpoint model penayang.

Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:

  • LOCATION: Region yang mendukung model Claude Anthropic.
  • MODEL: Nama model yang ingin Anda gunakan.
  • ROLE: Peran yang terkait dengan pesan. Anda dapat menentukan user atau assistant. Pesan pertama harus menggunakan peran user. Model Claude beroperasi dengan giliran user dan assistant bergantian. Jika pesan akhir menggunakan peran assistant, konten respons akan langsung berlanjut dari konten dalam pesan tersebut. Anda dapat menggunakannya untuk membatasi bagian respons model.
  • STREAM: Boolean yang menentukan apakah respons di-streaming atau tidak. Streaming respons Anda untuk mengurangi persepsi latensi penggunaan akhir. Tetapkan ke true untuk melakukan streaming respons dan false untuk menampilkan respons sekaligus.
  • CONTENT: Konten, seperti teks, dari pesan user atau assistant.
  • MAX_OUTPUT_TOKENS: Jumlah maksimum token yang dapat dibuat dalam respons. Token terdiri dari sekitar 3,5 karakter. 100 token setara dengan sekitar 60-80 kata.

    Tentukan nilai yang lebih rendah untuk respons yang lebih singkat dan nilai yang lebih tinggi untuk respons yang berpotensi lebih panjang.

  • TOP_P (Opsional): Top-P mengubah cara model memilih token untuk output. Token dipilih dari yang paling mungkin (lihat top-K) hingga yang paling tidak mungkin sampai jumlah probabilitasnya sama dengan nilai top-P. Misalnya, jika token A, B, dan C memiliki probabilitas 0,3, 0,2, dan 0,1 dengan nilai top-P adalah 0.5, model akan memilih A atau B sebagai token berikutnya dengan menggunakan suhu dan mengecualikan C sebagai kandidat.

    Tentukan nilai yang lebih rendah untuk respons acak yang lebih sedikit dan nilai yang lebih tinggi untuk respons acak yang lebih banyak.

  • TOP_K(Opsional): Top-K mengubah cara model memilih token untuk output. Top-K dari 1 berarti token yang dipilih berikutnya adalah yang paling mungkin di antara semua token dalam kosakata model (juga disebut decoding greedy), sedangkan nilai top-K dari 3 berarti token berikutnya dipilih di antara tiga token yang paling mungkin menggunakan suhu.

    Untuk setiap langkah pemilihan token, token top-K dengan probabilitas tertinggi akan diambil sampelnya. Kemudian token akan difilter lebih lanjut berdasarkan top-P dengan token akhir yang dipilih menggunakan pengambilan sampel suhu.

    Tentukan nilai yang lebih rendah untuk respons acak yang lebih sedikit dan nilai yang lebih tinggi untuk respons acak yang lebih banyak.

Metode HTTP dan URL: 

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/MODEL:streamRawPredict

Isi JSON permintaan: 

{
  "anthropic_version": "vertex-2023-10-16",
  "messages": [
   {
    "role": "ROLE",
    "content": "CONTENT"
   }],
  "max_tokens": MAX_TOKENS,
  "stream": STREAM
}

Untuk mengirim permintaan Anda, pilih salah satu opsi berikut:

curl

Simpan isi permintaan dalam file bernama request.json, dan jalankan perintah berikut: 

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/MODEL:streamRawPredict"

PowerShell

Simpan isi permintaan dalam file bernama request.json, dan jalankan perintah berikut: 

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/MODEL:streamRawPredict" | Select-Object -Expand Content

Anda akan melihat respons JSON yang mirip seperti berikut:

Contoh perintah curl

MODEL_ID="MODEL"
LOCATION="us-central1"
PROJECT_ID="PROJECT_ID"

curl \
-X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
https://${LOCATION}-aiplatform.googleapis.com/v1/projects/${PROJECT_ID}/locations/${LOCATION}/publishers/anthropic/models/${MODEL_ID}:streamRawPredict -d \
'{
  "anthropic_version": "vertex-2023-10-16",
  "messages": [{
    "role": "user",
    "content": "Hello!"
  }],
  "max_tokens": 50,
  "stream": true}'

Penggunaan alat (panggilan fungsi)

Model Claude dari Anthropic mendukung alat dan panggilan fungsi untuk meningkatkan kemampuan model. Untuk informasi selengkapnya, lihat Ringkasan penggunaan alat dalam dokumentasi Anthropic.

Contoh berikut menunjukkan cara menggunakan alat dengan menggunakan SDK atau perintah curl Anthropic. Contoh ini menelusuri restoran terdekat di San Francisco yang saat ini buka.

Python

Untuk mempelajari cara menginstal atau mengupdate Vertex AI SDK untuk Python, lihat Menginstal Vertex AI SDK untuk Python. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi Python API. 

# TODO(developer): Vertex AI SDK - uncomment below & run
# pip3 install --upgrade --user google-cloud-aiplatform
# gcloud auth application-default login
# pip3 install -U 'anthropic[vertex]'
from anthropic import AnthropicVertex

# TODO(developer): Update and un-comment below line
# PROJECT_ID = "your-project-id"

client = AnthropicVertex(project_id=PROJECT_ID, region="us-east5")
message = client.messages.create(
    model="claude-3-5-sonnet-v2@20241022",
    max_tokens=1024,
    tools=[
        {
            "name": "text_search_places_api",
            "description": "returns information about a set of places based on a string",
            "input_schema": {
                "type": "object",
                "properties": {
                    "textQuery": {
                        "type": "string",
                        "description": "The text string on which to search",
                    },
                    "priceLevels": {
                        "type": "array",
                        "description": "Price levels to query places, value can be one of [PRICE_LEVEL_INEXPENSIVE, PRICE_LEVEL_MODERATE, PRICE_LEVEL_EXPENSIVE, PRICE_LEVEL_VERY_EXPENSIVE]",
                    },
                    "openNow": {
                        "type": "boolean",
                        "description": "whether those places are open for business.",
                    },
                },
                "required": ["textQuery"],
            },
        }
    ],
    messages=[
        {
            "role": "user",
            "content": "What are some affordable and good Italian restaurants open now in San Francisco??",
        }
    ],
)
print(message.model_dump_json(indent=2))
# Example response:
# {
#   "id": "msg_vrtx_018pk1ykbbxAYhyWUdP1bJoQ",
#   "content": [
#     {
#       "text": "To answer your question about affordable and good Italian restaurants
#       that are currently open in San Francisco....
# ...

REST

Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:

  • LOCATION: Region yang mendukung model Claude Anthropic.
  • MODEL: Nama model yang akan digunakan.
  • ROLE: Peran yang terkait dengan pesan. Anda dapat menentukan user atau assistant. Pesan pertama harus menggunakan peran user. Model Claude beroperasi dengan giliran user dan assistant bergantian. Jika pesan akhir menggunakan peran assistant, konten respons akan langsung berlanjut dari konten dalam pesan tersebut. Anda dapat menggunakannya untuk membatasi bagian respons model.
  • STREAM: Boolean yang menentukan apakah respons di-streaming atau tidak. Streaming respons Anda untuk mengurangi persepsi latensi penggunaan akhir. Tetapkan ke true untuk melakukan streaming respons dan false untuk menampilkan respons sekaligus.
  • CONTENT: Konten, seperti teks, dari pesan user atau assistant.
  • MAX_OUTPUT_TOKENS: Jumlah maksimum token yang dapat dibuat dalam respons. Token terdiri dari sekitar 3,5 karakter. 100 token setara dengan sekitar 60-80 kata.

    Tentukan nilai yang lebih rendah untuk respons yang lebih singkat dan nilai yang lebih tinggi untuk respons yang berpotensi lebih panjang.

Metode HTTP dan URL: 

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/MODEL:rawPredict

Isi JSON permintaan: 


{
  "anthropic_version": "vertex-2023-10-16",
  "max_tokens": MAX_TOKENS,
  "stream": STREAM,
  "tools": [
    {
      "name": "text_search_places_api",
      "description": "Returns information about a set of places based on a string",
      "input_schema": {
        "type": "object",
        "properties": {
          "textQuery": {
            "type": "string",
            "description": "The text string on which to search"
          },
          "priceLevels": {
            "type": "array",
            "description": "Price levels to query places, value can be one of [PRICE_LEVEL_INEXPENSIVE, PRICE_LEVEL_MODERATE, PRICE_LEVEL_EXPENSIVE, PRICE_LEVEL_VERY_EXPENSIVE]",
          },
          "openNow": {
            "type": "boolean",
            "description": "Describes whether a place is open for business at
            the time of the query."
          },
        },
        "required": ["textQuery"]
      }
    }
  ],
  "messages": [
    {
      "role": "user",
      "content": "What are some affordable and good Italian restaurants that are open now in San Francisco??"
    }
  ]
}

Untuk mengirim permintaan Anda, pilih salah satu opsi berikut:

curl

Simpan isi permintaan dalam file bernama request.json, dan jalankan perintah berikut: 

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/MODEL:rawPredict"

PowerShell

Simpan isi permintaan dalam file bernama request.json, dan jalankan perintah berikut: 

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/MODEL:rawPredict" | Select-Object -Expand Content

Anda akan melihat respons JSON yang mirip seperti berikut:

Menggunakan Vertex AI Studio

Untuk beberapa model Claude dari Anthropic, Anda dapat menggunakan Vertex AI Studio untuk membuat prototipe dan menguji model AI generatif dengan cepat di konsol Google Cloud. Sebagai contoh, Anda dapat menggunakan Vertex AI Studio untuk membandingkan respons model Claude dengan model lain yang didukung seperti Gemini Google.

Untuk mengetahui informasi selengkapnya, lihat Panduan memulai: Mengirim perintah teks ke Gemini menggunakan Vertex AI Studio.

Ketersediaan wilayah Claude dari Anthropic

Claude 3.5 Sonnet v2 tersedia di region berikut:
  • us-east5 (Ohio)
  • europe-west1 (Belgium)
Claude 3.5 Haiku tersedia di region berikut:
  • us-east5 (Ohio)
Claude 3 Opus tersedia di region berikut:
  • us-east5 (Ohio)
Claude 3.5 Sonnet tersedia di region berikut:
  • us-east5 (Ohio)
  • asia-southeast1 (Singapore)
  • europe-west1 (Belgium)
Claude 3 Haiku tersedia di region berikut:
  • us-east5 (Ohio)
  • asia-southeast1 (Singapore)
  • europe-west1 (Belgium)
Claude 3 Sonnet tersedia di region berikut:
  • us-east5 (Ohio)

Kuota Claude Anthropic dan panjang konteks yang didukung

Untuk model Claude, kuota berlaku untuk setiap region tempat model tersedia. Kuota ditentukan dalam kueri per menit (QPM) dan token per menit (TPM). TPM mencakup token input dan output.

Untuk mempertahankan performa layanan secara keseluruhan dan penggunaan yang dapat diterima, kuota default dapat bervariasi menurut akun dan, dalam beberapa kasus, akses mungkin dibatasi.

Batas kuota default dan panjang konteks yang didukung untuk Claude 3.5 Sonnet v2 adalah:

Wilayah Sistem kuota Panjang konteks yang didukung
us-east5 (Ohio) 90 QPM, 540.000 TPM 200.000 token
europe-west1 (Belgium) 15 QPM, 100.000 TPM 200.000 token

Batas kuota default dan panjang konteks yang didukung untuk Claude 3.5 Haiku adalah:

Wilayah Sistem kuota Panjang konteks yang didukung
us-east5 (Ohio) 80 QPM, 350.000 TPM 200.000 token

Batas kuota default dan panjang konteks yang didukung untuk Claude 3 Opus adalah:

Wilayah Batas kuota default Panjang konteks yang didukung
us-east5 (Ohio) Mendukung kuota bersama dinamis 200.000 token

Batas kuota default dan panjang konteks yang didukung untuk Claude 3 Haiku adalah:

Wilayah Batas kuota default Panjang konteks yang didukung
us-east5 (Ohio) Mendukung kuota bersama dinamis 200.000 token
asia-southeast1 (Singapore) Mendukung kuota bersama dinamis 200.000 token
europe-west1 (Belgium) Mendukung kuota bersama dinamis 200.000 token

Batas kuota default dan panjang konteks yang didukung untuk Claude 3.5 Sonnet adalah:

Wilayah Sistem kuota Panjang konteks yang didukung
us-east5 (Ohio) Mendukung kuota bersama dinamis 200.000 token
asia-southeast1 (Singapore) Mendukung kuota bersama dinamis 200.000 token
europe-west1 (Belgium) Mendukung kuota bersama dinamis 200.000 token

Batas kuota default dan panjang konteks yang didukung untuk Claude 3 Sonnet adalah:

Wilayah Batas kuota default Panjang konteks yang didukung
us-east5 (Ohio) Mendukung kuota bersama dinamis 200.000 token

Jika ingin meningkatkan kuota untuk AI Generatif di Vertex AI, Anda dapat menggunakan konsol Google Cloud untuk meminta penambahan kuota. Untuk mempelajari kuota lebih lanjut, lihat Mengelola kuota.