Anda dapat melakukan streaming respons Claude untuk mengurangi persepsi latensi pengguna akhir. Respons yang di-streaming menggunakan peristiwa yang dikirim server (SSE) untuk melakukan streaming respons secara bertahap.
Anda membayar model Claude saat menggunakannya (bayar sesuai penggunaan), atau membayar biaya tetap saat menggunakan throughput penyediaan. Untuk harga bayar sesuai penggunaan, lihat model Claude dari Anthropic di halaman harga Vertex AI.
Model Claude yang tersedia
Model berikut tersedia dari Anthropic untuk digunakan di Vertex AI. Untuk mengakses model Claude, buka kartu model Model Garden-nya.
Claude 3.5 Sonnet v2
Claude 3.5 Sonnet v2 adalah model canggih untuk tugas software engineering di dunia nyata dan kemampuan agen. Claude 3.5 Sonnet v2 menghadirkan peningkatan ini dengan harga dan kecepatan yang sama seperti Claude 3.5 Sonnet.
Model Claude 3.5 Sonnet yang telah diupgrade dapat berinteraksi dengan alat yang dapat memanipulasi lingkungan desktop komputer. Untuk mengetahui informasi selengkapnya, lihat dokumentasi Anthropoic.
Claude 3.5 Sonnet dioptimalkan untuk kasus penggunaan berikut:
- Tugas agen dan penggunaan alat - Claude 3.5 Sonnet menawarkan pengikutan petunjuk yang unggul, pemilihan alat, koreksi error, dan penalaran lanjutan untuk alur kerja agen yang memerlukan penggunaan alat.
- Coding - Untuk tugas pengembangan software mulai dari migrasi kode, perbaikan kode, dan terjemahan, Claude 3.5 Sonnet menawarkan performa yang kuat dalam perencanaan dan penyelesaian tugas coding yang kompleks.
- Tanya Jawab Dokumen - Claude 3.5 Sonnet menggabungkan pemahaman konteks yang kuat, penalaran lanjutan, dan sintesis untuk memberikan respons yang akurat dan mirip manusia.
- Ekstraksi data visual - Dengan keterampilan visi terkemuka Claude 3.5 Sonnet, Claude 3.5 Sonnet dapat mengekstrak data mentah dari visual seperti diagram atau grafik sebagai bagian dari alur kerja AI.
- Pembuatan dan analisis konten - Claude 3.5 Sonnet dapat memahami nuansa dan nada dalam konten, menghasilkan konten yang lebih menarik, dan menganalisis konten pada tingkat yang lebih mendalam.
Buka kartu model Claude 3.5 Sonnet v2
Claude 3.5 Haiku
Claude 3.5 Haiku, model Anthropic generasi berikutnya yang paling cepat dan hemat biaya, optimal untuk kasus penggunaan yang membutuhkan kecepatan dan keterjangkauan. Perangkat ini lebih baik dari pendahulunya di setiap set keterampilan. Claude 3.5 Haiku dioptimalkan untuk kasus penggunaan berikut:
- Penyelesaian kode - Dengan waktu respons yang cepat dan pemahaman tentang pola pemrograman, Claude 3.5 Haiku sangat unggul dalam memberikan saran dan penyelesaian kode yang cepat dan akurat dalam alur kerja pengembangan real-time.
- Chatbot interaktif - Kemampuan percakapan alami dan penalaran yang ditingkatkan dari Claude 3.5 Haiku membuatnya ideal untuk membuat chatbot yang responsif dan menarik yang dapat menangani interaksi pengguna dalam jumlah besar secara efisien.
- Ekstraksi dan pelabelan data - Dengan memanfaatkan keterampilan analisis yang ditingkatkan, Claude 3.5 Haiku memproses dan mengategorikan data secara efisien, sehingga berguna untuk tugas pelabelan otomatis dan ekstraksi data yang cepat.
- Moderasi konten real-time - Dengan keterampilan penalaran yang kuat dan pemahaman konten, Claude 3.5 Haiku memberikan moderasi konten yang cepat dan andal untuk platform yang memerlukan waktu respons langsung dalam skala besar.
Buka kartu model Claude 3.5 Haiku
Claude 3 Opus
Claude 3 Opus dari Anthropic adalah model AI canggih dengan performa terbaik untuk menyelesaikan tugas yang sangat kompleks. Model ini dapat menavigasi perintah terbuka dan skenario yang tidak terlihat dengan kemahiran yang luar biasa dan pemahaman layaknya manusia. Claude 3 Opus dioptimalkan untuk kasus penggunaan berikut:
Otomatisasi tugas, seperti coding dan perencanaan interaktif, atau menjalankan tindakan kompleks di seluruh API dan database.
Tugas riset dan pengembangan, seperti peninjauan riset, bertukar pikiran, dan pembuatan hipotesis, serta pengujian produk.
Tugas strategi, seperti analisis lanjutan diagram dan grafik, keuangan dan tren pasar, serta perkiraan.
Tugas visi, seperti memproses gambar untuk menampilkan output teks. Selain itu, analisis diagram, grafik, diagram teknis, laporan, dan konten visual lainnya.
Buka kartu model Claude 3 Opus
Claude 3 Haiku
Claude 3 Haiku Anthropic adalah model teks dan visi tercepat dari Anthropic untuk merespons kueri sederhana secara instan, yang ditujukan untuk pengalaman AI yang lancar yang meniru interaksi manusia.
Interaksi pelanggan dan terjemahan secara real time.
Moderasi konten untuk mendeteksi perilaku atau permintaan pelanggan yang mencurigakan.
Tugas penghematan biaya, seperti pengelolaan inventaris dan ekstraksi pengetahuan dari data tidak terstruktur.
Tugas visi, seperti memproses gambar untuk menampilkan output teks, analisis diagram, grafik, diagram teknis, laporan, dan konten visual lainnya.
Buka kartu model Claude 3 Haiku
Claude 3.5 Sonnet
Claude 3.5 Sonnet dari Anthropic mengungguli Claude 3 Opus di berbagai evaluasi Anthropic, dengan kecepatan dan biaya Claude 3 Sonnet tingkat menengah Anthropic. Claude 3.5 Sonnet dioptimalkan untuk kasus penggunaan berikut:
Coding, seperti menulis, mengedit, dan menjalankan kode dengan kemampuan pemecahan masalah dan penalaran yang canggih.
Tangani kueri kompleks dari dukungan pelanggan dengan memahami konteks pengguna dan mengelola alur kerja multi-langkah.
Data science dan analisis dengan menavigasi data tidak terstruktur dan memanfaatkan beberapa alat untuk menghasilkan insight.
Pemrosesan visual, seperti menafsirkan diagram dan grafik yang memerlukan pemahaman visual.
Menulis konten dengan gaya bahasa yang lebih alami dan seperti manusia.
Buka kartu model Claude 3.5 Sonnet
Claude 3 Sonnet
Claude 3 Sonnet Anthropic adalah kombinasi keterampilan dan kecepatan yang andal dari Anthropic. Layanan ini dirancang agar dapat diandalkan untuk deployment AI berskala besar di berbagai kasus penggunaan. Claude 3 Sonnet dioptimalkan untuk kasus penggunaan berikut:
Pemrosesan data, termasuk retrieval-augmented generation (RAG) dan pengambilan penelusuran.
Tugas penjualan, seperti rekomendasi produk, perkiraan, dan pemasaran yang ditargetkan.
Tugas yang menghemat waktu, seperti pembuatan kode, kontrol kualitas, dan pengenalan karakter optik (OCR) dalam gambar.
Tugas visi, seperti memproses gambar untuk menampilkan output teks. Selain itu, analisis diagram, grafik, diagram teknis, laporan, dan konten visual lainnya.
Buka kartu model Claude 3 Sonnet
Menggunakan model Claude
Anda dapat menggunakan SDK Anthropic atau perintah curl untuk mengirim permintaan ke endpoint Vertex AI menggunakan nama model berikut:
- Untuk Claude 3.5 Sonnet v2, gunakan
claude-3-5-sonnet-v2@20241022
. - Untuk Claude 3.5 Haiku, gunakan
claude-3-5-haiku@20241022
. - Untuk Claude 3 Opus, gunakan
claude-3-opus@20240229
. - Untuk Claude 3.5 Sonnet, gunakan
claude-3-5-sonnet@20240620
. - Untuk Claude 3 Haiku, gunakan
claude-3-haiku@20240307
. - Untuk Claude 3 Sonnet, gunakan
claude-3-sonnet@20240229
.
Versi model Claude dari Anthropic harus digunakan dengan akhiran yang dimulai dengan
simbol @
(seperti claude-3-5-sonnet-v2@20241022
atau
claude-3-5-haiku@20241022
) untuk menjamin perilaku yang konsisten.
Sebelum memulai
Untuk menggunakan model Claude dari Anthropic dengan Vertex AI, Anda harus melakukan
langkah-langkah berikut. Vertex AI API (aiplatform.googleapis.com
) harus
diaktifkan untuk menggunakan Vertex AI. Jika sudah memiliki project dengan
Vertex AI API yang diaktifkan, Anda dapat menggunakan project tersebut, bukan
membuat project baru.
Pastikan Anda memiliki izin yang diperlukan untuk mengaktifkan dan menggunakan model partner. Untuk mengetahui informasi selengkapnya, lihat Memberikan izin yang diperlukan.
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the Vertex AI API.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the Vertex AI API.
- Buka salah satu kartu model Model Garden berikut, lalu klik enable:
Menggunakan SDK Anthropic
Anda dapat membuat permintaan API ke model Claude Anthropic menggunakan Anthropic Claude SDK. Untuk mempelajari lebih lanjut, lihat hal berikut:
- Referensi API pesan Claude
- Library Python API Anthropic
- Library API TypeScript Vertex AI dari Anthropic
Melakukan panggilan streaming ke model Claude menggunakan Vertex SDK Anthropic
Contoh kode berikut menggunakan Vertex SDK Anthropic untuk melakukan panggilan streaming ke model Claude.
Python
Untuk mempelajari cara menginstal atau mengupdate Vertex AI SDK untuk Python, lihat Menginstal Vertex AI SDK untuk Python. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi Python API.
Melakukan panggilan unary ke model Claude menggunakan Vertex SDK Anthropic
Contoh kode berikut menggunakan Vertex SDK Anthropic untuk melakukan panggilan unary ke model Claude.
Python
Untuk mempelajari cara menginstal atau mengupdate Vertex AI SDK untuk Python, lihat Menginstal Vertex AI SDK untuk Python. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi Python API.
Menggunakan perintah curl
Anda dapat menggunakan perintah curl untuk membuat permintaan ke endpoint Vertex AI. Perintah curl menentukan model Claude yang didukung yang ingin Anda gunakan.
Versi model Claude dari Anthropic harus digunakan dengan akhiran yang dimulai dengan
simbol @
(seperti claude-3-5-sonnet-v2@20241022
atau
claude-3-5-haiku@20241022
) untuk menjamin perilaku yang konsisten.
Topik berikut menunjukkan cara membuat perintah curl dan menyertakan contoh perintah curl.
REST
Untuk menguji prompt teks menggunakan Vertex AI API, kirim permintaan POST ke endpoint model penayang.
Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:
- LOCATION: Region yang mendukung model Claude Anthropic.
- MODEL: Nama model yang ingin Anda gunakan.
- ROLE: Peran yang terkait dengan
pesan. Anda dapat menentukan
user
atauassistant
. Pesan pertama harus menggunakan peranuser
. Model Claude beroperasi dengan giliranuser
danassistant
bergantian. Jika pesan akhir menggunakan peranassistant
, konten respons akan langsung berlanjut dari konten dalam pesan tersebut. Anda dapat menggunakannya untuk membatasi bagian respons model. - STREAM: Boolean yang menentukan apakah respons
di-streaming atau tidak. Streaming respons Anda untuk mengurangi persepsi latensi penggunaan akhir. Tetapkan ke
true
untuk melakukan streaming respons danfalse
untuk menampilkan respons sekaligus. - CONTENT: Konten, seperti teks, dari pesan
user
atauassistant
. - MAX_OUTPUT_TOKENS:
Jumlah maksimum token yang dapat dibuat dalam respons. Token terdiri dari
sekitar 3,5 karakter. 100 token setara dengan sekitar 60-80 kata.
Tentukan nilai yang lebih rendah untuk respons yang lebih singkat dan nilai yang lebih tinggi untuk respons yang berpotensi lebih panjang.
- TOP_P (Opsional): Top-P mengubah cara model memilih token untuk output. Token dipilih
dari yang paling mungkin (lihat top-K) hingga yang paling tidak mungkin sampai jumlah probabilitasnya
sama dengan nilai top-P. Misalnya, jika token A, B, dan C memiliki probabilitas 0,3, 0,2, dan 0,1 dengan nilai top-P adalah
0.5
, model akan memilih A atau B sebagai token berikutnya dengan menggunakan suhu dan mengecualikan C sebagai kandidat.Tentukan nilai yang lebih rendah untuk respons acak yang lebih sedikit dan nilai yang lebih tinggi untuk respons acak yang lebih banyak.
- TOP_K(Opsional): Top-K mengubah cara model memilih token untuk output. Top-K dari
1
berarti token yang dipilih berikutnya adalah yang paling mungkin di antara semua token dalam kosakata model (juga disebut decoding greedy), sedangkan nilai top-K dari3
berarti token berikutnya dipilih di antara tiga token yang paling mungkin menggunakan suhu.Untuk setiap langkah pemilihan token, token top-K dengan probabilitas tertinggi akan diambil sampelnya. Kemudian token akan difilter lebih lanjut berdasarkan top-P dengan token akhir yang dipilih menggunakan pengambilan sampel suhu.
Tentukan nilai yang lebih rendah untuk respons acak yang lebih sedikit dan nilai yang lebih tinggi untuk respons acak yang lebih banyak.
Metode HTTP dan URL:
POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/MODEL:streamRawPredict
Isi JSON permintaan:
{ "anthropic_version": "vertex-2023-10-16", "messages": [ { "role": "ROLE", "content": "CONTENT" }], "max_tokens": MAX_TOKENS, "stream": STREAM }
Untuk mengirim permintaan Anda, pilih salah satu opsi berikut:
curl
Simpan isi permintaan dalam file bernama request.json
,
dan jalankan perintah berikut:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/MODEL:streamRawPredict"
PowerShell
Simpan isi permintaan dalam file bernama request.json
,
dan jalankan perintah berikut:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/MODEL:streamRawPredict" | Select-Object -Expand Content
Anda akan melihat respons JSON yang mirip seperti berikut:
Contoh perintah curl
MODEL_ID="MODEL"
LOCATION="us-central1"
PROJECT_ID="PROJECT_ID"
curl \
-X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
https://${LOCATION}-aiplatform.googleapis.com/v1/projects/${PROJECT_ID}/locations/${LOCATION}/publishers/anthropic/models/${MODEL_ID}:streamRawPredict -d \
'{
"anthropic_version": "vertex-2023-10-16",
"messages": [{
"role": "user",
"content": "Hello!"
}],
"max_tokens": 50,
"stream": true}'
Penggunaan alat (panggilan fungsi)
Model Claude dari Anthropic mendukung alat dan panggilan fungsi untuk meningkatkan kemampuan model. Untuk informasi selengkapnya, lihat Ringkasan penggunaan alat dalam dokumentasi Anthropic.
Contoh berikut menunjukkan cara menggunakan alat dengan menggunakan SDK atau perintah curl Anthropic. Contoh ini menelusuri restoran terdekat di San Francisco yang saat ini buka.
Python
Untuk mempelajari cara menginstal atau mengupdate Vertex AI SDK untuk Python, lihat Menginstal Vertex AI SDK untuk Python. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi Python API.
REST
Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:
- LOCATION: Region yang mendukung model Claude Anthropic.
- MODEL: Nama model yang akan digunakan.
- ROLE: Peran yang terkait dengan
pesan. Anda dapat menentukan
user
atauassistant
. Pesan pertama harus menggunakan peranuser
. Model Claude beroperasi dengan giliranuser
danassistant
bergantian. Jika pesan akhir menggunakan peranassistant
, konten respons akan langsung berlanjut dari konten dalam pesan tersebut. Anda dapat menggunakannya untuk membatasi bagian respons model. - STREAM: Boolean yang menentukan
apakah respons di-streaming atau tidak. Streaming respons Anda untuk mengurangi
persepsi latensi penggunaan akhir. Tetapkan ke
true
untuk melakukan streaming respons danfalse
untuk menampilkan respons sekaligus. - CONTENT: Konten, seperti
teks, dari pesan
user
atauassistant
. - MAX_OUTPUT_TOKENS:
Jumlah maksimum token yang dapat dibuat dalam respons. Token terdiri dari
sekitar 3,5 karakter. 100 token setara dengan sekitar 60-80 kata.
Tentukan nilai yang lebih rendah untuk respons yang lebih singkat dan nilai yang lebih tinggi untuk respons yang berpotensi lebih panjang.
Metode HTTP dan URL:
POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/MODEL:rawPredict
Isi JSON permintaan:
{ "anthropic_version": "vertex-2023-10-16", "max_tokens": MAX_TOKENS, "stream": STREAM, "tools": [ { "name": "text_search_places_api", "description": "Returns information about a set of places based on a string", "input_schema": { "type": "object", "properties": { "textQuery": { "type": "string", "description": "The text string on which to search" }, "priceLevels": { "type": "array", "description": "Price levels to query places, value can be one of [PRICE_LEVEL_INEXPENSIVE, PRICE_LEVEL_MODERATE, PRICE_LEVEL_EXPENSIVE, PRICE_LEVEL_VERY_EXPENSIVE]", }, "openNow": { "type": "boolean", "description": "Describes whether a place is open for business at the time of the query." }, }, "required": ["textQuery"] } } ], "messages": [ { "role": "user", "content": "What are some affordable and good Italian restaurants that are open now in San Francisco??" } ] }
Untuk mengirim permintaan Anda, pilih salah satu opsi berikut:
curl
Simpan isi permintaan dalam file bernama request.json
,
dan jalankan perintah berikut:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/MODEL:rawPredict"
PowerShell
Simpan isi permintaan dalam file bernama request.json
,
dan jalankan perintah berikut:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/MODEL:rawPredict" | Select-Object -Expand Content
Anda akan melihat respons JSON yang mirip seperti berikut:
Menggunakan Vertex AI Studio
Untuk beberapa model Claude dari Anthropic, Anda dapat menggunakan Vertex AI Studio untuk membuat prototipe dan menguji model AI generatif dengan cepat di konsol Google Cloud. Sebagai contoh, Anda dapat menggunakan Vertex AI Studio untuk membandingkan respons model Claude dengan model lain yang didukung seperti Gemini Google.
Untuk mengetahui informasi selengkapnya, lihat Panduan memulai: Mengirim perintah teks ke Gemini menggunakan Vertex AI Studio.
Ketersediaan wilayah Claude dari Anthropic
Claude 3.5 Sonnet v2 tersedia di region berikut:
us-east5 (Ohio)
europe-west1 (Belgium)
us-east5 (Ohio)
us-east5 (Ohio)
us-east5 (Ohio)
asia-southeast1 (Singapore)
europe-west1 (Belgium)
us-east5 (Ohio)
asia-southeast1 (Singapore)
europe-west1 (Belgium)
us-east5 (Ohio)
Kuota Claude Anthropic dan panjang konteks yang didukung
Untuk model Claude, kuota berlaku untuk setiap region tempat model tersedia. Kuota ditentukan dalam kueri per menit (QPM) dan token per menit (TPM). TPM mencakup token input dan output.
Untuk mempertahankan performa layanan secara keseluruhan dan penggunaan yang dapat diterima, kuota default dapat bervariasi menurut akun dan, dalam beberapa kasus, akses mungkin dibatasi.
Batas kuota default dan panjang konteks yang didukung untuk Claude 3.5 Sonnet v2 adalah:
Wilayah | Sistem kuota | Panjang konteks yang didukung |
---|---|---|
us-east5 (Ohio) |
90 QPM, 540.000 TPM | 200.000 token |
europe-west1 (Belgium) |
15 QPM, 100.000 TPM | 200.000 token |
Batas kuota default dan panjang konteks yang didukung untuk Claude 3.5 Haiku adalah:
Wilayah | Sistem kuota | Panjang konteks yang didukung |
---|---|---|
us-east5 (Ohio) |
80 QPM, 350.000 TPM | 200.000 token |
Batas kuota default dan panjang konteks yang didukung untuk Claude 3 Opus adalah:
Wilayah | Batas kuota default | Panjang konteks yang didukung |
---|---|---|
us-east5 (Ohio) |
Mendukung kuota bersama dinamis | 200.000 token |
Batas kuota default dan panjang konteks yang didukung untuk Claude 3 Haiku adalah:
Wilayah | Batas kuota default | Panjang konteks yang didukung |
---|---|---|
us-east5 (Ohio) |
Mendukung kuota bersama dinamis | 200.000 token |
asia-southeast1 (Singapore) |
Mendukung kuota bersama dinamis | 200.000 token |
europe-west1 (Belgium) |
Mendukung kuota bersama dinamis | 200.000 token |
Batas kuota default dan panjang konteks yang didukung untuk Claude 3.5 Sonnet adalah:
Wilayah | Sistem kuota | Panjang konteks yang didukung |
---|---|---|
us-east5 (Ohio) |
Mendukung kuota bersama dinamis | 200.000 token |
asia-southeast1 (Singapore) |
Mendukung kuota bersama dinamis | 200.000 token |
europe-west1 (Belgium) |
Mendukung kuota bersama dinamis | 200.000 token |
Batas kuota default dan panjang konteks yang didukung untuk Claude 3 Sonnet adalah:
Wilayah | Batas kuota default | Panjang konteks yang didukung |
---|---|---|
us-east5 (Ohio) |
Mendukung kuota bersama dinamis | 200.000 token |
Jika ingin meningkatkan kuota untuk AI Generatif di Vertex AI, Anda dapat menggunakan konsol Google Cloud untuk meminta penambahan kuota. Untuk mempelajari kuota lebih lanjut, lihat Mengelola kuota.