Gemma adalah sekumpulan model terbuka kecerdasan buatan (AI) generatif yang ringan. Model Gemma tersedia untuk dijalankan di aplikasi dan di hardware, perangkat seluler, atau layanan yang dihosting. Anda juga dapat menyesuaikan model ini menggunakan teknik penyesuaian sehingga model tersebut unggul dalam melakukan tugas yang penting bagi Anda dan pengguna. Model Gemma didasarkan pada model Gemini dan ditujukan untuk komunitas pengembangan AI agar dapat diperluas dan dikembangkan lebih lanjut.
Penyesuaian dapat membantu meningkatkan performa model dalam tugas tertentu. Karena model dalam keluarga model Gemma memiliki bobot terbuka, Anda dapat menyesuaikannya menggunakan framework AI pilihan Anda dan Vertex AI SDK. Anda dapat membuka contoh notebook untuk menyesuaikan model Gemma menggunakan link yang tersedia di kartu model Gemma di Model Garden.
Model Gemma berikut tersedia untuk digunakan dengan Vertex AI. Untuk mempelajari lebih lanjut dan menguji model Gemma, lihat kartu model Model Garden-nya.
| Nama model | Kasus penggunaan | Kartu model Model Garden |
|---|---|---|
| Gemma 2 | Paling cocok untuk pembuatan, peringkasan, dan ekstraksi teks. | Buka kartu model Gemma 2 |
| Gemma | Paling cocok untuk pembuatan, peringkasan, dan ekstraksi teks. | Buka kartu model Gemma |
| CodeGemma | Paling cocok untuk pembuatan dan penyelesaian kode. | Buka kartu model CodeGemma |
| PaliGemma | Paling cocok untuk tugas pemberian teks pada gambar serta tugas pertanyaan dan jawaban visual. | Buka kartu model PaliGemma |
Berikut adalah beberapa opsi tempat Anda dapat menggunakan Gemma:
Menggunakan Gemma dengan Vertex AI
Vertex AI menawarkan platform terkelola untuk membangun dan menskalakan project machine learning dengan cepat tanpa memerlukan keahlian MLOps internal. Anda dapat menggunakan Vertex AI sebagai aplikasi downstream yang menayangkan model Gemma. Misalnya, Anda dapat memindahkan bobot dari implementasi Keras Gemma. Selanjutnya, Anda dapat menggunakan Vertex AI untuk menayangkan versi Gemma tersebut guna mendapatkan prediksi. Sebaiknya gunakan Vertex AI jika Anda menginginkan kemampuan MLOps menyeluruh, fitur ML nilai tambah, dan pengalaman tanpa server untuk pengembangan yang disederhanakan.
Untuk mulai menggunakan Gemma, lihat notebook berikut:
Menyesuaikan Gemma menggunakan PEFT, lalu men-deploy ke Vertex AI dari Vertex
Menyesuaikan Gemma menggunakan PEFT, lalu men-deploy ke Vertex AI dari Huggingface
Menyesuaikan Gemma menggunakan KerasNLP, lalu men-deploy ke Vertex AI
Menyesuaikan Gemma dengan Ray on Vertex AI, lalu men-deploy ke Vertex AI
Menggunakan Gemma di produk Google Cloud lainnya
Anda dapat menggunakan Gemma dengan produk Google Cloud lainnya, seperti Google Kubernetes Engine dan Dataflow.
Menggunakan Gemma dengan GKE
Google Kubernetes Engine (GKE) adalah solusi Google Cloud untuk Kubernetes terkelola yang memberikan skalabilitas, keamanan, ketahanan, dan efektivitas biaya. Sebaiknya gunakan opsi ini jika Anda sudah memiliki investasi Kubernetes, organisasi Anda memiliki keahlian MLOps internal, atau jika Anda memerlukan kontrol terperinci atas beban kerja AI/ML yang kompleks dengan persyaratan keamanan, pipeline data, dan pengelolaan resource yang unik. Untuk mempelajari lebih lanjut, lihat tutorial berikut dalam dokumentasi GKE:
- Menyajikan Gemma dengan vLLM
- Menyajikan Gemma dengan TGI
- Menyajikan Gemma dengan Triton dan TensorRT-LLM
- Menyajikan Gemma dengan JetStream
- Menyajikan Gemma dengan Saxml
Menggunakan Gemma dengan Dataflow
Anda dapat menggunakan model Gemma dengan Dataflow untuk analisis sentimen. Gunakan Dataflow untuk menjalankan pipeline inferensi yang menggunakan model Gemma. Untuk mempelajari lebih lanjut, lihat Menjalankan pipeline inferensi dengan model terbuka Gemma.
Menggunakan Gemma dengan Colab
Anda dapat menggunakan Gemma dengan Colaboratory untuk membuat solusi Gemma. Di Colab, Anda dapat menggunakan Gemma dengan opsi framework seperti PyTorch dan JAX. Untuk mempelajari lebih lanjut, lihat:
- Mulai menggunakan Gemma menggunakan Keras.
- Mulai menggunakan Gemma menggunakan PyTorch.
- Penyesuaian dasar dengan Gemma menggunakan Keras.
- Penyesuaian terdistribusi dengan Gemma menggunakan Keras.
Ukuran dan kemampuan model Gemma
Model Gemma tersedia dalam beberapa ukuran sehingga Anda dapat membuat solusi AI generatif berdasarkan resource komputasi yang tersedia, kemampuan yang Anda butuhkan, dan tempat Anda ingin menjalankannya. Setiap model tersedia dalam versi yang di-tuning dan tidak di-tuning:
Terlatih sebelumnya - Versi model ini tidak dilatih pada tugas atau petunjuk tertentu di luar set pelatihan data inti Gemma. Sebaiknya jangan gunakan model ini tanpa melakukan beberapa penyesuaian.
Disesuaikan dengan petunjuk - Versi model ini dilatih dengan interaksi bahasa manusia sehingga dapat berpartisipasi dalam percakapan, mirip dengan bot chat dasar.
Mix fine-tuned - Versi model ini disesuaikan dengan campuran set data akademis dan menerima perintah bahasa alami.
Ukuran parameter yang lebih rendah berarti persyaratan resource yang lebih rendah dan lebih banyak fleksibilitas deployment.
| Nama model | Ukuran parameter | Input | Output | Versi yang dioptimalkan | Platform yang diinginkan |
|---|---|---|---|---|---|
| Gemma 2 | |||||
| Gemma 27B | 27 miliar | Teks | Teks |
|
Server besar atau cluster server |
| Gemma 9B | 9 miliar | Teks | Teks |
|
Komputer desktop dan server kelas atas |
| Gemma 2B | 2 miliar | Teks | Teks |
|
Perangkat seluler dan laptop |
| Gemma | |||||
| Gemma 7B | 7 miliar | Teks | Teks |
|
Komputer desktop dan server kecil |
| Gemma 2B | 2,2 miliar | Teks | Teks |
|
Perangkat seluler dan laptop |
| CodeGemma | |||||
| CodeGemma 7B | 7 miliar | Teks | Teks |
|
Komputer desktop dan server kecil |
| CodeGemma 2B | 2 miliar | Teks | Teks |
|
Komputer desktop dan server kecil |
| PaliGemma | |||||
| PaliGemma 3B | 3 miliar | Teks | Teks |
|
Komputer desktop dan server kecil |
Gemma telah diuji menggunakan hardware TPU v5e khusus Google dan hardware GPU L4(G2 Standard), A100(A2 Standard), H100(A3 High) NVIDIA.
Langkah selanjutnya
- Lihat dokumentasi Gemma.