HuggingFace menyediakan model terlatih, skrip penyempurnaan, dan API pengembangan yang mempermudah proses pembuatan dan penemuan LLM. Model Garden mendukung semua model yang didukung Text Generation Inference di HuggingFace.
Opsi penerapan
Anda dapat men-deploy model yang didukung Text Generation Inference di Vertex AI atau Google Kubernetes Engine (GKE). Untuk men-deploy model pembuatan teks Wajah Memeluk, buka Model Garden, lalu klik Deploy from Hugging Face.
Men-deploy di Vertex AI
Vertex AI menawarkan platform terkelola untuk membuat dan menskalakan project machine learning tanpa keahlian MLOps internal. Anda dapat menggunakan Vertex AI sebagai aplikasi downstream yang menayangkan model Wajah yang Melebar. Sebaiknya gunakan Vertex AI jika Anda menginginkan kemampuan MLOps yang menyeluruh, fitur ML yang bernilai tambah, dan pengalaman serverless untuk pengembangan yang disederhanakan.
Untuk memulai, lihat contoh berikut:
- Beberapa model memiliki kartu model mendetail dan setelan deployment terverifikasi, seperti google/gemma-7b-it, meta-llama/Llama-2-7b-chat-hf, dan mistralai/Mistral-7B-v0.1).
- Beberapa model memiliki setelan deployment terverifikasi, tetapi tidak memiliki kartu model mendetail, seperti NousResearch/Genstruct-7B.
- Beberapa model memiliki setelan deployment yang belum diverifikasi yang dihitung secara otomatis, seperti ai4bharat/Airavata.
Men-deploy di GKE
Google Kubernetes Engine (GKE) adalah solusi Google Cloud untuk Kubernetes terkelola yang memberikan skalabilitas, keamanan, ketahanan, dan efektivitas biaya. Kami merekomendasikan opsi ini jika Anda sudah memiliki investasi Kubernetes, organisasi Anda memiliki keahlian MLOps internal, atau jika Anda memerlukan kontrol terperinci atas beban kerja AI/ML yang kompleks dengan persyaratan keamanan, pipeline data, dan pengelolaan resource yang unik.
Untuk memulai, lihat contoh berikut:
- Beberapa model memiliki kartu model mendetail dan setelan deployment terverifikasi, seperti google/gemma-7b-it, meta-llama/Llama-2-7b-chat-hf, dan mistralai/Mistral-7B-v0.1).
- Beberapa model memiliki setelan deployment terverifikasi, tetapi tidak memiliki kartu model mendetail, seperti NousResearch/Genstruct-7B.