Menggunakan Model Hugging Face

Hugging Face menyediakan model terlatih, skrip penyesuaian, dan API pengembangan yang mempermudah proses pembuatan dan penemuan LLM. Model Garden dapat menayangkan model Text Embeddings, Text To Image, Text Generation, dan Image Text To Text di HuggingFace.

Opsi deployment untuk model Hugging Face

Anda dapat men-deploy model Hugging Face yang didukung di Vertex AI atau Google Kubernetes Engine (GKE). Opsi deployment yang Anda pilih dapat bergantung pada model yang Anda gunakan dan seberapa besar kontrol yang Anda inginkan atas workload Anda.

Men-deploy di Vertex AI

Vertex AI menawarkan platform terkelola untuk membangun dan menskalakan project machine learning tanpa keahlian MLOps internal. Anda dapat menggunakan Vertex AI sebagai aplikasi hilir yang menyajikan model Hugging Face. Sebaiknya gunakan Vertex AI jika Anda menginginkan kemampuan MLOps end-to-end, fitur ML bernilai tambah, dan pengalaman serverless untuk pengembangan yang lancar.

  1. Untuk men-deploy model Hugging Face yang didukung di Vertex AI, buka Model Garden.

    Buka Model Garden

  2. Buka bagian Open models on Hugging Face, lalu klik Show more.

  3. Temukan dan pilih model yang akan di-deploy.

  4. Opsional: Untuk Deployment environment, pilih Vertex AI.

  5. Opsional: Tentukan detail deployment.

  6. Klik Deploy.

Untuk memulai, lihat contoh berikut:

Men-deploy di GKE

Google Kubernetes Engine (GKE) adalah Google Cloud solusi untuk Kubernetes terkelola yang memberikan skalabilitas, keamanan, ketahanan, dan efektivitas biaya. Kami merekomendasikan opsi ini jika Anda telah berinvestasi di Kubernetes, organisasi Anda memiliki keahlian MLOps internal, atau jika Anda memerlukan kontrol terperinci atas workload AI/ML yang kompleks dengan persyaratan keamanan, pipeline data, dan pengelolaan resource yang unik.

  1. Untuk men-deploy model Hugging Face yang didukung di GKE, buka Model Garden.

    Buka Model Garden

  2. Buka bagian Open models on Hugging Face, lalu klik Show more.

  3. Temukan dan pilih model yang akan di-deploy.

  4. Untuk Deployment environment, pilih GKE.

  5. Ikuti petunjuk deployment.

Untuk memulai, lihat contoh berikut:

Apa yang dimaksud dengan "Didukung oleh Vertex AI"?

Kami otomatis menambahkan model Hugging Face terbaru dan terpopuler ke Model Garden. Proses ini mencakup pembuatan otomatis konfigurasi deployment untuk setiap model.

Untuk mengatasi kekhawatiran terkait kerentanan dan kode berbahaya, kami menggunakan Pemindai Malware Hugging Face untuk menilai keamanan file dalam setiap repositori model Hugging Face setiap hari. Jika repositori model ditandai berisi malware, kami akan segera menghapus model tersebut dari halaman galeri Hugging Face.

Meskipun model yang ditetapkan sebagai didukung oleh Vertex AI menandakan bahwa model tersebut telah diuji dan dapat di-deploy di Vertex AI, kami tidak menjamin tidak adanya kerentanan atau kode berbahaya. Sebaiknya lakukan verifikasi keamanan Anda sendiri sebelum men-deploy model apa pun di lingkungan produksi Anda.

Menyesuaikan konfigurasi deployment untuk kasus penggunaan tertentu

Konfigurasi deployment default yang disediakan dengan opsi deployment sekali klik tidak dapat memenuhi setiap persyaratan mengingat beragamnya kasus penggunaan dan prioritas yang bervariasi dengan latensi, throughput, biaya, dan akurasi.

Oleh karena itu, Anda dapat bereksperimen terlebih dahulu dengan deployment sekali klik untuk menetapkan dasar, lalu menyempurnakan konfigurasi deployment menggunakan notebook Colab (vLLM, TGI, TEI, inferensi HF pytorch) atau Python SDK. Pendekatan iteratif ini memungkinkan Anda menyesuaikan deployment dengan kebutuhan yang tepat untuk mendapatkan performa terbaik bagi aplikasi spesifik Anda.

Apa yang harus Anda lakukan jika model yang Anda inginkan tidak tercantum di Model Garden

Jika Anda mencari model tertentu yang tidak tercantum di Model Garden, berarti model tersebut tidak didukung oleh Vertex AI. Bagian berikut menjelaskan alasan dan tindakan yang dapat Anda lakukan.

Mengapa model tidak tercantum?

Alasan berikut menjelaskan mengapa model mungkin tidak ada di Model Garden:

  • Model tersebut bukan model yang paling populer: Kami sering kali memprioritaskan model yang sangat populer dan memiliki minat komunitas yang kuat.
  • Belum kompatibel: Model mungkin tidak berfungsi dengan penampung penyajian yang didukung. Misalnya, vLLM container untuk model text-generation dan image-text-to-text.
  • Tugas pipeline yang tidak didukung: Model memiliki tugas yang saat ini belum kami dukung sepenuhnya. Kami mendukung tugas berikut: text-generation, text2text-generation, text-to-image, feature-extraction, sentence-similarity, dan image-text-to-text.

Apa opsi Anda?

Anda tetap dapat menggunakan model yang tersedia di Model Garden:

  • Deploy sendiri menggunakan Notebook Colab: Kami memiliki Notebook Colab berikut: (vLLM, TGI, TEI, inferensi pytorch HF), yang memberikan fleksibilitas untuk men-deploy model dengan konfigurasi kustom. Hal ini memberi Anda kontrol penuh atas prosesnya.
  • Mengirimkan Permintaan Fitur: bekerja sama dengan engineer dukungan Anda dan mengirimkan permintaan fitur melalui Model Garden, atau lihat dukungan AI Generatif Vertex untuk mendapatkan bantuan tambahan.
  • Pantau terus info terbaru: Kami secara rutin menambahkan model baru ke Model Garden. Model yang Anda cari mungkin tersedia pada masa mendatang, jadi periksa kembali secara berkala.