Usa modelos abiertos de Gemma

Gemma es un conjunto de modelos abiertos de inteligencia artificial (IA) ligeros y generativos. Los modelos de Gemma están disponibles para ejecutarse en tus aplicaciones y en tu hardware, tus dispositivos móviles o tus servicios alojados. También puedes personalizar estos modelos con técnicas de ajuste para que se destaquen en la realización de tareas que son importantes para ti y tus usuarios. Los modelos de Gemma se basan en modelos de Gemini y están diseñados para que la comunidad de desarrollo de IA los extienda y los mejore.

Puedes usar modelos de Gemma para casos de uso de generación de código. También puedes ajustar algunos modelos de Gemma para mejorar su rendimiento en tareas específicas. Un modelo de Gemma ajustado puede ayudar a que tus soluciones de IA generativa sean más orientadas y eficientes.

Los siguientes modelos de Gemma están disponibles para usarse con Vertex AI. Para obtener más información sobre los modelos de Gemma y probarlos, consulta sus tarjetas de modelo de Model Garden.

Nombre del modelo	Casos de uso	Se puede ajustar	Tarjeta del modelo de Model Garden
Gemma	Ideal para la generación, el resumen y la extracción de textos.		Ir a la tarjeta del modelo de Gemma
CodeGemma	Ideal para la generación y finalización de código.		Ir a la tarjeta del modelo de CodeGemma

Las siguientes son algunas opciones en las que puedes usar Gemma:

Usa Gemma con Vertex AI

Vertex AI ofrece una plataforma administrada para compilar y escalar con rapidez proyectos de aprendizaje automático sin necesidad de tener experiencia interna en MLOps. Puedes usar Vertex AI como la aplicación descendente que entrega los modelos de Gemma. Por ejemplo, puedes transferir ponderaciones de la implementación de Keras de Gemma. A continuación, puedes usar Vertex AI para entregar esa versión de Gemma a fin de obtener predicciones. Recomendamos usar Vertex AI si deseas funciones de MLOps de extremo a extremo, funciones de AA de valor agregado y una experiencia sin servidores para un desarrollo optimizado.

Para comenzar a usar Gemma, consulta los siguientes notebooks:

• Entrega Gemma en Vertex AI

• Optimiza Gemma con PEFT y, luego, impleméntalo en Vertex AI desde Vertex.

• Optimiza Gemma con PEFT y, luego, impleméntalo en Vertex AI desde Huggingface

• Optimiza Gemma con KerasNLP y, luego, impleméntalo en Vertex AI

Usa Gemma en otros productos de Google Cloud

Puedes usar Gemma con otros productos de Google Cloud, como Google Kubernetes Engine y Dataflow.

Usa Gemma con GKE

Google Kubernetes Engine (GKE) es la solución de Google Cloud para Kubernetes administrado que proporciona escalabilidad, seguridad, resiliencia y rentabilidad. Recomendamos esta opción si tienes inversiones existentes en Kubernetes, tu organización tiene experiencia interna en MLOps o si necesitas un control detallado sobre cargas de trabajo de IA/AA complejas con requisitos únicos de seguridad, canalización de datos y administración de recursos. Para obtener más información, consulta los siguientes instructivos en la documentación de GKE:

• Entrega Gemma con vLLM
• Entrega Gemma con TGI
• Entrega Gemma con Triton y TensorRT-LLM
• Entrega Gemma con JetStream
• Entrega Gemma con Saxml

Usa Gemma con Dataflow

Puedes usar modelos de Gemma con Dataflow para el análisis de opiniones. Usa Dataflow para ejecutar canalizaciones de inferencia que usen los modelos de Gemma. Para obtener más información, consulta Ejecuta canalizaciones de inferencia con modelos abiertos de Gemma.

Usa Gemma con Colab

Puedes usar Gemma con Colaboratory para crear tu solución de Gemma. En Colab, puedes usar Gemma con opciones de framework, como PyTorch y JAX. Para obtener más información, consulta:

• Comienza a usar Gemma con Keras.
• Comienza a usar Gemma mediante PyTorch.
• Ajuste básico con Gemma mediante Keras.
• Ajuste distribuido con Gemma mediante Keras.

Tamaños y capacidades de los modelos de Gemma

Los modelos de Gemma están disponibles en varios tamaños para que puedas compilar soluciones de IA generativa en función de tus recursos de procesamiento disponibles, las capacidades que necesitas y el lugar en el que deseas ejecutarlos. Cada modelo está disponible en una versión ajustada y no ajustada:

• Preentrenada: Esta versión del modelo no se entrenó con ninguna tarea o instrucción específica más allá del conjunto de entrenamiento de datos principal de Gemma. No recomendamos usar este modelo sin realizar algunos ajustes.

• Ajuste de instrucciones: Esta versión del modelo se entrenó con interacciones en lenguaje humano para que pueda participar en una conversación, similar a un chat bot simple.

Si necesitas decidir entre Gemma 2B y Gemma 7B, considera Gemma 2B. Los tamaños de parámetros más bajos de Gemma 2B significan que tiene requisitos de recursos más bajos y más flexibilidad de implementación que Gemma 7B.

Nombre del modelo	Tamaño de los parámetros	Entrada	Resultado	Versiones ajustadas	Plataformas previstas
Gemma 2B	2,200 millones	Texto	Texto	Con entrenamiento previo Instrucción ajustada	Dispositivos móviles y laptops
Gemma 7B	7,000 millones	Texto	Texto	Con entrenamiento previo Instrucción ajustada	Computadoras de escritorio y servidores pequeños
CodeGemma 2B	2,000 millones	Texto	Texto	Con entrenamiento previo	Computadoras de escritorio y servidores pequeños
CodeGemma 7B	7,000 millones	Texto	Texto	Con entrenamiento previo Instrucción ajustada	Computadoras de escritorio y servidores pequeños

Gemma se probó con el hardware de TPU v5e compilado para propósitos específicos de Google y el hardware de GPU L4 (G2 estándar), A100 (A2 estándar), H100 (A3 estándar) de NVIDIA.