Organiza tus páginas con colecciones
Guarda y categoriza el contenido según tus preferencias.
Inferencia de Cloud TPU
La entrega se refiere al proceso de implementar un modelo de aprendizaje automático entrenado en un entorno de producción, en el que se puede usar para inferencia. La inferencia es compatible con TPU v5e y versiones más recientes. Los SLO de latencia son una prioridad para la entrega.
En este documento, se analiza la entrega de un modelo en una TPU de host único. Las porciones de TPU con 8 chips o menos tienen una VM o host de TPU y se denominan TPU de host único.
Comenzar
Necesitarás una cuenta de Google Cloud y un proyecto para usar Cloud TPU. Para obtener más información, consulta Configura un entorno de Cloud TPU.
Debes solicitar la siguiente cuota para la entrega en TPU:
Recursos v5e a pedido: TPUv5 lite pod cores for serving per project per zone
Recursos interrumpibles de la v5e: Preemptible TPU v5 lite pod cores for serving per project per zone
Recursos v6e a pedido: TPUv6 cores per project per zone
Recursos interrumpibles de la versión 6e: Preemptible TPUv6 cores per project per zone
Para obtener más información sobre la cuota de TPU, consulta Cuota de TPU.
Entrega LLM con JetStream
JetStream es un motor de capacidad de procesamiento y memoria optimizado para inferencia de modelos de lenguaje grandes (LLM) en dispositivos XLA (TPU). Puedes usar JetStream con los modelos JAX y PyTorch/XLA. Si deseas ver un ejemplo de cómo usar JetStream para entregar un LLM de JAX, consulta Inferencia de MaxText de JetStream en TPU v6e.
Entrega modelos de LLM con vLLM
vLLM es una biblioteca de código abierto diseñada para la inferencia y la entrega rápidas de modelos grandes de lenguaje (LLM). Puedes usar vLLM con PyTorch/XLA. Si deseas ver un ejemplo de cómo usar vLLM para entregar un LLM de PyTorch, consulta Entrega un LLM mediante TPU Trillium en GKE con vLLM.
Generación de perfiles
Después de configurar la inferencia, puedes usar generadores de perfiles para analizar el rendimiento y el uso de TPU. Para obtener más información sobre la generación de perfiles, consulta lo siguiente:
[[["Fácil de comprender","easyToUnderstand","thumb-up"],["Resolvió mi problema","solvedMyProblem","thumb-up"],["Otro","otherUp","thumb-up"]],[["Difícil de entender","hardToUnderstand","thumb-down"],["Información o código de muestra incorrectos","incorrectInformationOrSampleCode","thumb-down"],["Faltan la información o los ejemplos que necesito","missingTheInformationSamplesINeed","thumb-down"],["Problema de traducción","translationIssue","thumb-down"],["Otro","otherDown","thumb-down"]],["Última actualización: 2025-09-04 (UTC)"],[],[],null,["# Cloud TPU inference\n===================\n\n| **Note:** If you are new to Cloud TPUs, see [Introduction to Cloud TPU](/tpu/docs/intro-to-tpu).\n\nServing refers to the process of deploying a trained machine learning model to a\nproduction environment, where it can be used for inference. Inference is\nsupported on TPU v5e and newer versions. Latency SLOs are a priority for serving.\n\nThis document discusses serving a model on a *single-host* TPU. TPU slices with\n8 or less chips have one TPU VM or host and are called *single-host* TPUs.\n\nGet started\n-----------\n\nYou will need a Google Cloud account and project to use Cloud TPU. For more\ninformation, see [Set up a Cloud TPU environment](/tpu/docs/setup-gcp-account).\n\nYou need to request the following quota for serving on TPUs:\n\n- On-demand v5e resources: `TPUv5 lite pod cores for serving per project per zone`\n- Preemptible v5e resources: `Preemptible TPU v5 lite pod cores for serving per project per zone`\n- On-demand v6e resources: `TPUv6 cores per project per zone`\n- Preemptible v6e resources: `Preemptible TPUv6 cores per project per zone`\n\n| **Note:** There is no v6e quota specific to serving.\n\nFor more information about TPU quota, see [TPU quota](/tpu/docs/quota).\n\nServe LLMs using JetStream\n--------------------------\n\nJetStream is a throughput and memory optimized engine for large language model\n(LLM) inference on XLA devices (TPUs). You can use JetStream with JAX and\nPyTorch/XLA models. For an example of using JetStream to serve a JAX LLM, see\n[JetStream MaxText inference on v6e TPU](/tpu/docs/tutorials/LLM/jetstream-maxtext-inference-v6e).\n\nServe LLM models with vLLM\n--------------------------\n\nvLLM is an open-source library designed for fast inference and serving of large\nlanguage models (LLMs). You can use vLLM with PyTorch/XLA. For an example of\nusing vLLM to serve a PyTorch LLM, see [Serve an LLM using TPU Trillium on GKE with vLLM](/kubernetes-engine/docs/tutorials/serve-vllm-tpu).\n\nProfiling\n---------\n\nAfter setting up inference, you can use profilers to analyze the performance and\nTPU utilization. For more information about profiling, see:\n\n- [Profiling on Cloud TPU](/tpu/docs/profile-tpu-vm)\n\n- [TensorFlow profiling](https://www.tensorflow.org/guide/profiler)\n\n- [PyTorch profiling](/tpu/docs/pytorch-xla-performance-profiling-tpu-vm)\n\n- [JAX profiling](https://jax.readthedocs.io/en/latest/profiling.html#profiling-jax-programs)"]]
