LLM-Inferenzen auf Cloud Run-GPUs mit vLLM (Dienste) ausführen
bookmark_borderbookmark
Mit Sammlungen den Überblick behalten
Sie können Inhalte basierend auf Ihren Einstellungen speichern und kategorisieren.
Im folgenden Codelab wird gezeigt, wie Sie einen Backend-Dienst ausführen, in dem vLLM, eine Inferenz-Engine für Produktionssysteme, zusammen mit Gemma 2 von Google ausgeführt wird, einem 2-Milliarden-Parameter-Modell mit Instruction Tuning.
[[["Leicht verständlich","easyToUnderstand","thumb-up"],["Mein Problem wurde gelöst","solvedMyProblem","thumb-up"],["Sonstiges","otherUp","thumb-up"]],[["Schwer verständlich","hardToUnderstand","thumb-down"],["Informationen oder Beispielcode falsch","incorrectInformationOrSampleCode","thumb-down"],["Benötigte Informationen/Beispiele nicht gefunden","missingTheInformationSamplesINeed","thumb-down"],["Problem mit der Übersetzung","translationIssue","thumb-down"],["Sonstiges","otherDown","thumb-down"]],["Zuletzt aktualisiert: 2025-02-26 (UTC)."],[],[]]