Duet-KI in Google Cloud und Responsible AI

In diesem Dokument wird die Entwicklung von Duet-KI im Hinblick auf die Funktionen, Einschränkungen und Risiken beschrieben, die mit Generative AI verbunden sind.

Funktionen und Risiken von Large Language Models

Large Language Models (LLMs) können viele nützliche Aufgaben ausführen. Beispiele:

  • Sprache übersetzen.
  • Text zusammenfassen.
  • Generieren Sie Code und erstellen Sie kreatives Schreiben.
  • Nutze Chatbots und virtuelle Assistenten.
  • Ergänzung von Suchmaschinen und Empfehlungssystemen

Gleichzeitig entsteht durch die sich weiterentwickelnden technischen Funktionen von LLMs das Potenzial für Fehlanwendung, Missbrauch und unbeabsichtigte oder unvorhergesehene Folgen.

LLMs können unerwartete Ausgaben generieren, einschließlich Text, der anstößig, unsensibel oder sachlich falsch ist. Da LLMs unglaublich vielseitig sind, kann es schwierig sein, genau vorherzusagen, welche Art von unbeabsichtigten oder unvorhergesehenen Ausgaben sie produzieren könnten.

Angesichts dieser Risiken und Komplexitäten wurde Duet-KI in Google Cloud unter Berücksichtigung der KI-Grundsätze von Google entwickelt. Es ist jedoch wichtig, dass Nutzer einige der Einschränkungen der Technologie verstehen, damit sie sicher und verantwortungsvoll arbeiten können.

Einschränkungen von Duet AI in Google Cloud

Zu den Einschränkungen, die bei der Verwendung von Duet-KI in Google Cloud auftreten können, gehören unter anderem:

  • Grenzfälle: Grenzfälle beziehen sich auf ungewöhnliche, seltene oder außergewöhnliche Situationen, die in den Trainingsdaten nicht gut repräsentiert sind. Diese Fälle können zu Einschränkungen in der Ausgabe von Duet AI führen, z. B. zu übermäßigem Modell, einer falschen Interpretation des Kontexts oder unangemessenen Ausgaben.

  • Halluzinationen, Fundamente und Fakten. Möglicherweise fehlen bei Duet-KI in Google Cloud die Grundlage und Fakten in Bezug auf reales Wissen, physische Eigenschaften oder ein genaues Verständnis. Diese Einschränkung kann zu Modell-Halluzinationen führen, bei denen Duet-KI Ausgaben generiert, die plausibel klingen, aber sachlich falsch, irrelevant, unangemessen oder unsinnig sind. KI-Halluzinationen können auch die Erstellung von Links zu Webseiten umfassen, die es noch nie gegeben hat. Weitere Informationen finden Sie unter Bessere Prompts für Duet AI schreiben.

    Um KI-Halluzinationen zu minimieren, verwenden wir verschiedene Ansätze, z. B. die Bereitstellung großer Mengen hochwertiger Daten zum Trainieren und Optimieren des Modells und Prompt-Entwicklungstechniken wie den Abruf erweiterter Generation.

  • Datenqualität und Feinabstimmung Die Qualität, Genauigkeit und Verzerrung der Prompt-Daten, die in Duet AI eingegeben werden, kann einen erheblichen Einfluss auf die Leistung haben. Wenn Nutzende ungenaue oder falsche Prompts eingeben, gibt Duet-KI möglicherweise suboptimale oder falsche Antworten zurück.

  • Verstärkung von Verzerrungen Language Models können unbeabsichtigt vorhandene Voreingenommenheiten in ihren Trainingsdaten verstärken, was zu Ausgaben führt, die gesellschaftliche Vorurteile und eine ungleiche Behandlung bestimmter Gruppen weiter verstärken können.

  • Sprachqualität: Während Duet AI hinsichtlich der Benchmarks, die wir bewerten, beeindruckende mehrsprachige Funktionen bietet, erfolgen die meisten Benchmarks (einschließlich aller Fairness-Bewertungen) auf amerikanisches Englisch.

    Language Models bieten möglicherweise eine inkonsistente Dienstqualität für verschiedene Nutzer. Die Textgenerierung ist beispielsweise für einige Dialekte oder Sprachvarianten möglicherweise nicht so effektiv, da sie in den Trainingsdaten unterrepräsentiert sind. Die Leistung kann sich bei nicht-englischsprachigen oder englischsprachigen Varianten mit geringerer Repräsentation verschlechtern.

  • Fairness-Benchmarks und Untergruppen: Die Fairness-Analysen von Google Research mit Duet-KI enthalten keine vollständige Erläuterung der verschiedenen potenziellen Risiken. Wir konzentrieren uns beispielsweise auf Voreingenommenheiten in Bezug auf Geschlecht, ethnische Herkunft, Ethnizität und Religion, führen die Analyse jedoch nur mit Daten und Modellausgaben im amerikanischen Englisch durch.

  • Eingeschränkte Fachkenntnisse. Duet-KI wurde in der Google Cloud-Technologie geschult, es fehlen jedoch möglicherweise Kenntnisse, die erforderlich sind, um genaue und detaillierte Antworten zu hoch spezialisierten oder technischen Themen zu liefern, was zu oberflächlichen oder falschen Informationen führt.

    Wenn Sie den Bereich Duet AI in der Google Cloud Console verwenden, erkennt Duet AI möglicherweise nicht den vollständigen Kontext Ihrer spezifischen Projekte und Umgebung und kann daher möglicherweise keine Fragen wie „Wann wurde das letzte Mal eine VM erstellt?“ beantworten.

    In einigen Fällen sendet Duet AI ein bestimmtes Segment Ihres Kontexts an das Modell, um eine kontextspezifische Antwort zu erhalten, z. B. wenn Sie auf der Error Reporting-Dienstseite auf die Schaltfläche Vorschläge zur Fehlerbehebung klicken.

Duet-KI-Filterung von Sicherheits- und unangemessenen Äußerungen

Prompts und Antworten von Duet-KI in Google Cloud werden anhand einer umfassenden Liste von Sicherheitsattributen geprüft, die für jeden Anwendungsfall anwendbar sind. Diese Sicherheitsattribute zielen darauf ab, Inhalte herauszufiltern, die gegen unsere Richtlinien zur Fairen Nutzung verstoßen. Wenn eine Ausgabe als schädlich eingestuft wird, wird die Antwort blockiert.

Nächste Schritte