Duet AI en Google Cloud y la IA responsable

En este documento, se describe cómo se diseñó Duet AI teniendo en cuenta las capacidades, las limitaciones y los riesgos asociados a la IA generativa.

Capacidades y riesgos de los modelos grandes de lenguaje

Los modelos grandes de lenguaje (LLM) pueden realizar muchas tareas útiles, como las siguientes:

  • Traducir el idioma.
  • Resumir texto.
  • Generar código y escritura creativa.
  • Potencia los chatbots y los asistentes virtuales.
  • Complementa los motores de búsqueda y los sistemas de recomendaciones.

Al mismo tiempo, las capacidades técnicas en evolución de los LLM crean la posibilidad de aplicaciones incorrectas, usos inadecuados y consecuencias no deseadas o imprevistas.

Los LLM pueden generar resultados inesperados, como texto ofensivo, insensible o con información errónea. Debido a que los LLM son increíblemente versátiles, puede ser difícil predecir con exactitud qué tipos de resultados no previstos o no previstos pueden producir.

Debido a estos riesgos y complejidades, Duet AI para Google Cloud se diseñó con los principios de IA de Google en mente. Sin embargo, es importante que los usuarios comprendan algunas de las limitaciones de la tecnología para trabajar de forma segura y responsable.

Limitaciones de Duet AI en Google Cloud

Estas son algunas de las limitaciones que puedes encontrar cuando usas Duet AI en Google Cloud:

  • Casos extremos. Los casos extremos se refieren a situaciones inusuales, inusuales o excepcionales que no están bien representadas en los datos de entrenamiento. Estos casos pueden generar limitaciones en la salida de Duet AI, como exceso de confianza del modelo, interpretaciones incorrectas del contexto o resultados inapropiados.

  • Alucinaciones de modelos, fundamentos y veracidad. Es posible que Duet AI en Google Cloud carezca de fundamentos y objetividad en el conocimiento del mundo real, las propiedades físicas o la comprensión precisa. Esta limitación puede llevar a alucinaciones del modelo, en las que Duet AI podría generar resultados que parecen plausibles, pero que son incorrectos, irrelevantes, inapropiados o sin sentido. Las alucinaciones también pueden incluir la fabricación de vínculos a páginas web que no existen y que nunca han existido. Para obtener más información, consulta Cómo escribir mejores instrucciones para Duet AI.

  • Calidad de los datos y ajustes. La calidad, la precisión y el sesgo de los datos de instrucciones que se ingresan en Duet AI pueden tener un impacto significativo en su rendimiento. Si los usuarios ingresan instrucciones imprecisas o incorrectas, Duet AI podría mostrar respuestas subóptimas o falsas.

  • Amplificación de sesgo. Los modelos de lenguaje pueden amplificar de forma involuntaria los sesgos existentes en sus datos de entrenamiento, lo que genera resultados que podrían reforzar aún más los prejuicios sociales y el trato desigual de ciertos grupos.

  • Calidad del lenguaje. Si bien Duet AI ofrece capacidades multilingües impresionantes en las comparativas con las que evaluamos, la mayoría de nuestras comparativas (incluidas todas las evaluaciones de equidad) están en inglés estadounidense.

    Los modelos de lenguaje pueden proporcionar una calidad de servicio inconsistente a diferentes usuarios. Por ejemplo, es posible que la generación de texto no sea tan eficaz para algunos dialectos o variedades de idiomas porque no lo están en los datos de entrenamiento. El rendimiento puede ser peor en idiomas que no son inglés o variedades de idioma inglés con menos representación.

  • Comparativas y subgrupos de equidad. Los análisis de equidad de Google Research de Duet AI no proporcionan una explicación detallada de los diversos riesgos potenciales. Por ejemplo, nos enfocamos en los sesgos en los ejes de género, raza, etnia y religión, pero realizamos el análisis solo en los datos y resultados de los modelos en inglés estadounidense.

  • Experiencia limitada en el dominio. Duet AI se entrenó con la tecnología de Google Cloud, pero es posible que carezca de la profundidad de conocimiento que se requiere para proporcionar respuestas precisas y detalladas en temas técnicos o muy especializados, lo que lleva a información superficial o incorrecta.

    Cuando usas el panel Duet AI en la consola de Google Cloud, Duet AI no conoce el contexto de tu entorno específico, por lo que no puede responder preguntas como “¿Cuándo fue la última vez que creé una VM?”.

    En algunos casos, Duet AI envía un segmento específico de tu contexto al modelo para recibir una respuesta específica del contexto, por ejemplo, cuando haces clic en el botón Sugerencias de solución de problemas en la página del servicio de Error Reporting.

Filtrado de toxicidad y seguridad de Duet AI

Los mensajes y las respuestas de Duet AI en Google Cloud se comparan con una lista completa de atributos de seguridad según corresponda para cada caso de uso. Estos atributos de seguridad tienen como objetivo filtrar el contenido que infringe nuestra Política de Uso Aceptable. Si se considera que un resultado es dañino, la respuesta se bloqueará.

¿Qué sigue?