Vertex AI 기반 Imagen은 Google 최고의 생성형 AI 기능을 애플리케이션 개발자에게 제공합니다. 아직 초기 단계에 있는 Vertex AI 기반 Imagen은 개발 중인 기술 및 사용으로 인해 잘못 적용되거나, 오용되거나, 의도하지 않았거나 예측하지 않은 결과로 이어질 위험이 있습니다. 예를 들어 Vertex AI 기반 Imagen은 불편을 초래하거나, 상황에 둔감하거나, 문맥에 올바르지 않은 이미지와 같이 기대치 않은 출력을 생성할 수 있습니다.
이러한 위험성과 복잡성을 고려해서 Vertex AI 기반 Imagen은 Google의 AI 원칙을 염두에 두고 설계되었습니다. 그러나 개발자가 이를 이해하고 안전하고 책임감 있는 배포를 위해 모델을 테스트하는 것이 중요합니다. 개발자 지원을 위해 Vertex AI 기반 Imagen에는 사용 사례 내에서 고객이 잠재적으로 유해한 출력을 차단할 수 있도록 안전 필터가 내장되어 있습니다. 자세한 내용은 안전 필터 섹션을 참조하세요.
Vertex AI 기반 Imagen이 고객의 고유한 사용 사례 및 컨텍스트에 통합된 경우 추가적인 책임감 있는 AI 고려사항과 모델 제한사항을 고려해야 할 수 있습니다. 공정성, 해석 가능성, 개인 정보 보호 및 보안 권장 지침을 활용하는 것이 좋습니다.
안전 필터
Vertex AI 기반 Imagen을 통해 입력으로 제공된 텍스트 프롬프트와 이미지(생성 또는 업로드된)는 violence, sexual, derogatory, toxic과 같은 '유해한 범주'를 포함하는 일련의 안전 속성에 따라 평가됩니다. 이러한 안전 속성의 목표는 서비스이용 정책(AUP), 생성형 AI 금지 사용 정책 또는 AI 원칙을 위반하는 콘텐츠(생성 또는 업로드된)를 필터로 제외하는 것입니다.
각 안전 속성에는 연관된 신뢰도 점수가 있습니다. 즉, 안전 속성의 지정된 신뢰도 점수를 초과하면 모델 출력이 차단됩니다. 'X 이미지가 Google의 책임감 있는 AI 방침을 위반하여 필터로 제외됨' 메시지와 함께 모델이 요청에 응답할 경우 입력 또는 출력으로 인해 안전 필터가 트리거되었음을 의미합니다.
안전 기준점을 수정하는 기능을 요청하려면 Google Cloud 계정팀에 문의하세요.
제한사항
이미지 생성 제한사항
- 편향 증폭: Vertex AI 기반 Imagen이 고품질 이미지를 생성할 수 있지만 생성된 콘텐츠에 편향이 발생할 가능성이 있습니다. 생성된 이미지는 제품의 학습 데이터에 의존하며, 의도치 않게 고정관념을 영구화하거나 특정 그룹을 차별할 수 있는 편견을 포함할 수 있습니다. 출력이 Google의 서비스이용 정책 및 사용 사례와 일치하도록 하려면 신중한 모니터링과 평가가 필요합니다.
- 투명성과 정보 공개: 사용자가 AI로 생성된 이미지와 AI로 생성되지 않은 이미지를 구분하는 것이 어려울 수 있습니다. 사용 사례 내에서 AI로 생성된 이미지를 사용할 때는 투명성을 보장하고 프로세스 중간의 신뢰도 유지를 위해 해당 이미지가 AI 시스템에서 생성되었음을 사용자에게 명백하게 공개하는 것이 중요합니다. Google은 잘못된 정보 위험을 대처하고 AI에 대한 책임감 있는 접근 방식의 일환으로 AI로 생성된 이미지에 메타데이터 라벨링을 적용했습니다.
- 컨텍스트 부족: Vertex AI 기반 Imagen은 사용 사례 내에서 모든 상황 또는 대상에 적합한 이미지를 생성하는 데 필요한 상황적 이해가 부족할 수 있습니다. 생성된 이미지가 원하는 컨텍스트, 목적, 의도한 대상에 적합한지 확인해야 합니다.
이미지 수정 제한사항
- 허위 진술 및 진위성: Vertex AI 기반 Imagen을 사용하여 이미지를 수정하면 이미지의 허위 진술 또는 조작이 발생하여 허위 또는 혼동을 야기하는 콘텐츠 생성으로 이어질 수 있습니다. 수정된 이미지의 진위성 및 진실성을 훼손하지 않으면서 수정 프로세스가 책임감 있게 사용되도록 보장하는 것이 중요합니다. Google은 잘못된 정보 위험을 대처하고 AI에 대한 책임감 있는 접근 방식의 일환으로 AI로 수정된 이미지에 메타데이터 라벨링을 적용했습니다.
시각적 자막 제한사항
- 정확도 및 컨텍스트 민감도: 시각적 자막을 생성할 때는 복잡하거나 모호한 이미지를 정확하게 기술하는 데 어려움을 겪을 수 있습니다. 생성된 설명이 항상 전체 컨텍스트 또는 시각적 콘텐츠의 느낌을 포착하지 못할 수 있습니다. 자동 자막 시스템은 다양한 복잡성 수준에 따라 이미지를 이해하는 데 제한이 있다는 것을 인정하고 중요하거나 민감한 컨텍스트에서는 이러한 설명을 주의해서 사용해야 합니다.
- 모호성과 주관적 해석: 이미지는 여러 방식으로 해석될 가능성이 있는 경우가 많으며, 생성된 자막이 항상 인간의 이해 또는 기대 수준과 일치하지 않을 수 있습니다. 주관적 경험과 문화적 배경에 따라 사람마다 이미지를 다르게 인식하고 기술할 수 있습니다. 이미지 설명에서 잠재적 모호성과 주관성을 고려하고 필요한 경우 추가적인 컨텍스트 및 대체 해석을 제공하는 것이 중요합니다.
- 접근성 고려사항: 자동 이미지 자막은 시각장애인을 위한 설명을 제공하여 접근성을 지원할 수 있지만 특정 접근성 요구에 맞게 인간이 생성한 대체 텍스트 또는 설명을 완전히 대체하지 못할 수 있다는 것을 인식하는 것이 중요합니다. 자동 자막은 특정 접근성 사용 사례에 필요한 디테일 또는 상황별 이해 수준이 부족할 수 있습니다.
시각적 질문 답변(VQA) 제한사항
- 과도한 신뢰성 및 불확실성: VQA 모델은 올바른 답변이 명확하지 않거나 모호한 상황에서도 신뢰도를 보장할 수 없는 답변을 제공할 수 있습니다. 모호성이 있을 때는 허위로 사실인 느낌을 전달하기 보다는 모델의 불명확성을 알리고 적합한 신뢰도 점수 또는 대체 답변을 제공하는 것이 중요합니다.
권장사항
이 기술을 안전하고 책임감 있게 사용하려면 또한 내장된 기술적 보호 장치 외에도 사용 사례, 사용자, 비즈니스 컨텍스트에 따라 기타 위험 요소를 고려하는 것이 중요합니다.
다음 조치를 취하는 것이 좋습니다.
- 애플리케이션의 보안 위험을 평가합니다.
- 안전 위험을 완화할 수 있는 조정을 고려합니다.
- 사용 사례에 적합한 안전 테스트를 수행합니다.
- 사용자 피드백을 요청하고 콘텐츠를 모니터링합니다.
추가 리소스
- 대규모 언어 모델(LLM)에 대한 책임감 있는 AI 알아보기
- 책임감 있는 AI 관행에 대한 Google 권장사항 알아보기
- 책임감 있는 AI 진행 상황에 대한 공유 아젠다 블로그 읽기
Vertex AI 기반 Imagen에 대한 피드백 제공
부정확하거나 안전하지 않다고 여겨지는 출력 또는 응답이 수신되면 피드백을 제출하여 이를 Google에 알릴 수 있습니다. 사용자 피드백은 Vertex AI 기반 Imagen의 발전과 AI 부문의 포괄적인 Google 노력에 도움이 될 수 있습니다.
피드백은 사람이 읽을 수 있으므로 개인 정보, 기밀 정보 또는 민감한 정보가 포함된 데이터를 제출하지 마세요.