Apigee를 통한 엔터프라이즈급 생성형 AI

Apigee의 핵심 API 게이트웨이 기능에는 AI 애플리케이션의 트래픽을 관리하는 기본 기능이 포함되어 서비스 사용을 위한 일관된 API 계약을 제공합니다.  

포함된 기능은 다음과 같습니다.

• 모델 추상화
• 멀티 클라우드 모델 라우팅
• 요청/응답 보강
• RAG 통합
• 서드 파티 시스템에 대한 에이전트 연결(Google Cloud의 Application Integration 플랫폼 사용) 
• 고가용성을 위한 LLM 회로 차단기 패턴 
• 시맨틱 캐싱

AI 에이전트는 LLM의 기능을 사용하여 최종 사용자를 위한 작업을 수행합니다. 이러한 에이전트는 Agentspace와 같은 노 코드 및 로우 코드 플랫폼부터 LangChain 또는 LlamaIndex와 같은 풀 코드 프레임워크에 이르기까지 다양한 도구를 사용하여 빌드할 수 있습니다. Apigee는 AI 애플리케이션과 에이전트 사이의 중개자 역할을 합니다.

이제 Apigee에서 Gemini Code Assist가 정식 버전으로 제공되므로 Cloud Code와 Gemini 채팅 인터페이스 모두에서 자연어를 사용하여 API 사양을 빠르게 만들 수 있습니다. API 허브를 통해 조직의 API 생태계를 활용하면 중첩된 객체 지원과 선제적인 중복 API 감지로 일관되고 안전한 API를 위한 엔터프라이즈 컨텍스트를 제공할 수 있습니다.

포함된 기능은 다음과 같습니다.

• Apigee API 허브: 퍼스트 파티 및 서드 파티 API 및 워크플로를 카탈로그화
• 비용 관리를 위한 토큰 한도 적용
• 멀티 에이전트 조정
• 인증 및 승인
• 시맨틱 캐싱으로 성능 최적화
• 엔터프라이즈 컨텍스트를 사용한 API 사양 생성(Gemini Code Assist 사용)

Apigee의 기본 정책 및 배포 기능을 사용하면 생성형 AI 플랫폼팀에서 AI 애플리케이션과 LLM 사용을 효율적으로 관리할 수 있습니다. 

포함된 기능은 다음과 같습니다.

• 모델에 대한 셀프서비스 액세스를 위한 통합 개발자 포털
• 모델 액세스 및 사용량 한도에 대한 세분화된 정책 기반 제어
• 토큰 사용 한도 모니터링 및 보고 
• LLM 감사 및 로깅

Apigee는 생성형 AI 비용을 관리하고 최적화하며 조직의 AI 사용을 효율적으로 관리하는 데 도움이 되는 AI 애플리케이션에 대한 심층적인 모니터링 가능성을 제공합니다.

포함된 기능은 다음과 같습니다.

• 모델 사용 및 애플리케이션 토큰 소비에 대한 가시성 확보
• 내부 비용 보고 및 최적화
• 실제 토큰 수에 따라 사용량을 모니터링하는 커스텀 대시보드(Looker Studio와의 통합을 통해 제공) 
• AI 애플리케이션을 위한 로깅

Apigee는 LLM API의 보안 게이트웨이 역할을 하여 API 키, OAuth 2.0, JWT 검증으로 액세스를 제어하고 비율 제한 및 할당량을 적용하여 악용과 오버로드를 방지할 수 있습니다. Apigee 지능화된 API 보안은 더욱 고급화된 보호 기능을 제공할 수 있습니다.

역량:

• 프롬프트 및 응답 정리를 위한 Model Armor 통합 및 정책 적용
• 인증 및 승인 
• 악용 및 이상 감지
• OWASP 상위 10개 API 및 LLM 보안 위험 완화
• LLM API 보안 구성 오류 감지
• Google SecOps 및 서드 파티 SIEM 통합