데이터 스토어는 데이터 스토어 핸들러 및 플레이북 데이터 스토어 도구가 데이터에서 최종 사용자의 질문에 대한 답변을 찾는 데 사용됩니다. 데이터 스토어는 각각 사용자의 데이터를 참조하는 웹사이트 및 문서 모음입니다.
최종 사용자가 에이전트에게 질문하면 에이전트는 제공된 소스 콘텐츠에서 답변을 검색하고 결과를 일관된 에이전트 응답으로 요약합니다. 또한 최종 사용자가 자세히 알아볼 수 있도록 응답 소스에 대한 지원 링크를 제공합니다. 에이전트는 주어진 질문에 답변 스니펫을 최대 5개까지 제공할 수 있습니다.
데이터 스토어 소스
데이터에 제공할 수 있는 다양한 소스가 있습니다.
- 웹사이트 URL: 도메인 또는 웹페이지 목록에서 웹사이트 콘텐츠를 자동으로 크롤링합니다.
- BigQuery: BigQuery 테이블에서 데이터를 가져옵니다.
- Cloud Storage: Cloud Storage 버킷에서 데이터를 가져옵니다.
웹사이트 콘텐츠
웹사이트 콘텐츠를 소스로 추가할 때 여러 사이트를 추가하거나 제외할 수 있습니다.
사이트를 지정할 때 개별 페이지 또는 *를 패턴의 와일드 카드로 사용할 수 있습니다.
모든 HTML 및 PDF 콘텐츠가 처리됩니다.
웹사이트 콘텐츠를 소스로 사용하는 경우 도메인을 인증해야 합니다.
제한사항:
- 공개 URL의 파일은 검색 색인에 존재할 수 있도록 Google 검색 색인 생성기가 크롤링한 것이어야 합니다. Google Search Console을 사용하여 이를 확인할 수 있습니다.
- 색인이 생성되는 페이지 수는 최대 200,000개입니다. 데이터 스토어에 페이지가 더 많이 포함된 경우 색인 생성이 실패하고 마지막으로 색인이 생성된 콘텐츠는 유지됩니다.
데이터 가져오기
BigQuery 또는 Cloud Storage에서 데이터를 가져올 수 있습니다. 이 데이터는 구조화되거나 구조화되지 않을 수 있으며, 메타데이터가 있거나 메타데이터가 없을 수 있습니다.
다음과 같은 데이터 가져오기 옵션을 사용할 수 있습니다.
- 데이터 추가/업데이트: 제공된 문서가 데이터 스토어에 추가됩니다. 새 문서의 ID가 이전 문서와 같으면 새 문서가 기존 문서를 대체합니다.
- 기존 데이터 재정의: 모든 이전 데이터가 삭제된 후 새 데이터가 업로드됩니다. 이 작업은 되돌릴 수 없습니다.
구조화된 데이터 스토어
구조화된 데이터 스토어에는 자주 묻는 질문(FAQ)에 대한 답변이 있습니다. 사용자 질문이 업로드된 질문과 높은 신뢰도로 일치하면 에이전트는 해당 질문에 대한 답변을 수정하지 않고 반환합니다. 에이전트가 표시하는 각 질문과 답변 쌍의 제목과 URL을 제공할 수 있습니다.
데이터 스토어에 데이터를 업로드할 때는 CSV 형식을 사용해야 합니다. 각 파일에는 열을 설명하는 헤더 행이 있어야 합니다.
예를 들면 다음과 같습니다.
"question","answer","title","url"
"Why is the sky blue?","The sky is blue because of Rayleigh scattering.","Rayleigh scattering","https://en.wikipedia.org/wiki/Rayleigh_scattering"
"What is the meaning of life?","42","",""
title 및 url 열은 선택사항이며 생략할 수 있습니다.
"answer","question"
"42","What is the meaning of life?"
업로드 프로세스 중에 확장 프로그램에 관계없이 각 파일이 CSV 파일로 처리되는 폴더를 선택할 수 있습니다.
제한사항:
,뒤에 추가 공백 문자가 있으면 오류가 발생합니다.- 빈 줄(파일 끝에 있는 경우에도)로 인해 오류가 발생합니다.
구조화되지 않은 데이터 스토어
구조화되지 않은 데이터 스토어에는 다음과 같은 형식의 콘텐츠가 포함될 수 있습니다.
- HTML
- TXT
- CSV
제한사항:
- 최대 파일 크기는 텍스트 기반 형식의 경우 2.5MB, 다른 형식의 경우 100MB입니다.
메타데이터가 포함된 데이터 스토어
제목과 URL은 메타데이터로 제공될 수 있습니다. 에이전트가 사용자와 대화 중일 때 이 정보를 사용자에게 제공할 수 있습니다. 이렇게 하면 사용자가 Google 검색 색인 생성기에서 액세스할 수 없는 내부 웹페이지에 빠르게 연결할 수 있습니다.
콘텐츠를 메타데이터와 함께 가져오려면 하나 이상의 JSON Lines 파일을 제공합니다. 이 파일의 각 줄은 문서 하나를 설명합니다. 실제 문서를 직접 업로드하지 않습니다. Cloud Storage 경로에 연결되는 URI는 JSON Lines 파일에 제공됩니다.
JSON Lines 파일을 제공할 때는 이러한 파일이 포함된 Cloud Storage 폴더를 제공하세요. 이 폴더에 다른 파일을 넣지 마세요.
필드 설명:
| 필드 | 유형 | 설명 |
|---|---|---|
| id | 문자열 | 문서의 고유 식별자입니다. |
| content.mimeType | 문자열 | 문서의 MIME 유형입니다. 'application/pdf' 및 'text/html'이 지원됩니다. |
| content.uri | 문자열 | Cloud Storage의 문서 URI입니다. |
| structData | 문자열 | 선택적 title 및 url 필드가 있는 한 줄로 된 JSON 객체입니다. |
예를 들면 다음과 같습니다.
{ "id": "d001", "content": {"mimeType": "application/pdf", "uri": "gs://example-import/unstructured/first_doc.pdf"}, "structData": {"title": "First Document", "url": "https://internal.example.com/documents/first_doc.pdf"} }
{ "id": "d002", "content": {"mimeType": "application/pdf", "uri": "gs://example-import/unstructured/second_doc.pdf"}, "structData": {"title": "Second Document", "url": "https://internal.example.com/documents/second_doc.pdf"} }
{ "id": "d003", "content": {"mimeType": "text/html", "uri": "gs://example-import/unstructured/mypage.html"}, "structData": {"title": "My Page", "url": "https://internal.example.com/mypage.html"} }
메타데이터가 없는 데이터 스토어
이 유형의 콘텐츠에는 메타데이터가 없습니다. 가져올 문서만 제공하세요. 콘텐츠 유형은 파일 확장자에 따라 결정됩니다.
파싱 및 청크 구성
데이터 소스에 따라 Vertex AI Search에서 정의한 대로 파싱 및 청크 설정을 구성할 수 있습니다.
데이터 스토어 만들기
데이터 스토어를 만들려면 다음 안내를 따르세요.
에이전트 빌더 콘솔로 이동합니다.
콘솔 드롭다운에서 프로젝트를 선택합니다.
서비스 약관을 읽고 동의한 후 계속 및 API 활성화를 클릭합니다.
왼쪽 탐색 메뉴에서 데이터 스토어를 클릭합니다.
새 데이터 스토어를 클릭합니다.
데이터 소스를 선택합니다.
고급 웹사이트 색인 생성을 사용 설정합니다. 데이터 스토어 에이전트에 필요합니다.
선택한 데이터 스토어 소스의 데이터와 구성을 입력합니다. 데이터 스토어 위치는 에이전트 위치와 일치해야 합니다.
만들기를 클릭하여 데이터 스토어를 만듭니다.
원하는 경우 데이터 스토어 언어를 설정합니다.
- 데이터 저장소 목록에서 방금 만든 데이터 스토어를 클릭합니다.
- 언어 설정에서 (수정) 버튼을 클릭합니다.
- 언어를 선택하고 체크박스를 클릭하여 적용합니다.
데이터 스토어 문서에 Cloud Storage 사용
공개된 콘텐츠가 아닌 경우 Cloud Storage에 콘텐츠를 저장하는 것이 좋습니다.
데이터 스토어 문서를 만들 때는 Cloud Storage 객체의 URL을 gs://bucket-name/folder-name 형식으로 제공합니다.
폴더 내의 각 문서가 데이터 스토어에 추가됩니다.
Cloud Storage 버킷을 만들려면 다음을 수행합니다.
- 에이전트에 사용할 프로젝트를 선택했는지 확인합니다.
- Standard Storage 클래스를 사용합니다.
- 버킷 위치를 에이전트와 동일한 위치로 설정합니다.
Cloud Storage 빠른 시작의 안내를 따라 버킷을 만들고 파일을 업로드합니다.
언어
지원되는 언어는 언어 참조의 데이터 스토어 열을 참고하세요.
최상의 성능을 위해서는 데이터 스토어를 단일 언어로 만드는 것이 좋습니다.
데이터 스토어를 만든 후에 선택적으로 데이터 스토어 언어를 지정할 수 있습니다. 데이터 스토어 언어를 설정하면 데이터 스토어를 다른 언어로 구성된 에이전트에 연결할 수 있습니다. 예를 들어 프랑스어 데이터 스토어를 만들어 영어 데이터 에이전트에 연결할 수 있습니다.
지원되는 리전
지원되는 리전은 리전 참조를 확인하세요.