Storage Intelligence 어드바이저: 스토리지 자산의 변경사항을 파악하고 조치하기

*이 콘텐츠는 AI 번역 도구를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있으나, 자동 번역에는 오류나 누락이 포함될 수 있습니다. 정확한 정보는 영문 원본을 참고해 주시기 바랍니다.

오늘날 끊임없이 생성되는 방대한 데이터는 새로운 기회를 제공하는 동시에 막대한 운영상의 복잡성을 초래합니다. 대규모로 운영되는 대부분의 팀은 문제가 인보이스에 표시되고 나서야 이를 발견합니다. 비정상적인 액세스 패턴이 인보이스의 항목으로 표시될 때쯤에는 이미 몇 주째 실행된 경우가 많습니다. 무슨 일이 일어났는지 이해하려면 인벤토리를 내보내고, 액세스 로그와 대조하고, 어떤 서비스 계정이 어떤 작업에 속하는지 누군가 기억하고 있기를 바라야 합니다.

과거에는 이러한 워크플로로도 관리할 수 있었지만, 오늘날의 AI 학습 및 추론 파이프라인은 거버넌스 시스템이 분류할 수 있는 것보다 더 빠르게 데이터를 생성하고, 매주 달라지는 패턴으로 데이터를 읽습니다. 

오늘 Google Cloud Storage의 두 가지 새로운 기능을 소개합니다.  Storage Intelligence 어드바이저의 정식 버전을 선보이며,  스토리지 일괄 작업의 기능도 한층 확장됐습니다. 어드바이저는 스토리지 자산의 변화와 그에 따라 취해야 할 조치를 알려줍니다. 일괄 작업을 사용하면 이러한 결정을 수백만 개의 객체에 대해 실행할 수 있습니다. 이제 모든 Storage Intelligence 고객이 이러한 기능을 이용할 수 있습니다.

Storage Intelligence 어드바이저로 간편해지는 리포팅

지난 10년 동안 버킷에 어떤 데이터가 저장되어 있는지 파악하는 일은 데이터 엔지니어링 프로젝트나 다름없었습니다. 인벤토리를 내보내고, 쿼리 가능한 위치에 로드하고, 사용량과 대조하고, 대시보드를 빌드한 다음 지속적으로 관리해야 합니다. Storage Intelligence는 엔지니어링 오버헤드 없이 한눈에 파악할 수 있도록 합니다. 여러 팀에서 워크로드로 이를 입증하고 있습니다. Storage Intelligence를 사용하여 10억 개 이상의 객체로 구성된 데이터 세트를 분석하는 고객 수가 올해 두 배 이상 증가했습니다. 

대규모 스토리지 자산을 운영하는 방법에는 두 가지가 있습니다. 팀은 일일 활동 데이터와 메타데이터 스냅샷을 활용하여 필요한 파이프라인을 정확하게 빌드할 수 있습니다. Storage Intelligence도 이러한 옵션을 제공하지만, 대부분의 팀은 꼭 필요한 경우가 아니라면 파이프라인을 빌드하지 않는 것을 선호합니다. 이들은 스토리지 환경에 어떤 변화가 있었는지, 그리고 이에 어떻게 대응해야 하는지를 알고 싶어 합니다. Storage Intelligence 어드바이저는 바로 이러한 팀을 위한 기능입니다.

어드바이저를 사용하는 첫날부터 확인 가능한 부분

Storage Intelligence 어드바이저를 사용하면 별도의 설정 없이도 스토리지 환경을 한눈에 파악할 수 있습니다. 어드바이저는 선별된 발견 사항을 바탕으로 시작합니다. 설계해야 할 스키마도, 관리해야 할 파이프라인도, 구축해야 할 대시보드도 없습니다. 조직, 폴더 또는 프로젝트에서 Storage Intelligence를 사용 설정하면 해당 범위에 포함된 버킷에 대한 차트와 발견 사항이 표시됩니다. 

이제 Storage Intelligence Advisor를 통해 Shipt에서 이상치를 더 빠르게 감지할 수 있습니다.

"Storage Intelligence Advisor를 사용하기 전에는 [Google Cloud Storage에서] 주요 사용량 측정항목을 추적하고 이상치를 포착하려면 상당한 엔지니어링 작업과 복잡한 데이터 파이프라인이 필요했습니다. 이제 기본 제공되고 즉시 사용 가능한 대시보드를 통해 사용량 급증을 즉시 파악하고 세부정보를 드릴다운할 수 있습니다. 별도의 구성 없이도 의도하지 않은 사용을 즉시 파악하고 조치할 수 있어, 이전에는 많은 노력이 필요했던 작업을 간단한 셀프서비스 작업으로 전환할 수 있었습니다." - Charley King, Shipt(Target.com 자회사) DataOps-DevOps 엔지니어

설치가 완료되면 어드바이저는 즉시 Cloud Storage 자산을 분석하여 다음과 같은 이상치와 최적화 기회를 탐색합니다.

•  Coldline 또는 Archive 데이터에 대한 클래스 A 또는 B 작업 급증. 콜드 스토리지는 사용 비용은 저렴하지만 액세스 비용은 높습니다.

• 429 오류 급증. 요청 패턴이 한도를 초과하면 타임아웃이 발생합니다.

• 리전 간 이그레스 급증

• 총 사용량이 장기 추세를 상회

각 발견 사항은 프로젝트 자체의 활동 및 메타데이터를 기준으로 하며 스토리지 사용량의 일일 스냅샷을 기반으로 작동하므로, 특정 날짜의 사용량 급증은 월말 인보이스 항목에서 발견하는 것이 아니라 24시간 이내에 확인할 수 있습니다. 지난 30일 동안 수백 명의 고객에게서 6,000개 이상의 발견 사항이 생성되었습니다. 

Archive Storage에 매일 수백만 건의 읽기 작업을 발생시키는 과도한 분석 작업을 예로 들어 보겠습니다. Storage Intelligence 어드바이저가 없다면, 이러한 문제를 몇 주 후 청구서에 검색 수수료가 부과된 후에야 알게 됩니다. 

어드바이저는 프로젝트의 기준과 비교하여 이상치를 식별하고, 이를 해당 버킷, 프리픽스, 서비스 계정에 할당하고, 적용할 수 있는 방안을 제시합니다. 즉, 영향을 받은 객체를 Cloud Storage Standard로 일괄 전환하여 검색 요금 발생을 막거나, 실제 액세스 패턴에 따라 스토리지 등급이 자동으로 조정되도록 Autoclass를 사용 설정하거나, 관리형 폴더로 액세스를 제한해 해당 작업이 액세스해서는 안 되는 데이터에 도달할 수 없도록 합니다. 

스토리지 일괄 작업으로 발견 사항에 조치 적용

대부분의 스토리지 권장 사항은 실행에 옮기려면 많은 작업이 필요하기 때문에 실제로 적용되지 않습니다. 수십억 개의 객체의 보관 정책이나 스토리지 클래스를 업데이트하려면 제한, 부분 실패, 재시도 등을 처리해야 합니다. 스토리지 일괄 작업을 사용하면 이러한 작업이 필요하지 않습니다. 실행은 완전 관리형 서버리스 방식으로 진행되며 진행 상황 추적 및 자동 재시도 기능이 기본 제공됩니다. 따라서 권장 사항을 별도의 프로젝트가 아닌 정책 기반 작업으로 전환할 수 있습니다. 

Palo Alto Networks는 일괄 작업에 대해 다음과 같이 말했습니다.

"객체 보관 잠금은 보안 가드레일에 필수적이지만, 수십억 개의 객체에 걸쳐 이를 관리하는 것은 불가능한 일이었습니다. Storage Intelligence는 이러한 상황을 바꿨습니다. 이제 저희 팀은 스토리지 일괄 작업을 사용하여 필요할 때마다 전체 Fleet의 보관 정책을 원활하게 업데이트할 수 있습니다." - Kurtis Nusbaum, Palo Alto Networks 선임 수석 소프트웨어 엔지니어

Storage Intelligence Advisor와 일괄 작업은 동일한 Storage Intelligence 구독에 포함되어 있으므로 고객은 이제 어드바이저를 통해 문제를 신속하게 파악하고 일괄 작업을 통해 해당 문제를 쉽게 해결할 수 있습니다.

일괄 작업을 사용하면 다음을 수행할 수 있습니다.

• 운영 급증 해결: 패턴이 감지되는 즉시 트래픽이 많은 Archive 또는 Coldline 객체를 Standard로 일괄 전환하여 검색 및 운영 수수료의 발생을 즉시 억제합니다.

• 급격한 증가 억제. 어드바이저가 추세를 상회하는 스토리지 증가를 감지하면 특정 프리픽스에서 오래된 데이터나 임시 데이터를 일괄 삭제합니다.

• Fleet 전반의 일관성 적용. 대규모 객체 세트에 메타데이터, 태그 지정, 보관 또는 암호화 변경사항을 일괄 적용하고, 별도의 컴퓨팅을 프로비저닝할 필요도 없습니다.

또한 일괄 작업의 기존 기능을 확장하고 개선하여 대규모 작업을 더 쉽게 실행할 수 있도록 했습니다.

• 다중 버킷 처리: 버킷별로 작업을 실행하는 대신, 프로젝트당 최대 1,000개의 버킷에서 단일 작업을 실행합니다.

• 드라이 런 검증. 실시간 데이터를 수정하기 전에 테스트 실행 모드를 사용하여 변환을 시뮬레이션합니다. 드라이 런을 사용하면 영구적인 변경사항을 커밋하기 전에 작업의 영향(영향을 받는 객체 수, 총 크기, 잠재적 오류 등)을 미리 안전하게 확인할 수 있습니다.

• Storage Insights 데이터 세트를 기반으로 하는 고급 필터: Common Expression Language(CEL) 표현식을 사용하여 Insights 데이터 세트의 필드와 일치하는 조건을 지정하여 객체를 직접 선택할 수 있습니다. 예를 들어 버킷 전체의 객체를 스토리지 클래스, 객체 크기, 생성 날짜 또는 맞춤 속성을 기준으로 필터링할 수 있습니다.

다음은 고급 필터를 사용하여 일괄 작업 작업을 생성하는 방법을 보여주는 CLI 예시입니다. 이 작업은 사용자의 'analytics' 버킷에 있는 Standard Storage 클래스에 속하는 모든 임시 객체를 삭제합니다.

스토리지 관리의 진화

스토리지 관리는 분기별 검토나 사고 발생 후 긴급 대응을 위해서만 하는 사후 대응적인 노력이 되어서는 안 됩니다. 지속적이고 선제적이며 상황에 맞게 이루어져야 합니다.

Storage Intelligence 어드바이저와 일괄 작업을 사용하면 변경사항을 파악하고, 대규모 환경에서 인사이트를 확인하고 조치를 취할 수 있습니다. Storage Intelligence가 어떤 발견 사항이 중요한지 더 잘 인식하게 됨에 따라, Cloud Storage는 대규모로 스토리지를 관리해야 하는 팀의 운영 부담을 많이 덜어줄 수 있습니다.

Storage Intelligence 어드바이저와 향상된 스토리지 일괄 작업을 이제 정식 버전으로 이용할 수 있습니다.

시작하려면 프로젝트 또는 조직에서 Storage Intelligence를 사용 설정하세요. 이전에 Storage Intelligence를 사용한 적이 없다면 30일 무료 체험을 이용할 수 있습니다.