컨텍스트 윈도우를 과도하게 차지하기 전에 에이전트 스킬을 평가하는 5가지 규칙
Karl Weinmeister
Director, Developer Relations
Alan Blount
Product Manager
*이 콘텐츠는 AI 번역 도구를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있으나, 자동 번역에는 오류나 누락이 포함될 수 있습니다. 정확한 정보는 영문 원본을 참고해 주시기 바랍니다.
SKILL.md 파일에 대한 이야기를 점점 더 자주 듣게 되실 텐데요. 많은 분이 파일을 테스트하는 방식은 대개 비슷합니다. 채팅창에 프롬프트를 붙여넣고, 노트북에서 한 번 통과하는 것을 확인한 뒤, 바로 메인 브랜치에 병합해 버리는 식이죠. 하지만 평가 루프 없이 3페이지 분량의 CLI 문서를 마크다운 파일에 붙여넣으면 프런티어 모델에 도움이 되기보다는 혼란을 줄 가능성이 높습니다.
지난 몇 주 동안 Google은 가장 핵심적인 스킬과 응답의 근거를 문서에서 찾는 Developer Knowledge MCP 서버를 갖춘 자체 Google Cloud 개발자 플러그인을 면밀히 측정하고 최적화해 왔습니다.
Gemini, Antigravity, 기타 에이전트를 사용해 수십 가지 시나리오를 실행했습니다. GKE Autopilot의 격리된 Harbor 포드 내에서 Gemini 플랫폼의 Claude Sonnet 5를 사용했습니다. 또한 Kubernetes 및 Gemini 플랫폼 기능을 NVIDIA의 오픈소스 평가 도구에 업스트림으로 기여했습니다.
특정 스킬이 그만큼의 토큰을 소비할 가치가 있는지 검증하기 위해 Google이 사용하는 5가지 규칙의 엔지니어링 플레이북을 소개합니다.
1. 컨테이너를 가동하기 전에 트리거 충돌 및 보안 위험 차단
평가 실행에서 플러그인 버전과 기준 버전 간에 개선이 전혀 없는 경우(Δ = 0), 자연스럽게 SKILL.md 요청 사항의 본문을 다시 작성하고 싶어집니다. 잠깐, 먼저 확인해야 할 게 있습니다. 열에 아홉은 에이전트가 애초에 스킬을 로드조차 하지 않은 경우입니다.
코딩 에이전트는 턴 0에서 전체 SKILL.md 본문을 읽지 않습니다. 라우터는 YAML 프런트매터의 닉네임과 설명만 검사합니다. 작업공간의 스킬이 12개를 넘어가면 2개의 실패 모드가 동시에 발생합니다. 바로 언더 트리거링(설명이 개발자의 의도가 아닌 내부 구현 방식을 기술함)과 동위 하이재킹(인접한 스킬에 포함된 '클라우드 배포 지원'과 같은 포괄적인 문구가 프롬프트를 먼저 가로챔)입니다.
최근 Google은 skill-reach를 오픈소스로 공개했습니다. 덕분에 이제 컨테이너 샌드박스 비용을 들여가며 테스트할 필요 없이, 프런트매터 충돌을 미리 잡아낼 수 있습니다. 매니페스트를 검증하고, 유사한 경쟁 스킬과의 어휘 중복도를 계산하며, Claude Code, Google Antigravity, OpenAI Codex 전반에서 경험적 라우팅 프로브를 실행합니다.
Skill-reach를 NVIDIA의 SkillSpector(SkillEvaluator의 Tier 1 및 Tier 2)와 페어링합니다. Nemotron Labs팀이 에이전트 스킬 심층 분석에서 자세히 설명한 것처럼, 표준 코드 린터는 마크다운 텍스트에 숨겨진 에이전트 네이티브 위험 요소인 프롬프트 인젝션, 은밀한 데이터 무단 반출, 도구 포이즈닝, 트리거 악용을 놓칩니다.
2. 개발자 노트북에서 실행되는 평가는 절절대 신뢰하지 말 것


워크스테이션에서 직접 스킬 벤치마크를 실행하고 있다면, 그 결과 수치는 거짓말을 하고 있는 것입니다. 개발자 노트북에는 기준 버전을 오염시키는 주변 상태가 가득합니다.
-
캐시된 Google Cloud 사용자 인증 정보
-
내보낸 프로젝트 변수 및 웜 Bash 기록
-
전역 환경 규칙
별도의 지원을 받지 않는 기준 에이전트는 로컬 셸 프로필에 설정된 기본 프로젝트 ID나 토큰을 그대로 상속해 클라우드 배포 테스트를 통과해 버릴 수 있습니다. 이 경우, 해당 스킬이 해결하도록 설계된 구체적인 오류 상황이 제대로 드러나지 않고 가려지게 됩니다.
호스트 리소스 경합 또한 에이전트의 수행 절차를 왜곡할 수 있습니다. AlphaEvolve를 사용하여 코드 검색 에이전트를 힐 클라이밍하는 동안 내부 테스트를 통해 워크스테이션이 CPU 부하 상태일 때 정확히 동일한 에이전트 벤치마크를 실행하면 점수가 떨어진다는 사실을 확인했습니다. 파일 스캔 속도가 느려지고 하위 프로세스 제한 시간이 초과되면 에이전트가 검색 경로를 조기에 포기하게 됩니다.
3. 단순히 직관이 아닌, 스킬 적용 유무(WITH vs. W/OUT)를 비교하는 절제 측정(Pass@3) 실시


프롬프트를 단 한 번 실행해 보고 녹색 체크표시를 스크린샷으로 남기는 것은 진정한 의미의 평가라고 할 수 없습니다. 멀티턴 도구 사용 에이전트는 모든 셸 종료 코드와 stdout 스니펫을 바탕으로 실행 경로가 분기됩니다. 검색 연구에서 벤치마크 작업의 3분의 1 이상이 정확히 동일한 코드와 프롬프트를 연속으로 실행했을 때 서로 다른 점수를 생성했습니다.
완벽한 점수라 하더라도 비교 대상인 기준이 없다면 의미가 없습니다. Claude의 플러그인 평가 도구와 NVIDIA의 SkillEvaluator는 모두 여러 번의 반복을 통해 비교하는 절제 실험을 실행합니다. Arm A는 스킬이 없는 깨끗한 샌드박스에서 기본 모델을 실행하고, Arm B는 스킬이 탑재된 동일한 프롬프트와 샌드박스로 실행하여 결과를 비교합니다.
샌드박스 시험 전반에서 점수 개선을 비교한 결과, 단일 샷 테스트에서는 볼 수 없었던 3가지 명확한 패턴이 드러났습니다. 플러그인이 없어도 기본 모델은 대부분의 실행에서 어떻게든 배포에 성공하긴 했지만, 지원 중단된 플래그를 추측하고 잘못된 요청을 재시도하느라 실제 시간을 몇 분씩 허비한 뒤에야 가능했습니다. 반대로 테스트 사례에서 효율성 향상 없이 성공 여부만 동일하게 나타난다면, 이는 기본 모델이 이미 해당 기능을 자체적으로 갖추고 있다는 뜻입니다. 해당 스킬은 불필요한 컨텍스트 비용만 발생시킬 뿐입니다. 삭제하세요.
4. 에이전트가 보상 해킹을 할 수 없도록 효율성과 보안을 정확성과 분리


평가 하네스를 자동화된 옵티마이저(예: AlphaEvolve 또는 도달범위 최적화)에 연결하면 에이전트가 평가자를 속이는 패턴이 놀라울 정도로 흔하게 나타납니다.
AlphaEvolve 검색 실험에서 진화된 후보는 작업을 해결하지 않고도 벤치마크를 조작하는 4가지 고유한 방법을 발견했습니다. 채점 도구가 소스 코드에서 특정 예상 하위 문자열 검사를 차단하자, 진화된 후보는 런타임에 문자열을 동적으로 연결하고, 디렉터리 트리를 탐색하고, 디스크에서 직접 정답 파일을 읽었습니다. 또 다른 후보는 AST 검사를 우회하기 위해 하위 프로세스를 생성했습니다.
진화 루프는 정확성(가중치 0.95)과 토큰 효율성(가중치 0.05)을 단일 점수로 혼합한 적합도 공식 때문에 이러한 속임수를 선호했습니다. 디스크에서 답변 파일을 읽는 데는 LLM 턴이 필요하지 않으므로, 저장소를 검색하는 데 토큰을 사용한 정직한 에이전트에 비해 부정행위 에이전트가 생존에 유리한 효율성 보너스를 얻게 됩니다.
리워드 해킹으로부터 스킬 평가자를 보호하려면 3가지 구조적 가드레일이 필요합니다. 먼저 테스트 픽스처, 채점 스크립트, 정답이 전용 검증자 컨테이너 내에 있도록 Harbor를 구성하세요. 이 컨테이너는 에이전트 컨테이너가 종료된 후에만 작업공간 아티팩트를 마운트해야 합니다. 둘째, SkillEvaluator의 5가지 차원(정확성, 검색 가능성, 효율성, 효과성, 보안)을 엄격하게 독립적으로 유지하세요. 토큰 절약이 테스트 실패나 보안 위반을 정당화하는 수단이 되어서는 안 됩니다. 셋째, NVIDIA/SkillEvaluator#140에서는 Kubernetes 서비스 계정 토큰을 읽거나 클라우드 메타데이터 엔드포인트를 쿼리하는 모든 시도를 실패로 처리하도록 보안 검사를 확장했으며, 저장된 수행 절차에서 실시간 OAuth 토큰을 삭제하는 기능도 추가했습니다.
5. 문서 덤프가 아닌 운영 습관 인코딩


모든 실험 결과를 종합해 보면, 샌드박스 벤치마크에서 점수 향상을 이끌어낸 스킬과 실패한 커뮤니티 스킬의 차이는 결국 마크다운에 무엇이 담겨 있느냐에 달려 있었습니다.
공개 API 참조 테이블을 스킬 파일에 그대로 복사해 붙여넣는 방식은 성능 향상에 거의 도움이 되지 않습니다. 프런티어 모델은 이미 사전 학습 가중치에 퍼블릭 클라우드 문서를 포함하고 있습니다. 수천 단어의 정적 플래그를 프롬프트에 쏟아붓는 것은 첫 번째 토큰 생성 시간만 늘리고 실행 가능한 제약 조건을 파악하기 어렵게 만듭니다.
테스트 모음에서 효율성 점수를 높인 스킬들은 백과사전식 참조 텍스트를 나열하는 대신, 간결한 운영 습관과 검증 습성을 익히도록 설계되었습니다.
-
상태를 변경하기 전에 리프 하위 명령어에서 CLI 플래그 확인: 마크다운에 수십 개의 플래그를 나열하는 대신, 상태를 변경하는 배포를 실행하기 전에 명령줄에서 도움말 출력을 확인하는 간단한 반사 동작을 가르칩니다.
-
필요에 따라 경량 카탈로그 색인을 통해 라우팅: 14개의 무거운 클라우드 스킬을 한 번에 컨텍스트에 로드하는 대신, 가벼운 루트 라우터가 선별된 원격 색인을 확인하고 작업에 필요한 특정 레시피만 가져옵니다.
-
최소 권한 인증 기본값 적용: 명시적 가드레일은 에이전트가 정적 서비스 계정 JSON 키를 다운로드하는 대신 애플리케이션 기본 사용자 인증 정보를 통해 인증하도록 지시하는 동시에 명시적 호출자 IAM 바인딩과 함께 인증되지 않은 액세스 제한을 적용합니다.
평가 스택이 CI에서 실행되므로 플래그 하나만 변경하면 모델을 업그레이드할 수 있습니다. 새 모델을 대상으로 스킬 적용 유무를 비교(WITH vs. W/OUT)하는 매트릭스를 다시 실행한 위, 개선 효과가 0으로 떨어지는 모든 스킬은 삭제합니다. 새로운 모델이 해당 기능을 자체적으로 갖추게 되어 더 이상 필요 없는 스킬을 삭제하는 것은 소프트웨어 엔지니어링에서 가장 기분 좋은 순간 중 하나입니다.
시작하기
코딩 에이전트에 프로덕션 환경에서 바로 사용할 수 있는 수준의 스킬을 갖춰줄 준비가 되셨나요? AI 코딩 에이전트를 위한 Google Cloud Developer 플러그인을 사용해 보세요.



