에이전트에 스킬(Skill)을 설치하기 전, 이제 검사부터 받는다. Nous Research가 자사 에이전트 하네스 Hermes에 NVIDIA의 SkillEvaluator를 붙였다고 8월 20일 공식 X 계정으로 밝혔다.
PII부터 유니코드 밀수까지 훑는다
Nous Research는 공식 발표에서 "Hermes가 스킬 설치 시 NVIDIA SkillEvaluator를 활용해, 확인 버튼을 누르기 전 PII·비밀정보 유출·유니코드 밀수·라이선스·보안 문제를 검사한다"고 밝혔다.
이 검사는 설치를 막지 않는다. Hermes 공식 문서에 따르면 Tier 1 검사는 결정론적이고 API 키가 필요 없는 방식으로 동작하며, 발견 사항은 설치 확인 전에 파일명과 줄 번호까지 함께 표시되지만 설치 자체는 그대로 진행된다. 실제 자격 증명처럼 보이는 항목(개인 키, 클라우드 액세스 키, 토큰, 인증정보 포함 연결 문자열)은 빨간색으로 강조해 사용자가 설치 여부를 직접 판단하게 한다.
에이전트 스킬은 마켓플레이스에서 자유롭게 받아 설치하는 구조라, 코드 실행 권한을 가진 파일을 별다른 검증 없이 그대로 들이는 셈이었다. 설치 전 자동 스캔이 붙었다는 것은 이 유통 구조에 처음으로 최소한의 문지기가 생겼다는 뜻이다.
왜 자기 스킬 11개부터 걸렸나
Nous Research는 이 검사를 가장 먼저 자사가 배포하는 번들 스킬에 적용했다. 그 결과 11개 스킬에서 개선이 필요한 부분을 발견해 고쳤다고 밝혔다. 어떤 항목이 실제 보안 위험이었고 어떤 항목이 단순 오탐이었는지는 공식적으로 공개되지 않았다 — 이 부분은 공식 확인 불가다.
자사 콘텐츠부터 자체 검사에 걸렸다는 점은 두 가지를 동시에 보여준다. 검사가 실제로 뭔가를 잡아낸다는 것과, 그동안 공식 배포 스킬조차 이런 종류의 정적 검증을 거치지 않은 채 유통돼 왔다는 것이다.
숫자로 본 스킬 효과, +41점 상승
NVIDIA는 별도로 공개한 공식 기술 블로그에서, 30개 이상 제품에 걸친 검증 스킬 300개 이상을 Claude Code와 OpenAI Codex 두 하네스에서 벤치마크한 결과를 공개했다. 같은 작업·같은 모델·같은 설정에서 스킬 유무만 바꿔 비교했다.
| 지표 | 스킬 미적용 | 스킬 적용 | 변화 |
|---|---|---|---|
| 정확성(Correctness) | 46점 | 87점 | +41 |
| 효과성(Effectiveness) | 39점 | 78점 | +39 |
| 발견 용이성(Discoverability) | 42점 | 82점 | +40 |
| 효율성(Efficiency) | 43점 | 78점 | +35 |
| 보안(Security) | 97점 | 98점 | +1 |
보안 지표만 거의 그대로(97→98점)라는 점이 눈에 띈다. NVIDIA 검증을 통과한 스킬은 애초에 보안 문제가 적었다는 뜻이고, 이번에 Nous Research가 추가한 SkillEvaluator 연동은 그 반대편 — 아직 검증받지 않은 채 유통되는 일반 스킬 쪽의 위험을 줄이는 장치에 가깝다.
검사는 하되, 설치는 막지 않는다
이 기능의 핵심 한계는 명확하다. 검사 결과가 나와도 설치를 강제로 중단시키지 않는다. 최종 판단은 여전히 사용자 몫이다. NVIDIA AI 공식 계정에 달린 한 댓글은 "스캔된 스킬의 레지스트리를 만들어 기업이 감사할 수 있게 해야 한다"고 제안했고, Nous Research는 이에 자사 Skills Hub를 안내로 답했다 — 다만 이 허브가 이번 SkillEvaluator 연동과 별개로 얼마나 체계화돼 있는지는 이 발표만으로 확인되지 않는다.
사내에서 에이전트 스킬을 설치·배포하는 팀이라면, 이런 정적 검사가 있다는 사실 자체보다 검사가 무엇을 놓치는지를 먼저 확인하는 편이 안전하다. Tier 1은 정적 검사이므로 실행 중에만 드러나는 악성 동작은 Tier 3(샌드박스 실사용 평가)까지 거쳐야 잡힌다.
