이 소식은 무엇인가요?
배경부터 차근차근 살펴보기
AI 에이전트가 업무 자동화와 연구를 돕는 도구로 널리 쓰이고 있습니다. 그러나 에이전트가 수행할 수 있는 행동이 점점 복잡해지면서 보안 관리가 어려워지고 있습니다. 기존의 정적 보안 정책(빌드 시간에 정해진 규칙)만으로는 새로운 공격 방식을 대응하기 어렵습니다.
에이전트의 보안을 강화하려면, 단순히 금지된 명령을 차단하는 것을 넘어 에이전트가 **왜** 그 행동을 하려는지 의도를 이해해야 합니다. 예를 들어 '파일 삭제' 명령이 데이터 정리 목적인지, 악의적 행동인지 구분할 수 있어야 합니다. 이를 위해 Google은 런타임에 정책을 동적으로 적용하는 방식을 제안했습니다.
Google의 Gemini Enterprise Agent Platform은 세 가지 방어 기능을 제공합니다. Model Armor는 에이전트로 들어오는 입력을 검사하고, Semantic Governance Policies는 에이전트가 수행하려는 도구 사용이 조직의 규칙과 맞는지 판단합니다. Agent Anomaly Detection은 여러 턴에 걸친 공격 시도를 감지합니다.
이러한 기능들이 플랫폼 레벨에서 작동하므로 보안 관리자가 에이전트 코드를 수정하거나 다시 배포할 필요가 없습니다. 조직의 규칙이나 위협 정보가 바뀌면 정책만 업데이트하면 됩니다. 이를 통해 보안과 운영 효율성 사이의 균형을 맞출 수 있습니다.
이 발표는 AI 에이전트 보안이 단순한 차단에서 '의도 판단'으로 진화하고 있음을 보여줍니다. 앞으로 AI 도구를 도입할 때 이런 의도 기반 거버넌스를 함께 고려해야 할 것입니다.
공식 발표에서 확인된 내용
구체적으로 무엇이 달라졌나
- 01
의도 기반 판단: 기존 '정적 제어' 방식에서 '동적 런타임 거버넌스'로 전환하여 에이전트의 각 행동이 실제로 무엇을 의도하는지 판단합니다.
- 02
Model Armor: 에이전트로 유입되는 프롬프트를 실시간으로 검사하여 주입 공격(prompt injection)을 방어합니다.
- 03
Semantic Governance Policies: 에이전트가 호출하려는 도구(예: API, 함수)를 비즈니스 규칙과 대조하여 허용/거부 여부를 판단합니다.
- 04
Agent Anomaly Detection: 단일 프롬프트뿐만 아니라 여러 턴(multi-turn)에 걸친 악의적 시도를 감지합니다.
- 05
코드 수정 없는 정책 업데이트: 보안 정책이나 비즈니스 규칙이 바뀌어도 에이전트 소프트웨어를 다시 배포할 필요가 없습니다.
- 06
플랫폼 레벨 보안: 보안 기능이 에이전트 자체가 아닌 플랫폼에서 작동하므로 개발 과정에서 고려할 부담을 줄입니다.
사용자에게 미치는 영향
누구에게 어떤 의미가 있나
조직의 AI 정책 담당자
에이전트 도입 시 의도 기반 거버넌스 체계를 함께 설계해야 한다는 점을 인식하게 되며, 규칙 업데이트 시 배포 없이 정책만 변경할 수 있는 운영 방식을 고려하게 됩니다.
업무 자동화 담당자
자동화 시스템의 권한 범위와 감시 방식이 단순한 차단에서 행동 의도 분석으로 진화함을 인식하고, 자동화 규칙을 설계할 때 '왜 이 행동이 필요한가'를 명확히 할 필요성을 느끼게 됩니다.
연구자와 학생
AI 에이전트 관련 연구나 학습을 할 때 보안과 거버넌스가 기술만큼 중요하다는 점을 이해하게 되며, 에이전트 설계 시 의도 검증 메커니즘을 포함해야 한다는 관점을 갖게 됩니다.
IT 보안팀
기존의 네트워크 보안이나 애플리케이션 보안과 달리 AI 에이전트 보안에는 행동 의도를 판단하는 의미론적 분석이 필요하다는 새로운 보안 영역의 등장을 인식하게 됩니다.
실제 활용 장면
어디에 어떻게 써볼 수 있나
고객 지원 챗봇의 환불 처리 제어
고객 지원 에이전트가 환불을 처리할 때, '정책 위반으로 환불 불가'와 '악의적으로 높은 환불액을 승인하려는 시도'를 구분해야 합니다. Semantic Governance Policies로 각 환불 요청이 조직의 환불 규칙을 따르는지, 비정상적인 패턴인지 판단할 수 있습니다.
- 예를 들면
- 에이전트가 '고객이 구매 후 2일 이내 환불 요청, 상품 미개봉'이라는 입력을 받았을 때, 이것을 '정상 환불 의도'로 판단합니다.
- 확인할 결과
- 정상적인 환불은 신속하게 처리하되, '같은 고객이 같은 상품을 반복적으로 환불 요청'하는 패턴은 Agent Anomaly Detection이 다중 턴 악용으로 감지하고 경고합니다.
자동화 분석 도구의 데이터 접근 권한 관리
분석 에이전트가 데이터베이스에 접근할 때, '분석 목적의 읽기'와 '데이터 탈취 의도의 대량 다운로드'를 구분해야 합니다. Model Armor와 Governance Policies를 함께 사용하여 요청의 의도를 판단합니다.
- 예를 들면
- 에이전트에 '지난 3개월 판매 데이터 요약'이라는 요청이 들어올 때, 정책에 따라 이것은 '분석 목적'으로 분류되고 접근을 허용합니다.
- 확인할 결과
- 같은 데이터베이스에서 '전체 고객 개인정보를 CSV로 추출'하려는 시도는 의도가 다르다고 판단되어 차단됩니다.
조직 규칙에 따른 문서 삭제 권한 판단
문서 관리 에이전트가 파일을 삭제할 때, 조직의 데이터 보관 정책을 런타임에 확인하고 승인 여부를 결정합니다. '자동화 목적의 임시 파일 정리'와 '규칙 위반 문서 삭제 시도'를 구분할 수 있습니다.
- 예를 들면
- 에이전트가 '생성일로부터 6개월 이상 지난 캐시 파일 삭제'를 요청할 때, 정책에 맞는지 확인합니다.
- 확인할 결과
- 규칙에 따라 이 삭제는 자동으로 승인되고, 만약 규칙에 없는 파일 삭제를 여러 번 시도하면 Anomaly Detection이 감지합니다.
직접 적용해 보기
처음부터 무리하지 말고, 이 순서로 확인하세요
에이전트가 수행할 수 있는 모든 행동 정의하기
현재 운영 중인 에이전트나 도입 예정인 에이전트가 수행할 수 있는 모든 행동(API 호출, 파일 접근, 승인 요청 등)을 나열합니다. 각 행동이 어떤 비즈니스 목적이어야 하는지 명확히 합니다.
확인: '환불 처리', '고객 데이터 조회', '보고서 자동 생성' 등의 행동이 명확하게 기술되었고, 각각 '허용 범위'와 '금지 패턴'이 정의되었는지 확인합니다.
의도 분류 프레임워크 설계
각 에이전트 행동에 대해 '정상 의도의 신호'와 '악의적/오류 의도의 신호'를 정리합니다. 예를 들어 데이터 접근 시 '분석을 위한 1주일 데이터 조회'는 정상, '모든 고객 개인정보의 한 번에 다운로드'는 비정상입니다.
확인: '다중 턴 행동의 패턴'(반복된 접근 시도, 이전과 다른 권한 요청)도 포함되었는지 확인합니다.
의도 판단 메커니즘 공개 자료로 테스트하기
Google의 공식 문서나 사례 연구를 통해 Semantic Governance Policies의 동작 방식을 이해합니다. 자신의 조직에 맞게 정책을 번역할 때 '정책을 코드로 변환하지 않아도 되는가'와 '규칙을 업데이트할 때 배포가 필요 없는가'를 확인합니다.
확인: Google의 Gemini 공식 문서에서 Policy 예시를 찾아 자신의 비즈니스 규칙과 대조합니다.
조직 내 협의와 거버넌스 정책 수립
의도 기반 거버넌스를 위해 조직 내 이해관계자들(IT, 보안, 법무)과 협의합니다. '누가 정책을 업데이트하는가', '이상 행동 감지 시 누가 대응하는가', '거버넌스 정책을 어디에 기록할 것인가'를 결정합니다.
확인: 정책 업데이트 권한과 로깅 방식이 명확하게 정의되었고, 기록 형식이 재검토 가능한지 확인합니다.
Google 플랫폼 검토 및 도입 계획 수립
Google에 문의하여 조직의 규모와 요구사항에 맞게 Gemini Enterprise Agent Platform을 도입할 수 있는지 확인합니다. 기존 에이전트 시스템과의 호환성과 마이그레이션 경로를 파악합니다.
확인: 정가, SLA(서비스 수준 약정), 정책 설정 인터페이스의 사용성, 지원 언어 등이 조직 요구사항과 맞는지 검토합니다.
해석할 때 주의할 점
확인된 범위와 아직 모르는 내용을 구분하세요
공식 발표로 확인되는 사실: Google은 Gemini Enterprise Agent Platform에서 Model Armor, Semantic Governance Policies, Agent Anomaly Detection이라는 세 가지 런타임 보안 기능을 도입했으며, 이를 통해 보안 관리자가 에이전트 코드를 수정하지 않고도 동적으로 정책을 적용할 수 있습니다. 이 기능들은 '의도 판단'에 기반하며 다중 턴 공격도 감지합니다. 아직 공개되지 않은 내용: 세 기능의 정확도, 실제 정가와 사용 모델, 한국 지역 및 다른 LLM 플랫폼 지원, 정책 설정 인터페이스의 사용성, 로깅과 개인정보 보호 방식 등은 원문에서 확인할 수 없습니다. 이러한 세부사항은 Google과의 직접 상담이나 이후 발표를 통해서만 알 수 있습니다.
- 플랫폼 가용성 불명확: 원문은 Gemini Enterprise Agent Platform의 정가, 일반 공개 일정, 한국 지역 지원 여부를 명시하지 않습니다. 대기 접근이 가능한지 직접 문의가 필요합니다.
- 의도 판단 정확도 미공개: Model Armor와 Semantic Governance Policies가 실제로 얼마나 정확하게 의도를 판단하는지, 오류 가능성(false positive/negative)이 얼마나 되는지 공개 자료에 없습니다. 정확도 평가는 사용 중 직접 모니터링해야 합니다.
- 다른 LLM 플랫폼과의 호환성: 이 기능들이 Google의 Gemini 모델에만 해당하는지, 다른 LLM(OpenAI, Anthropic 등)과 호환되는지 명확하지 않습니다.
- 정책 설정의 복잡도: Semantic Governance Policies를 비즈니스 규칙으로 설정하는 과정이 얼마나 사용하기 쉬운지, 비개발자도 정책을 만들 수 있는지 원문에서 알 수 없습니다. 기술적 전문성 요구 수준을 확인이 필요합니다.
- 개인정보 보호와 감시: Agent Anomaly Detection이 에이전트의 행동을 감시하므로, 어떤 데이터가 어디에 로깅되고 얼마나 보관되는지, 규정(GDPR, 로컬 개인정보법)을 준수하는지 확인이 필요합니다.
출처와 확인일
원문에서 다시 확인하기
이 글은 Google Developers Blog의 공식 발표를 바탕으로 정리했습니다. 기능 범위와 제공 조건은 바뀔 수 있으므로 실제로 적용하기 전에는 원문을 다시 확인해 주세요.
- 마지막 확인
- 2026-09-16
- 다음 검토
- 2026-10-16