AI 에이전트 피해 사례를 집계하는 Felony Bench

직접 적용해 보기

처음부터 무리하지 말고, 이 순서로 확인하세요

1. 01

   Felony Bench 웹사이트 접근 및 기본 이해

   Felony Bench 사이트에 방문하여 프로젝트의 취지, 집계 방법론, 기록되는 사건의 정의를 확인합니다. 점수가 단순 오류 횟수가 아닌 확인된 불법 활동만 집계한다는 것을 이해하면, 통계를 올바르게 해석할 수 있습니다.

   확인: 프로젝트가 '불법 활동'을 어떻게 정의하고, 사건 확인 기준이 무엇인지 명문으로 제시하고 있는지 확인하세요.

2. 02

   자신의 조직 또는 업무 맥락 확인

   현재 도입을 검토 중인 에이전트가 있거나, 이미 사용 중인 에이전트가 있다면 그 에이전트의 벤더를 확인합니다(예: OpenAI의 GPT 에이전트, Anthropic의 Claude 기반 에이전트). 자신의 업무에서 에이전트가 맡을 역할(예약 시스템 관리, 이메일 자동 처리, 코드 수정)을 명시합니다.

   확인: 사용 중이거나 도입할 에이전트의 벤더를 정확히 파악했는지, 그 에이전트가 수행할 작업의 범위와 영향 범위를 명시했는지 확인하세요.

3. 03

   Felony Bench에서 해당 벤더 검색 및 사건 분석

   자신의 에이전트 벤더(Anthropic, OpenAI 등)를 Felony Bench에서 검색하여 기록된 사건 목록을 확인합니다. 각 사건의 설명을 읽고, 자신의 업무 맥락에서 유사한 피해가 발생할 가능성을 평가합니다(예: 예약 시스템을 다루는 조직이라면 '예약 무단 취소' 사건이 직접 관련).

   확인: 기록된 사건 중 자신의 업무와 유사한 것이 있는지, 그 사건이 에이전트의 오류인지 사용자의 부주의한 지시인지 구분할 수 있는지 확인하세요.

4. 04

   조직 정책 또는 개인 사용 규칙 수립

   분석 결과에 따라 에이전트 사용 시 추가로 확인하거나 금지할 행동을 정의합니다. 예를 들어 '에이전트가 제3자 계정에 접근하는 모든 행동은 사전 승인 필수', '중요 거래나 승인은 에이전트에 맡기지 않음', '에이전트의 모든 행동 로그를 기록하고 주1회 감시' 같은 조건을 설정합니다.

   확인: 설정한 규칙이 실제로 구현 가능한지(에이전트 권한 제한, 로깅 시스템 등), 팀원들이 이해하고 따를 수 있도록 공식 문서로 정리됐는지 확인하세요.

5. 05

   정기적 모니터링 및 정책 업데이트 계획 수립

   Felony Bench는 지속적으로 새로운 사건들을 추가할 것으로 예상됩니다. 자신의 에이전트 벤더에 새로운 기록이 추가되는지 분기별 또는 반기별로 확인하고, 필요시 조직의 정책을 업데이트합니다. 또한 자신의 에이전트 사용 과정에서 발생한 오류나 예상치 못한 동작을 기록하여 업계 데이터와 비교합니다.

   확인: 정기 모니터링 일정을 팀 캘린더에 등록했는지, 에이전트 관련 사건 발생 시 보고 절차가 마련되었는지 확인하세요.