친구에게 들은 소문과 병원에서 받은 진단서를 같은 무게로 받아들이는 사람은 드물다. 우리는 말투보다 출처와 맥락을 보고 믿을 정도를 조절한다. AI가 세무 자문에서 참고할 정보를 고르고,1 설치할 플러그인의 원본을 확인하며,2 주어진 맥락을 신뢰할지 판단하도록 학습하는 일3도 이 익숙한 습관과 맞닿아 있다. 다만 기계가 무엇을 근거로 정보를 받아들이거나 버렸는지는 따로 물어야 한다.
가려 듣는 습관
분별이라는 말은 원래 사람의 습관을 가리켰다. 낯선 사람이 건넨 정보를 곧이곧대로 받지 않고, 출처와 맥락을 견줘 본 뒤에야 판단에 얹는 태도다.
이 습관은 훈련으로 자란다.
AI가 다루는 '맥락'도 비슷한 자리에 있다. 언어모델은 프롬프트에 딸려 오는 문서, 검색 결과, 이전 대화 기록을 모두 맥락으로 받아들인다. 문제는 이 중 일부가 틀리거나 조작되어 있어도 모델은 겉모습만으로 구분하지 못한다는 점이다. 사람이 소문과 진단서를 구별하듯, 모델도 신뢰할 맥락과 흘려보낼 맥락을 나눠야 하는 처지에 놓였다.
세무 자문실의 필터
OpenAI가 공개한 사례는 세무 법인 HSP GRUPPE가 챗GPT 엔터프라이즈를 업무에 들인 이야기다1. 이 발표가 강조한 것은 생산성과 업무 품질, 그리고 자문에 쓸 여력을 늘리는 일이다. 세무 자문은 규정 하나를 잘못 읽으면 손해가 곧장 클라이언트에게 넘어가는 영역이다.
이 장면을 구체적으로 그려보면 이렇다. 세무 상담역은 챗봇이 요약해 준 세법 조항을 클라이언트에게 바로 전달하지 않는다. 요약된 문장을 원본 조항과 대조하고, 조항 번호가 실제로 존재하는지 확인한 다음에야 답장을 보낸다.
여기서 신뢰는 전면 수용도 전면 거부도 아니다. 조항 대조라는 절차 하나가 신뢰를 조건부로 만든다.
서명이라는 문턱
개발 도구 쪽에서도 비슷한 장치가 등장했다. 클로드 코드는 최근 배포판에서 압축 파일 형태의 플러그인을 HTTPS로 내려받아 설치하는 기능을 넣으면서, SHA-256 해시로 고정할 수 있는 선택지를 함께 붙였다2. git이나 npm 없이도 플러그인을 설치할 수 있게 한 대신, 그 파일이 원본과 같은지 확인할 문턱을 하나 세운 셈이다.
개발자는 이제 낯선 플러그인을 내려받을 때 파일 이름만 보고 실행하지 않는다. 해시값을 대조해 본 뒤에야 그 코드를 자신의 작업 환경에 들인다. 신뢰는 해시 한 줄로 옮겨갔다.
서명 검증은 세무 상담역의 조항 대조와 닮은 구조를 지닌다. 둘 다 정보를 얼마나 믿을지 정하는 절차이지, 정보 자체를 막는 절차가 아니다.
벤치마크 위에 놓인 분별
학계에서도 같은 물음이 다뤄지고 있다. arXiv에 공개된 논문은 언어모델이 외부 신호에 답을 맞추다 보니 신호 하나가 틀리면 답 전체가 틀려지는 문제를 짚고, 그 해법으로 모든 맥락을 거부하도록 학습시키면 오히려 쓸모없는 모델이 된다고 지적한다3. 이 연구가 내놓은 벤치마크는 각 맥락이 믿을 만한지 아닌지를 사람이 미리 표시해 둔 자료다.
세 사례를 나란히 보면 공통점이 드러난다. 조항 대조, 해시 확인, 벤치마크 점수는 모두 언제 믿을지를 가려내는 장치다. 다만 이 가름은 사람이 숙고해서 내리는 판단이 아니다. 검증 로직과 채점 기준이 그 자리를 대신 차지하고 있다.
분별이라는 말이 원래 가리키던 것은 사람의 눈과 경험이었다. 지금 그 자리에 서 있는 것은 서명 알고리즘과 벤치마크 점수판이다. 세무 상담역의 조항 대조는 여전히 사람 손에 남아 있지만, 개발 도구의 해시 확인과 논문의 벤치마크는 이미 기계 쪽으로 넘어간 뒤다. 신뢰를 가려내는 자리 하나가, 이렇게 조용히 옮겨가고 있다.
각주
-
How HSP GRUPPE builds AI capabilities for tax advisory — openai.com, 2026-08-07 발행, 2026-08-07 접속 확인. ↩ ↩2
-
v2.1.224 — github.com, 2026-08-07 발행, 2026-08-07 접속 확인. ↩ ↩2
-
Learning When to Trust via Selective Context Preference Optimization — arxiv.org, 2026-08-06 발행, 2026-08-07 접속 확인. ↩ ↩2
