작업을 마친 AI가 "이번 경험에서 배운 점"을 정리해 줄 때가 있다. 문장은 짧고 실용적이다. 다음에는 이렇게 하라, 이 조건을 먼저 보라, 이 실수를 피하라. 읽다 보면 정말 누군가의 경험에서 나온 조언처럼 느껴진다. 그러나 그 문장을 그대로 내 상황에 옮기기 전에는 한 번 멈춰야 한다.
경험을 압축한 문장
「Notes to Self: Can LLMs Benefit from Experiential Abstractions?」는 언어모델이 이전 시행에서 얻은 경험적 요약을 이후 수행에 활용할 수 있는지 묻는 공개 초고다.1 이 연구가 흥미로운 이유는 AI가 단순히 답을 내는 데서 그치지 않고, 자기 수행의 흔적을 다시 자료로 삼는 방향을 보여 주기 때문이다. 다만 여기서 말하는 "경험"은 인간이 몸으로 겪은 사건이 아니라, 수행 기록에서 추출한 요약에 가깝다.
교훈과 프로네시스 사이
인간이 경험에서 얻는 지혜는 단순한 압축문이 아니다. 아리스토텔레스 윤리학의 실천적 지혜는 일반 규칙을 아는 데 그치지 않고, 구체적인 상황에서 무엇이 좋은 행동인지 제대로 보는 성품과 판단을 함께 요구한다.2 AI의 요약은 여러 시행에서 반복된 패턴을 잘 잡아낼 수 있다. 그러나 그 패턴이 지금 내 상황에도 맞는지는 별도로 확인해야 한다. 원래의 과업, 실패 조건, 평가 기준이 달라지면 같은 교훈도 다른 결과를 낳을 수 있다.
인간의 일반화와 무엇이 다른가
물론 인간도 경험을 일반화한다. 노련한 교사는 여러 수업을 겪으며 감각을 얻고, 연구자는 반복된 실패에서 다음 질문을 고른다. Self-Refine처럼 모델이 스스로 피드백을 만들고 결과를 반복 수정하는 연구는 작업 결과가 나아질 가능성을 보여 준다.3 그러나 인간의 일반화에는 책임이 붙는다. 자신이 놓였던 자리, 감당한 위험, 함께 있었던 사람들의 반응이 판단을 만든다. 모델의 자기 수정에는 그 무게가 없다. 언어 형식과 인간의 의미 이해를 구분해야 한다는 연구의 경고도 이 간격을 짚는 데 유용하다.4 AI가 남긴 교훈은 쓸모가 있을 수 있지만, 곧바로 실천적 지혜와 같은 이름을 얻지는 못한다.
옮기기 전에 조건을 옮겨 적는다
AI가 준 교훈을 쓰려면 문장만 옮기지 말고 조건을 함께 옮겨야 한다. 어떤 과업에서 나온 말인가. 성공과 실패는 어떻게 판정되었는가. 내 상황과 무엇이 같고 무엇이 다른가. 이 세 가지를 적어 보면, 받아 적어도 되는 조언과 보류해야 할 조언이 갈린다. AI의 교훈은 출발점일 수 있다. 결론으로 쓰기에는 아직 사람이 해야 할 판단이 남아 있다.
각주
-
Notes to Self: Can LLMs Benefit from Experiential Abstractions? — arxiv.org, 2026-07-22 발행; 2026-07-27 접속 확인. ↩
-
Aristotle’s Ethics — Stanford Encyclopedia of Philosophy. 실천적 지혜가 구체적 상황의 판단과 성품을 함께 요구한다는 철학적 배경을 확인했다. ↩
-
Self-Refine: Iterative Refinement with Self-Feedback — NeurIPS 2023 공개본. 생성·피드백·수정의 반복이 과업 결과를 개선할 수 있음을 다룬다. ↩
-
Climbing towards NLU: On Meaning, Form, and Understanding in the Age of Data — ACL 2020. 언어 형식에서 인간의 의미 이해를 곧장 추론하지 말아야 한다는 경계를 제시한다. ↩
