AI에게 보고서나 발표 자료를 맡기고 나면, 마지막에 "다음에 참고할 요령"을 뽑아 달라고 부탁하고 싶어집니다. 문장 길이를 줄여라, 표를 앞쪽에 배치해라, 결론부터 말하라 같은 규칙은 다음 과제에서도 곧바로 쓸 수 있을 것처럼 보입니다. 문제는 그 요령이 지난 과제의 조건에 묶여 있다는 점입니다.
Notes to Self: Can LLMs Benefit from Experiential Abstractions?라는 arXiv 자료는 LLM이 경험에서 뽑은 추상화된 메모를 이후 작업에 활용할 수 있는지를 묻습니다.1 Reflexion은 이전 시행의 언어적 피드백을 기억해 다음 시행에 쓰고,2 Self-Refine은 생성·피드백·수정을 같은 산출물 안에서 반복합니다.3 서로 닮았지만, 앞선 과제의 요령이 새 과제로 옮겨 가는 문제와 같은 산출물을 다듬는 문제는 구분해야 합니다.
요령의 출처를 먼저 묻기
요령을 재사용하기 전에는 그 요령이 나온 조건을 적어야 합니다. 자료의 성격은 같았는지, 독자는 같았는지, 분량과 목적은 같았는지를 보십시오. 셋 중 하나라도 달라지면, 규칙은 그대로 옮기기보다 다시 시험해야 합니다.
예를 들어 "표를 앞에 두면 이해가 빠르다"는 요령은 숫자가 많은 분기 보고서에서는 맞을 수 있습니다. 하지만 사람의 사정을 설명하는 서사 중심 글에서는 오히려 흐름을 끊을 수 있습니다. 같은 규칙도 놓이는 자리마다 다른 효과를 냅니다.
새 과제에서 한 번만 흔들어 보기
검증은 길 필요가 없습니다. AI에게 "이 요령이 이번 과제에도 적용되는 이유를 설명하라"고 물어보십시오. 설명이 막히거나 지난 과제의 조건만 반복한다면, 그 요령은 이번 과제에 맞지 않을 가능성이 큽니다. 결과물 일부만 골라 원자료와 대조해 보는 것도 충분히 도움이 됩니다. 처음 두 문단, 표 하나, 결론 문장 하나만 봐도 어긋난 부분은 드러납니다.
매번 이렇게 확인하면 시간 절약이 사라진다는 반론도 있습니다. 하지만 검증에 드는 시간은 결과물 전체를 다시 고치는 시간보다 짧습니다. 외부 피드백 없는 자기수정이 오히려 성능을 낮추기도 한다는 연구를 생각하면, 모델이 스스로 만든 규칙만 믿고 넘어가는 쪽이 더 위험합니다.4 조건이 같은 부분은 그대로 두고, 달라진 부분만 흔들어 보면 됩니다. 요령은 버릴 필요가 없습니다. 다만 규칙집이 아니라 새 과제에서 다시 시험할 가설로 다루는 편이 맞습니다.
각주
-
Notes to Self: Can LLMs Benefit from Experiential Abstractions? — arxiv.org, 2026-07-22 공개 초고. ↩
-
Reflexion: Language Agents with Verbal Reinforcement Learning — NeurIPS 2023. 시행 피드백을 언어로 저장해 다음 시도에 활용한다. ↩
-
Self-Refine: Iterative Refinement with Self-Feedback — NeurIPS 2023 공개본. 같은 산출물을 반복 수정하는 방법을 다룬다. ↩
-
Large Language Models Cannot Self-Correct Reasoning Yet — ICLR 2024. 외부 피드백 없는 자기수정의 한계를 보여 준다. ↩
