AI가 '지난 시도에서 배웠다'고 말할 때, 수업에 그대로 써도 될까

"저번보다 나아졌어요"라는 말의 정체

챗봇에게 같은 종류의 과제를 다시 시키면 가끔 이런 답이 돌아와요. 지난번엔 이런 식으로 실패했으니 이번엔 다르게 해보겠다는 거죠. 마치 스스로 메모를 남기고 그걸 참고하며 성장하는 사람처럼 들려요. 실제로 이런 '자기 노트' 기능을 켜 두면, 세션이 끝나도 요약된 경험이 남아 다음 시도에 전달되는 구조가 있어요. 실패한 접근과 성공한 접근을 스스로 기록해 두었다가, 다음번 비슷한 과제를 만나면 그 기록을 다시 불러오는 방식이에요. 문제는 이 메모가 정말로 결과를 개선하느냐는 거예요. 개선된다는 인상은 쉽게 남지만, 인상과 실제 점수 차이는 다른 이야기예요.

질문 자체가 아직 연구 중이라는 사실

이 궁금증은 저 혼자만의 것이 아니에요. arXiv에 올라온 "Notes to Self: Can LLMs Benefit from Experiential Abstractions?"라는 논문은 제목 그대로 이 질문을 정면으로 다뤄요. LLM이 스스로 뽑아낸 경험적 요약, 즉 '자기에게 남기는 메모'로부터 실제 이득을 얻는지를 검증 대상으로 삼은 거죠. 다만 이 자료는 arXiv 등록 상태일 뿐, 동료심사를 거쳤다는 뜻은 아니에요. 그러니 결론이 아니라 질문의 틀로 받아들이는 게 맞아요. 개선 여부는 과제 유형에 따라 갈릴 가능성이 높다는 점만 기억해도 충분해요. 어떤 과제에서는 메모가 다음 시도를 실제로 도와주지만, 다른 과제에서는 오히려 이전 실수를 반복하게 만드는 방향으로 작용할 수도 있다는 거죠. 그 경계가 어디인지는 아직 명확히 그어져 있지 않아요.

사람의 성찰과 닮아서 생기는 반론

여기서 반론이 하나 떠올라요. 사람도 실수를 메모하고 다음번엔 그걸 참고하며 나아지잖아요. 그러니 AI의 '경험 축적'도 같은 원리로 작동한다고 믿기 쉬운 거죠. 하지만 사람의 성찰은 상황을 다시 해석하고 원인을 따지는 과정을 포함해요. 왜 그 방법이 통하지 않았는지 곱씹고, 다음번엔 아예 다른 전략을 세우는 식이죠. AI의 메모는 그저 이전 출력 일부를 요약해 다음 입력에 끼워 넣는 절차일 수도 있어요. 원인 분석 없이 결과만 요약되면, 같은 실수가 문장만 바뀐 채 반복될 수도 있어요. 닮아 보인다고 같은 방식으로 작동한다는 보장은 없어요.

무료로 직접 재현해 확인하는 절차

그래서 수업에 넣기 전에 직접 재현해 보는 습관이 필요해요. 방법은 단순해요. 먼저 같은 유형의 과제 다섯 개 정도를 준비하고, 메모 기능을 끈 상태로 채점 기준에 따라 결과를 매겨요. 그다음 메모 기능을 켜고 똑같은 다섯 개 과제를 다시 시켜서 점수를 비교해요. 가령 요약 과제라면 누락된 항목 수를, 코드 과제라면 통과한 테스트 수를 기준으로 삼으면 돼요. 무료 도구로도 이 비교는 충분히 가능해요. 챗봇의 무료 버전만으로도 같은 대화창을 새로 열어 조건만 바꿔 가며 시도할 수 있거든요. 다만 과제 다섯 개로는 우연일 수도 있으니, 유형을 바꿔 가며 최소 두세 번은 반복해야 믿을 만해요. 채점 기준을 미리 적어 두고 매번 같은 잣대로 매기는 것도 중요해요. 그렇지 않으면 개선처럼 보이는 결과가 사실은 채점자의 마음이 바뀐 탓일 수도 있으니까요.

결론: 수업 도입은 확인 다음이에요

이 절차를 거치면 어떤 과제에서 메모가 실제로 도움이 되고 어떤 과제에서는 오히려 잡음이 되는지 드러나요. 학생들에게 '메모 기능이 항상 좋다'고 가르치는 대신, 스스로 재현해서 판단하는 태도를 함께 가르치는 편이 나아요. 사람의 성찰과 닮은 기능일수록 검증 없이 받아들이기 쉽다는 점을 다시 새겨 둘 필요가 있어요. 무료 도구로 다섯 번, 열 번 반복해 보는 수고가 결국 수업의 신뢰도를 지켜 주는 셈이에요. 결과를 재현해 확인하기 전까지는, 그 개선 주장을 수업의 전제로 삼지 않는 게 안전해요.

참고 자료

• Towards Miniature Humanoid Tele-Loco-Manipulation Using Virtual Reality and Reinforcement Learning — arxiv.org, 2026-07-22 발행
• 3 Google updates from Galaxy Unpacked 2026 — blog.google, 2026-07-22 발행
• Notes to Self: Can LLMs Benefit from Experiential Abstractions? — arxiv.org, 2026-07-22 발행

본문 집필에 참고한 공개 자료입니다. 접속 확인일: 2026-07-30.