“저번 시도에서 배웠다”는 AI의 말은 사람의 성찰처럼 들립니다. 실패한 접근을 적어 두고 다음 과제에서 참고한다는 설명까지 붙으면 더 그렇습니다. 실제로 Notes to Self: Can LLMs Benefit from Experiential Abstractions?라는 arXiv 자료는 LLM이 경험적 추상화, 곧 자기에게 남기는 메모에서 이득을 얻을 수 있는지를 연구 질문으로 삼습니다.1 별도의 Reflexion 연구도 언어적 피드백과 기억을 다음 시도에 쓰는 방식을 다뤘습니다.2 두 연구 모두 에이전트 과업을 다룬 자료이지, 학생의 학습 효과를 확인한 교실 연구는 아닙니다.
수업에서 중요한 질문은 기능의 이름이 아닙니다. 학생 과제에서 결과가 실제로 나아지는지, 그리고 그 나아짐을 교사가 재현할 수 있는지를 봐야 합니다.
사람의 성찰처럼 들릴 때
사람도 실수에서 배웁니다. 그래서 AI가 이전 시도의 요약을 다음 입력에 붙여 넣는 모습을 보면 비슷한 과정이라고 느끼기 쉽습니다. 하지만 닮은 말이 같은 작동을 뜻하지는 않습니다. 사람의 성찰은 실패 원인을 다시 해석하고, 다음 전략을 바꾸는 판단을 포함합니다. AI의 자기 노트는 이전 출력 일부를 정리해 다음 과제의 문맥으로 넘기는 절차일 수 있습니다.
이 차이는 수업에서 중요합니다. 학생에게 “AI도 경험에서 배운다”고 설명하면 기능의 효과를 과장하기 쉽습니다. “이 도구는 이전 시도의 요약을 다음 요청에 참고할 수 있다” 정도로 말하는 편이 안전합니다. 그리고 그 참고가 실제 점수 차이로 이어지는지는 따로 봐야 합니다.
수업 도입 전 작은 재현
확인은 크게 어렵지 않습니다. 같은 유형의 과제 다섯 개를 준비하십시오. 메모 기능을 끈 상태로 결과를 받고, 미리 정한 기준으로 점수를 매기십시오. 그다음 메모 기능을 켠 상태에서 같은 과제를 다시 시키십시오. 요약 과제라면 누락 항목 수를 보고, 코드 과제라면 통과한 테스트 수를 보면 됩니다.
다섯 개만으로 결론을 내리기는 이릅니다. 그 결과는 도입 여부를 확정하는 실험이 아니라, 더 살필 문제가 있는지 보는 작은 예비 점검입니다. 생성 결과는 같은 조건에서도 달라질 수 있고, 일부 API의 재현성 옵션도 완전한 결정성을 보장하지는 않습니다.3 한 과제에서는 좋아지고 다른 과제에서는 흔들린다면, “항상 도움이 된다”가 아니라 “과제 유형에 따라 달라진다”고 가르쳐야 합니다.
전과 후를 같은 잣대로 둡니다
수업에 넣을 때는 기능의 장점보다 확인 방법을 함께 제시하는 편이 낫습니다. UNESCO 역시 교육용 생성 AI를 사람 중심의 설계와 검증, 교사의 판단 안에서 다룰 것을 권고합니다.4 “메모 기능을 켜면 더 좋아진다”가 아니라 “켜기 전과 후를 같은 기준으로 비교하라”고 말하는 것입니다. 학생에게 필요한 것은 도구에 대한 믿음이 아니라 자기 과제 위에서 확인하는 습관입니다.
사람의 성찰과 비슷해 보이는 기능일수록 검증 없이 받아들이기 쉽습니다. 그래서 더 천천히 봐야 합니다. 재현해 보기 전까지는, AI가 배웠다는 말을 수업 설계의 전제로 삼지 않는 편이 안전합니다.
각주
-
Notes to Self: Can LLMs Benefit from Experiential Abstractions? — arxiv.org, 2026-07-22 공개 초고. ↩
-
Reflexion: Language Agents with Verbal Reinforcement Learning — NeurIPS 2023. 언어적 피드백과 기억을 다음 시행에 활용하는 별도 연구다. ↩
-
Advanced usage — Reproducible outputs — OpenAI 개발자 문서. 같은 매개변수와
seed를 써도 출력이 대체로 결정적일 뿐 완전히 고정되지는 않는다고 설명한다. ↩ -
Guidance for generative AI in education and research — UNESCO, 2023. 특정 도구의 성능표가 아니라 교육 도입의 인간 중심 원칙을 제시하는 지침이다. ↩
