AI가 만든 채점 기준표를 학생에게 적용하기 전에, 같은 답안을 두 번 넣어보았는가
채점 기준표, 한 번의 결과로 믿을 수 있을까
수행평가 채점 기준표를 AI에게 맡기고 그럴듯한 결과물을 받으면 바로 학생 답안에 적용하고 싶어지죠. 문항 의도를 설명하고 배점 구간을 나눠 달라고 하면 AI는 몇 초 만에 깔끔한 표를 내놓으니까요. 하지만 그 표는 그 순간의 결과일 뿐, 같은 질문을 다시 던졌을 때도 동일하게 나온다는 보장은 없어요. 언어모델은 확률적으로 다음 단어를 골라내는 방식으로 작동하기 때문에, 같은 지시문이라도 배점 기준의 문구나 경계선이 미묘하게 달라질 수 있죠. 한번은 우연일 수 있어요. 문제는 그 우연이 학급 전체 채점에 그대로 적용될 때 벌어져요.
같은 답안을 두 번 넣어보는 절차
그래서 실제 채점에 쓰기 전, 확인용 답안 몇 개를 미리 골라두는 절차가 필요해요. 상위·중위·하위 수준을 대표하는 답안 서너 개를 뽑아, 만든 기준표에 시간차를 두고 두 번씩 넣어보는 방식이죠. 가령 중간 수준 답안 하나를 오전과 오후에 각각 입력해, 점수와 근거 문장이 같은 결로 나오는지 비교하는 식이에요. 점수 구간이 같더라도 근거로 든 문장이나 감점 사유가 서로 모순되면, 그 기준표는 아직 쓸 준비가 안 된 거예요. 표현을 살짝 바꾼 동일 수준 답안을 넣어보는 것도 도움이 돼요. 문장 순서만 바꿨는데 점수가 흔들린다면, 기준표가 아니라 답안 표면에 반응하고 있다는 뜻이니까요.
반론: 검증에 드는 시간이 효율을 갉아먹는다는 지적
이 절차에 대해 반론도 충분히 나올 수 있어요. 안 그래도 시간이 부족한 교사가 답안을 두세 번씩 반복 입력하고 결과를 비교하는 건, AI 도구가 애초에 약속한 시간 절약 효과를 스스로 깎아 먹는 일 아니냐는 지적이죠. 특히 무료 요금제로 쓰는 경우 하루 질의 횟수 제한이 있어서, 검증에 쓴 횟수만큼 실제 채점에 쓸 여력이 줄어드는 것도 사실이에요. 다만 이 비용은 한 번만 치르면 되는 초기 비용이에요. 검증 없이 바로 학급 전체에 적용했다가 기준이 흔들린 걸 뒤늦게 발견하면, 이미 채점한 답안을 다시 손봐야 하고 학생에게 준 피드백도 정정해야 하죠. 서너 개 답안으로 미리 확인하는 비용과, 전체를 다시 채점하는 비용을 나란히 놓고 보면 답은 비교적 분명해요.
확인을 통과했다는 게 무슨 뜻인가
여기서 통과 기준을 너무 엄격하게 잡을 필요는 없어요. 점수가 소수점까지 똑같이 나오길 기대하기보다, 같은 배점 구간과 같은 핵심 근거를 가리키는지를 보면 돼요. 실제로 arXiv에 공개된 논문 「Notes to Self: Can LLMs Benefit from Experiential Abstractions?」는 언어모델이 자신의 과거 판단을 요약해 이후 판단에 참고할 수 있는지를 다루는데, 이 논문은 아직 동료심사를 거치지 않은 상태로 등록돼 있어요. 즉 AI가 어제 만든 기준과 오늘 만든 기준을 스스로 맞출 거라 기대할 근거는 지금으로선 충분하지 않은 셈이죠. 그러니 일관성은 도구가 알아서 챙겨주는 성질이 아니라, 사람이 매번 확인해서 만들어내는 상태에 가까워요. 확인을 통과한 기준표도 여전히 사람의 최종 검토를 거쳐야 하고요.
도구를 쓰되, 확인은 습관으로 남기기
AI가 만든 채점 기준표는 편리한 초안이지 완성된 도구가 아니에요. 답안 몇 개를 반복 입력해 일관성을 확인하는 습관을 들이면, 그 결과가 흔들리는 지점을 학기 중이 아니라 미리 발견할 수 있죠. 무료 요금제를 쓴다면 검증용 질의 횟수를 따로 배분해두는 것도 방법이에요. 그리고 모델이 업데이트될 때마다 같은 확인을 다시 해봐야 해요. 지난 학기에 통과한 기준표라도 모델이 바뀌면 다시 흔들릴 수 있으니까요.
참고 자료
- Towards Miniature Humanoid Tele-Loco-Manipulation Using Virtual Reality and Reinforcement Learning — arxiv.org, 2026-07-22 발행
- 3 Google updates from Galaxy Unpacked 2026 — blog.google, 2026-07-22 발행
- Notes to Self: Can LLMs Benefit from Experiential Abstractions? — arxiv.org, 2026-07-22 발행
본문 집필에 참고한 공개 자료입니다. 접속 확인일: 2026-07-31.
