AI가 만든 채점 기준표는 보기 좋습니다. 항목이 나뉘고, 배점이 붙고, 피드백 문장까지 나옵니다. 그래서 바로 학생 답안에 적용하고 싶어집니다. 하지만 채점에서 중요한 것은 한 번 그럴듯하게 나왔는지가 아닙니다. 같은 답안을 다시 넣었을 때도 같은 기준으로 판단하는지를 봐야 합니다.
자동 에세이 채점을 다룬 한 연구는 루브릭, 예시 답안, 낮은 생성 온도 같은 조건을 함께 설계했을 때 반복 평가의 안정성이 높아질 수 있다고 보고했습니다.1 중요한 대목은 “AI가 안정적이다”가 아니라, 안정성을 얻기 위해 통제한 조건이 많았다는 사실입니다. 반대로 LLM 평가 연구에서는 답안의 위치, 장황함, 모델 자신의 산출물에 유리한 판단 같은 편향도 확인됐습니다.2 채점 기준표 한 번이 그럴듯했다고 곧바로 학생 평가에 써서는 안 되는 이유입니다.
두 번 넣어 보고 기록하기
확인 절차는 간단합니다. 상위, 중위, 하위 수준을 대표하는 답안 서너 개를 고르십시오. AI가 만든 기준표에 같은 답안을 시간차를 두고 두 번씩 넣으십시오. 점수 구간이 같은지, 감점 사유가 같은지, 피드백의 핵심이 달라지지 않는지 보면 됩니다.
표현을 조금 바꾼 답안도 하나 넣어 보면 좋습니다. 문장 순서만 바꿨는데 점수가 크게 흔들린다면, 기준표가 답안의 핵심보다 표면에 반응하고 있을 수 있습니다. 반복 점수가 비슷하더라도 학생 집단별 오류와 불이익은 따로 살펴야 합니다. 자동 에세이 채점의 공정성 연구가 평균 정확도만으로는 드러나지 않는 집단 차이를 점검해야 한다고 지적하기 때문입니다.3
시간이 아깝다는 말 앞에서
검증에 시간을 쓰면 AI를 쓰는 의미가 줄어든다는 말도 나옵니다. 일리 있는 지적입니다. 무료 요금제라면 검증에 쓴 횟수만큼 실제 채점에 쓸 여유가 줄어들 수도 있습니다. 그래도 이 비용은 앞에서 치르는 비용입니다. 기준이 흔들린 채로 전체 답안을 채점한 뒤 다시 고치는 비용과는 비교가 되지 않습니다.
통과 기준은 지나치게 엄격할 필요가 없습니다. 소수점까지 같은 점수를 기대하기보다, 같은 배점 구간과 같은 핵심 근거를 가리키는지를 보면 됩니다. 생성 결과는 기본적으로 비결정적이고 재현성 설정도 완전한 동일 출력을 보장하지 않으므로, 한 번의 반복 확인은 최소선일 뿐입니다.4 실제 성적을 확정할 권한은 교사에게 남겨 두어야 합니다.
각주
-
ChatGPT as a Stable and Fair Tool for Automated Essay Scoring — Education Sciences 15(8), 2025. 특정 설정 아래의 반복 안정성을 다룬 연구이며 모든 과목과 언어로 일반화할 수는 없다. ↩
-
Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena — NeurIPS 2023. 위치·장황함·자기 강화 편향을 포함한 LLM 평가자의 한계를 보고한다. ↩
-
Fairness in Automated Essay Scoring — BEA/ACL 2024. 독일어 학습자 자료를 다룬 연구이므로 한국어 교실에는 원칙 수준으로 적용했다. ↩
-
Advanced usage — Reproducible outputs — OpenAI 개발자 문서. 반복 입력 결과가 완전히 고정되지 않을 수 있음을 설명한다. ↩
