갈아타기 전에 필요한 건 실측

"이 도구가 훨씬 낫더라"는 말을 들으면 바로 갈아타고 싶어집니다. 강의안, 연구 메모, 이메일 답장처럼 매일 쓰는 일이 많을수록 더 그렇습니다. 그러나 후기는 늘 누군가의 과업 위에서 나온 결과입니다. 그 과업이 내 일과 같다는 보장은 없습니다.

후기가 나온 작업부터 묻기

동료가 만족했다는 말은 참고할 만합니다. 다만 무엇에서 만족했는지를 물어야 합니다. 코드 생성에서 좋았던 도구가 강의안의 논지 전개에도 좋은 것은 아니기 때문입니다. NIST의 AI 위험관리 프레임이 시험·평가·검증·확인을 실제 사용 맥락과 연결하는 이유도 여기에 있습니다.¹ 평판은 후보를 찾는 단서이지 선택의 근거 전체가 아닙니다.

내 과업으로 작게 재현해 봅니다

도구를 바꾸기 전에는 최근에 실제로 했던 작업 하나를 고릅니다. 같은 입력을 후보 도구에 넣고 결과를 나란히 보십시오. 손볼 문장이 얼마나 남는지, 출처를 제대로 다루는지, 내가 원하는 어조에서 벗어나지 않는지를 기록하면 됩니다. 교사용 AI 도구를 실제 교수 상황에서 비교하려는 평가 프로젝트도 이런 맥락별 비교의 필요성을 전제로 합니다.² 아직 진행 중인 프로젝트이므로 완성된 성능 순위처럼 인용해서는 안 됩니다.

무료 범위의 안과 밖

무료 버전만으로도 초안 품질, 구조 감각, 각주 처리의 위험은 어느 정도 확인할 수 있습니다. 대신 호출 횟수, 컨텍스트 길이, 최신 정보 접근은 도구마다 다를 수 있습니다. OECD의 2026 디지털 교육 전망도 생성형 AI가 학습에 도움이 되려면 분명한 교수 원리와 맥락이 필요하다고 지적합니다.³ 무료 테스트의 결론은 "이 조건에서는 이렇게 보였다"로 남겨야 합니다.

직접 비교가 남긴 기록

도구는 계속 바뀝니다. 오늘의 평판도 몇 달 뒤에는 달라질 수 있습니다. 오래 남는 것은 내 과업에서 직접 비교해 본 기록이고, 바꿀지 말지는 그 기록이 알려 줍니다. 학교에서 쓸 도구라면 TeachAI가 제시하는 형평성, 개인정보·보안, AI 리터러시, 학업 윤리, 지속 평가도 함께 확인해야 합니다.⁴ 미국 학교용 지침이 한국의 규정을 대신하지는 않지만, 비교표에 성능과 가격만 넣어서는 부족하다는 기준은 분명합니다.

각주

1. Artificial Intelligence Risk Management Framework 1.0 — NIST AI 100-1, 2023. 조직 수준 프레임의 시험·평가·검증·확인 원칙만 개인 도구 비교에 축약해 적용했다. ↩

2. Evaluating and Comparing AI Tools for Teachers: What Works and What Doesn’t — American Institutes for Research. 진행 중 평가 프로젝트이므로 완성된 벤치마크 결과로 쓰지 않았다. ↩

3. OECD Digital Education Outlook 2026 — OECD, 2026. 개별 제품 순위가 아니라 교육 맥락과 교수 원리의 필요성을 다룬다. ↩

4. AI Guidance for Schools Toolkit — TeachAI, 2025. 미국 학교용 도입 지침이므로 지역 법규를 대신하지 않는다. ↩