동료의 후기를 보고 AI 도구를 바꾸기 전에, 내 작업에서도 확인했는가

후기는 남의 과업 위에서 나온 결과예요

주변에서 "이 도구가 훨씬 낫더라"는 말을 들으면 마음이 흔들리죠. 강의안을 짜다가도, 논문 초록을 다듬다가도 그런 후기를 접하면 도구를 바꿔야 하나 고민하게 됩니다. 문제는 그 후기가 어떤 과업 위에서 나왔는지 거의 드러나지 않는다는 점이에요. 코드 생성에서 좋았다는 평가와, 강의안의 논지 전개에서 좋았다는 평가는 전혀 다른 근거예요. 예를 들어 문서 요약에서는 만족스러웠던 도구가 각주 형식을 정리하는 작업에서는 오히려 손이 더 갈 수도 있어요. 후기를 전한 사람의 작업 방식과 내 작업 방식이 같다는 보장도 없죠. 특히 강의나 상담처럼 결과를 즉시 되짚어 보기 어려운 업무일수록, 후기 하나에 기대어 결정을 내리고 싶은 유혹이 커지기 마련이에요. 도구의 우열은 일반적으로 정해지지 않아요. 과업마다 다르게 갈리죠.

벤치마크 순위와 다수의 선택, 얼마나 믿을 수 있을까

여기서 반론이 하나 있습니다. 벤치마크 점수나 다수 사용자의 선택이 이미 어느 정도 검증을 대신해 주는 것 아니냐는 반론이죠. 표본이 크고 채점 기준이 공개된 만큼 근거가 없지는 않아요. 다만 벤치마크는 대개 표준화된 문제 위에서 측정되고, 다수의 선택은 대중적 용도의 평균을 반영할 뿐이에요. 다수의 선택 역시 뉴스 요약이나 코드 보조처럼 자주 쓰이는 용도에 쏠려 있어서, 강의계획서를 쓰거나 학술 각주를 정리하는 것처럼 상대적으로 드문 용도에는 그대로 적용되지 않는 경우가 흔해요. 강의안 구성이나 각주 정리처럼 개인의 구체적 작업 방식이 개입하는 영역에서는 그 평균이 그대로 들어맞지 않는 경우가 많죠. 실제로 arXiv에 공개된 「Notes to Self: Can LLMs Benefit from Experiential Abstractions?」 논문은 모델이 이전 시행에서 얻은 경험을 스스로 요약해 남기는 방식이 이후 작업에 도움이 되는지를 다루고 있어요. 이 논문 역시 동료심사를 거쳤다고 단정할 근거는 없지만, 일반화된 평가가 아니라 실제 시행 기록을 되짚는 접근이라는 점에서 이 글의 문제의식과 방향이 닿아 있어요. 그렇다고 벤치마크나 후기를 무시하라는 뜻은 아니에요. 참고 자료로 삼되, 마지막 판단은 내 과업 위에서 내려야 한다는 뜻이죠.

무료 범위 안에서 내 과업으로 재현하는 절차

그러면 어떻게 확인할까요. 먼저 최근에 실제로 처리했던 과업을 하나 고릅니다. 강의 개요든, 이메일 답장이든 상관없어요. 그다음 후보 도구의 무료 버전에 같은 입력을 넣고 결과를 나란히 놓습니다. 가령 강의 유인물 초안을 두 도구에 동일하게 맡기면, 구성 순서나 예시 선택에서 차이가 금방 드러나요. 각주나 인용을 포함한 과업이라면 두 결과 모두에서 실제로 존재하지 않는 문헌이 섞여 있는지부터 대조해야 해요. 이때 결과의 화려함이 아니라 실제로 손댈 부분이 얼마나 남는지를 기준으로 봐야 해요. 같은 조건이라도 결과가 매번 똑같이 나오지는 않으니, 하루 이틀 간격을 두고 다시 시도해 보는 것도 도움이 돼요. 무료 범위에는 사용 횟수나 토큰 제한이 있으니 한두 번의 비교로 끝내지 말고, 다른 성격의 과업으로 한 번 더 반복해 보는 편이 안전해요.

확인하는 습관이 도구보다 오래가요

도구는 몇 달 안에 또 바뀔 거예요. 순위도 그때마다 뒤집히겠죠. 하지만 내 과업 위에서 직접 대조해 보는 절차는 도구가 바뀌어도 그대로 쓸 수 있어요. 동료의 후기를 참고 자료로 쓰는 것과, 그 후기를 검증 없이 그대로 따르는 것은 다른 일이에요. 후기를 참고하는 것 자체는 나쁘지 않지만, 그 후기를 내 작업으로 옮겨와 다시 확인하는 단계를 건너뛰지 않는 게 중요해요. 결과가 기대에 못 미쳐도 괜찮아요. 그 확인 과정에서 내 과업이 실제로 무엇을 요구하는지 더 분명해지니까요. 그 습관은 지금 쓰는 도구뿐 아니라 다음에 나올 어떤 도구에도 그대로 적용할 수 있어요. 그 차이를 아는 것만으로도 다음 도구를 고를 때 시간을 아낄 수 있어요.

참고 자료

• Towards Miniature Humanoid Tele-Loco-Manipulation Using Virtual Reality and Reinforcement Learning — arxiv.org, 2026-07-22 발행
• 3 Google updates from Galaxy Unpacked 2026 — blog.google, 2026-07-22 발행
• Notes to Self: Can LLMs Benefit from Experiential Abstractions? — arxiv.org, 2026-07-22 발행

본문 집필에 참고한 공개 자료입니다. 접속 확인일: 2026-07-29.