요즘 AI가 내놓는 결과물은 예전처럼 한눈에 훑어볼 수 있는 크기가 아니에요. 한 장짜리 이미지나 짧은 코드 조각이 아니라 몇 시간 걸리는 시뮬레이션, 수학 난제 해결 주장, 사람과 구분되지 않는 생성물까지 나오고 있어요. 이런 결과물을 스크롤 몇 번으로 훑어보는 확인 방식은 더 이상 통하지 않죠. 최근 소개된 장시간 평가 실험, OpenAI의 수학 난제 해결 발표, 이번 달 시행된 EU의 라벨링 규제를 나란히 보면 확인하는 방법 자체가 새롭게 바뀌고 있다는 걸 알 수 있어요. 이 세 가지는 서로 다른 영역에서 나온 소식이지만, 확인 방법을 다시 짜야 한다는 점에서는 같은 방향을 가리켜요.
펠리컨 한 장이 감당 못 하는 것
Andrej Karpathy가 소개한 평가 실험 얘기부터 해볼게요. 그동안 LLM 성능을 가늠하는 방법 중 하나는 자전거 탄 펠리컨을 SVG로 그려보라는 단일 결과물 요청이었어요. 결과물 하나를 보고 그럴듯한지 바로 판단할 수 있었으니까요.
그런데 이 실험은 다른 방향으로 나아갔어요. Opus 5에 《반지의 제왕》 첫 문단과 100만 토큰 예산을 주고 Three.js로 세계를 절차적으로 구현하라고 요청했더니, 약 두 시간에 걸친 작업이 이어졌다고 해요.1
과정 전체를 봐야 알 수 있었죠.
이 방식이 평가 기준으로 자리 잡으려면 아직 갈 길이 멀어요. 지금은 카르파시 개인이 소개한 사례 하나에 가깝고, 같은 실험을 다른 모델이나 다른 조건에서 반복했을 때도 비슷한 결과가 나오는지는 따로 확인돼야 하니까요. 그래도 이번 실험은 평가라는 개념이 결과 하나에서 과정 전체로 옮겨가고 있다는 신호로는 읽을 만해요.
난제를 풀었다는 말부터 확인할 차례
비슷한 시기 OpenAI는 기하학, 암호학, 복잡도 이론을 아우르는 오래된 수학 및 이론전산학 난제 열 건에서 진전을 이뤘다는 글을 발표했어요.2 회사가 스스로 밝힌 성과라는 점이 눈에 띄어요.
수학 난제는 원래 검증에 시간이 걸리는 영역이에요. 증명 하나를 학계가 받아들이기까지 몇 달, 길게는 몇 년씩 동료 검토를 거치는 경우가 많죠. AI가 내놓은 결과라고 해서 그 절차가 생략될 이유는 없어요. 특히 암호학이나 복잡도 이론처럼 증명이 복잡한 분야일수록 검증에는 더 오랜 시간이 필요하죠.
그래서 이 발표를 접했을 때 성과 자체보다 먼저 물어야 할 건 누가, 어떤 방식으로 독립적으로 재현했느냐예요. 지금 단계에서는 회사의 자체 발표에 크게 의존하고 있는 만큼, 동료 검증이 뒤따르기 전까지는 조심스럽게 지켜보는 편이 맞아요.
라벨이 요구하는 새로운 습관
세 번째 사례는 성격이 완전히 달라요. 2026년 8월부터 EU AI법에 따라 유럽 내 기업은 사용자가 AI 시스템과 상호작용하고 있다는 사실을 명확히 알리고, AI로 만든 이미지·오디오·비디오·마케팅 자료에 라벨을 붙여야 해요.3
규정을 어기면 전 세계 연간 매출의 최대 3% 또는 1500만 유로 중 높은 금액이 벌금으로 부과될 수 있다고 해요. 콘텐츠를 만든 쪽이 먼저 표시해야 하니, 받아보는 사람은 어디부터 사람이 만들고 어디부터 AI가 관여했는지 스스로 추리할 필요가 줄어들죠.
물론 라벨이 내용의 정확성까지 보장하지는 않아요. AI가 관여했다는 사실을 아는 것과 그 결과물이 맞는지 판단하는 일은 별개니까요.
확인 방식을 새로 짜는 중
세 사례를 나란히 놓으면 방향이 하나로 모여요. 결과물을 눈으로 슥 보고 넘어가던 확인 방식이 결과물의 규모와 성격에 따라 저마다 다른 절차로 갈라지고 있다는 거예요.
몇 시간짜리 작업은 과정을 끝까지 지켜보는 평가로, 학술적 주장은 동료 검증이라는 오래된 절차로, 일상적으로 마주치는 생성물은 법적 표시 의무로 각각 옮겨가고 있어요. 세 절차는 속도도 다르고 신뢰하는 주체도 달라요.
연구나 수업, 업무에서 AI 결과물을 다룰 때도 이 흐름은 참고할 만해요. 결과물이 길어질수록 훑어보기보다 과정을 나눠 확인하는 습관이, 큰 주장일수록 발표 하나로 끝내지 않고 독립된 검증을 기다리는 태도가 필요해지고 있어요. 결과물의 크기와 성격에 맞춰 확인 절차도 함께 늘어나야 한다는 걸 이 세 소식이 알려줘요.
각주
-
Karpathy의 펠리컨 — news.hada.io, 2026-08-02 발행, 2026-08-02 접속 확인. ↩
-
Ten advances in mathematics and theoretical computer science — openai.com, 2026-08-01 발행, 2026-08-02 접속 확인. ↩
-
EU, 8월부터 AI 챗봇·딥페이크 표기 의무화…'AI 라벨링' 규제 본격화 — www.aitimes.com, 2026-08-02 발행, 2026-08-02 접속 확인. ↩
