이제 AI 결과물은 눈으로 확인할 수 없다

요즘 AI가 내놓는 결과물은 예전처럼 한눈에 훑어볼 수 있는 크기가 아닙니다. 한 장짜리 이미지나 짧은 코드 조각이 아니라 몇 시간 걸리는 시뮬레이션, 수학 난제 해결 주장, 사람과 구분되지 않는 생성물까지 나오고 있습니다. 이런 결과물을 스크롤 몇 번으로 훑어보는 확인 방식은 더 이상 통하지 않습니다. 최근 소개된 장시간 평가 실험, OpenAI의 수학 난제 해결 발표, 이번 달 시행된 EU의 라벨링 규제를 나란히 보면 확인하는 방법 자체가 바뀌는 중이라는 신호가 읽힙니다. 세 소식은 영역이 서로 다르지만, 확인 방법을 다시 짜야 한다는 요구에서 겹칩니다.

펠리컨 한 장이 감당 못 하는 것

Andrej Karpathy가 소개한 평가 실험 얘기부터 해보겠습니다. 그동안 LLM 성능을 가늠하는 방법 중 하나는 자전거 탄 펠리컨을 SVG로 그려보라는 단일 결과물 요청이었습니다. 결과물 하나를 보고 그럴듯한지 바로 판단할 수 있었기 때문입니다.

그런데 이 실험은 다른 방향으로 나아갔습니다. Opus 5에 《반지의 제왕》 첫 문단과 100만 토큰 예산을 주고 Three.js로 세계를 절차적으로 구현하라고 요청했더니, 약 두 시간에 걸친 작업이 이어졌다고 합니다.¹

과정 전체를 봐야 알 수 있었습니다.

이 방식이 평가 기준으로 자리 잡으려면 아직 갈 길이 멉니다. 지금은 카르파시 개인이 소개한 사례 하나에 가깝고, 같은 실험을 다른 모델이나 다른 조건에서 반복했을 때도 비슷한 결과가 나오는지는 따로 확인돼야 하기 때문입니다. 그래도 이번 실험은 평가라는 개념이 결과 하나에서 과정 전체로 옮겨가고 있다는 신호로는 읽을 만합니다.

난제를 풀었다는 말부터 확인할 차례

비슷한 시기 OpenAI는 기하학, 암호학, 복잡도 이론을 아우르는 오래된 수학 및 이론전산학 난제 열 건에서 진전을 이뤘다는 글을 발표했습니다.² 회사가 스스로 밝힌 성과라는 점이 눈에 띕니다.

수학 난제는 원래 검증에 시간이 걸리는 영역입니다. 증명 하나를 학계가 받아들이기까지 몇 달, 길게는 몇 년씩 동료 검토를 거치는 경우가 많습니다. AI가 내놓은 결과라고 해서 그 절차가 생략될 이유는 없습니다. 특히 암호학이나 복잡도 이론처럼 증명이 복잡한 분야일수록 검증에는 더 오랜 시간이 필요합니다.

그래서 이 발표를 접했을 때 성과 자체보다 먼저 물어야 할 건 누가, 어떤 방식으로 독립적으로 재현했느냐입니다. 지금 단계에서는 회사의 자체 발표에 크게 의존하고 있는 만큼, 동료 검증이 뒤따르기 전까지는 조심스럽게 지켜보는 편이 맞습니다.

라벨이 요구하는 새로운 습관

세 번째 사례는 성격이 완전히 다릅니다. 2026년 8월 2일부터 적용되는 EU AI법 제50조는 이용자가 AI와 직접 상호작용할 때 그 사실을 알리도록 하고, 생성·변형된 콘텐츠에는 기계가 읽을 수 있는 표식을 남기도록 요구합니다. 사람이 검토하지 않은 공익 목적의 AI 생성 문서와 딥페이크에는 눈에 보이는 표시도 필요합니다.³

모든 AI 보조 이미지나 영상에 같은 표시를 붙이라는 뜻은 아닙니다. 일반적인 편집을 돕거나 입력의 의미를 크게 바꾸지 않은 경우 등에는 예외가 있고, 기존 시스템 일부에는 유예 기간도 있습니다. 그래도 적용 대상이 규정을 어기면 전 세계 연간 매출의 최대 3% 또는 1,500만 유로까지 벌금이 부과될 수 있습니다. 결과물을 받는 사람이 AI의 개입을 혼자 추리하게 두지 않으려는 제도라는 점은 분명합니다.

물론 라벨이 내용의 정확성까지 보장하지는 않습니다. AI가 관여했다는 사실을 아는 것과 그 결과물이 맞는지 판단하는 일은 별개이기 때문입니다.

규모가 갈라놓은 세 갈래 절차

세 사례가 겹치는 지점은 분명합니다. 결과물을 눈으로 슥 보고 넘어가던 확인 방식이 결과물의 규모와 성격에 따라 저마다 다른 절차로 갈라지고 있다는 것입니다.

몇 시간짜리 작업은 과정을 끝까지 지켜보는 평가로, 학술적 주장은 동료 검증이라는 오래된 절차로, 일상적으로 마주치는 생성물은 법적 표시 의무로 각각 옮겨가고 있습니다. 세 절차는 속도도 다르고 신뢰하는 주체도 다릅니다.

연구나 수업, 업무에서 AI 결과물을 다룰 때도 이 흐름은 참고할 만합니다. 결과물이 길어질수록 훑어보기보다 과정을 나눠 확인하는 습관이, 큰 주장일수록 발표 하나로 끝내지 않고 독립된 검증을 기다리는 태도가 필요해지고 있습니다. 결과물의 크기와 성격에 맞춰 확인 절차도 함께 늘어나야 한다는 걸 이 세 소식이 알려줍니다.

각주

1. Karpathy의 펠리컨 — news.hada.io, 2026-08-02 발행, 2026-08-02 접속 확인. ↩

2. Ten advances in mathematics and theoretical computer science — openai.com, 2026-08-01 발행, 2026-08-02 접속 확인. ↩

3. Quick Facts: Transparency rules for AI systems — European Commission, 2026-07-20 공개, 2026-08-04 접속 확인. 제50조의 적용 대상·예외·유예기간과 제재 범위를 함께 확인했다. ↩