AI가 만들어 준 참고문헌은 겉모양이 먼저 믿음을 얻습니다. 저자명, 연도, 제목, 링크가 제자리에 있으면 이미 확인된 자료처럼 보이기 때문입니다. 그런데 인용의 신뢰는 형식에서 나오지 않습니다. 원문이 실제로 있는지, 내가 쓰려는 문장이 그 원문이 말하는 범위 안에 있는지 확인해야 비로소 각주가 됩니다.
각주는 대조 기록입니다
각주에 넣기 전 가장 먼저 볼 것은 제목의 실재 여부입니다. ChatGPT가 만든 서지 인용의 가공과 오류를 조사한 연구는, 참고문헌 형식이 온전해 보여도 실제 자료와 맞지 않을 수 있음을 보여 줍니다.1 특정 모델과 시점의 결과를 최신 모델 전체로 일반화할 수는 없지만, 원문 확인을 생략해도 된다는 결론은 나오지 않습니다.
분야마다 다른 검증 층위
의료 분야의 체계적 문헌고찰 질문에서 ChatGPT와 Bard의 참고문헌 정확도를 비교한 연구도 환각 인용이 실제 검토 절차를 흔들 수 있음을 확인했습니다.2 다만 의료 질문에서 얻은 비율을 모든 학문 분야로 옮겨 적어서는 안 됩니다. 내 글에서는 제목, 저자, 발행처, DOI가 서로 맞는지 확인하고, 원문 문장이 내가 붙이려는 주장까지 실제로 지지하는지를 따로 봐야 합니다.
원문으로 돌아가는 경로
검색 연동 AI라면 괜찮지 않느냐는 반론이 있습니다. 검색은 분명 도움이 됩니다. 그래도 검색된 페이지를 어떤 문장으로 요약하고, 그 요약을 어디까지 주장으로 끌고 갈지는 별도의 문제입니다. NIST도 생성형 AI의 허위 생성을 정보 무결성 위험으로 분류합니다.3 자동 인용 검사 도구 역시 의심스러운 항목을 좁혀 줄 뿐 최종 판정을 대신하지 못한다는 최신 입장 논문도 나왔습니다.4 각주 번호는 장식이 아니라 사람이 원문으로 돌아갈 수 있게 하는 경로여야 합니다.
보류라는 편집
원문이 확인되지 않거나 자료의 성격이 맞지 않으면, 인용을 보류하는 편이 낫습니다. 글의 흐름이 조금 덜 화려해져도 괜찮습니다. 확인된 자료로 말할 수 있는 범위만 적는 습관이 결국 글을 지켜 줍니다. AI가 준 참고문헌을 각주로 옮기는 일은 복사 작업이 아니라 검증 작업입니다.
각주
-
Fabrication and errors in the bibliographic citations generated by ChatGPT — Scientific Reports, 2023. 특정 모델과 시점의 실험이라는 범위를 각주에 함께 남겼다. ↩
-
Hallucination Rates and Reference Accuracy of ChatGPT and Bard for Systematic Reviews — Journal of Medical Internet Research, 2024. 의료·체계적 문헌고찰 맥락의 연구라 일반 분야에는 확인 원칙만 적용했다. ↩
-
Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile — NIST AI 600-1, 2024. 학술 인용 매뉴얼이 아니라 생성형 AI의 정보 무결성 위험을 다루는 지침이다. ↩
-
Detecting Hallucinated and Suspicious Citations: What Current Tools Can and Cannot Do — arXiv, 2026년 공개 입장 논문. 자동 검사 도구의 한계를 다루므로 확정된 표준으로 인용하지 않았다. ↩
