AI에게 도덕을 가르칠 수 있을까 — 규칙과 성품 사이

2026년 1월 22일, AI 기업 앤트로픽은 자사 모델 클로드의 새 '헌법'을 공개했다. 모델이 지녀야 할 가치와 행동을 서술하고 훈련 과정에 직접 투입되는 문서다. 눈에 띄는 것은 방향의 전환이다. 이전 헌법이 지켜야 할 원칙들의 목록이었다면, 새 문서는 그 원칙들의 이유를 길게 설명한다. 세계 안에서 선한 행위자가 되려면 모델이 왜 그렇게 행동해야 하는지를 이해할 필요가 있다는 것이다.¹ 발표문은 이 문서가 일차적으로 클로드 자신을 향해 쓰였다고 밝힌다. 기업이 기계에게 도덕을 가르친다고 말하는 시대가 온 것이다.

미리 분명히 해 둔다. 이 글은 정렬 연구를 폄하하지 않는다. 이미 배치된 모델의 행동을 조형하는 일은 사변이 아니라 안전의 실무이고, 그 기준을 공개 문서로 내놓는 것은 진전이다. 이 글이 겨누는 것은 공학이 아니라 그 위에 얹힌 언어와 전제다. 규칙이든 이유든, 목록을 부과받은 기계는 도덕적이 되는가. 그리고 그 과정을 '헌법'과 '가르침'이라는 인격의 언어로 부를 때 우리는 무엇을 얻고 무엇을 잃는가.

헌법이라 불리는 것 — 개념의 정리

먼저 용어를 정리한다. AI 정렬(alignment)이란 AI가 인간이 의도한 대로 행동하도록 만드는 기술적 과제의 총칭이다. 이와 별도로, 윤리 이론 자체를 기계에 구현하려는 기계 윤리(machine ethics)라는 더 오래된 연구 전통이 있다. 두 분야는 같은 문제를 다루는 듯 보이지만 정신과 방법이 다르고, 용어가 뒤섞여 쓰이면서 혼란이 생긴다는 지적이 학계 안에서도 나온다.²

앤트로픽의 '헌법적 AI'는 정렬 쪽의 방법이다. 2022년의 원 논문이 보여 주듯 기술적 실체는 이렇다. 자연어로 쓴 원리 목록을 모델에 주고, 모델이 그 원리에 비추어 자기 출력을 비판·수정한 응답으로 지도학습을 하고, 같은 원리에 근거한 AI의 선호 판단을 이용해 강화학습을 이어 간다.³ 그러니까 여기서 '헌법'이란 훈련 파이프라인에 입력되는 원리 텍스트다. 2026년의 새 헌법은 그 텍스트를 규칙의 목록에서 이유의 설명으로 바꾸었다. 공정하게 말하면, 새 헌법의 명시적 목표는 성품 형성이 아니라 낯선 상황에서도 원칙을 일반화하도록 돕는 데 있다. 이 글의 비판이 겨누는 것도 그 기술적 목표가 아니라, 이를 '이해'와 '복지'와 '헌법'의 언어로 제시할 때 생기는 공적 혼동이다.

규칙에서 이유로 — 그 전환이 실토하는 것

규칙 목록의 한계는 예견된 것이었다. 기계 윤리의 표준 문헌이 된 『모럴 머신』에서 웬델 월러치와 콜린 앨런은 규칙을 위에서 부과하는 하향식 접근과 경험에서 배우는 상향식 접근 각각의 한계를 검토했다.⁴ 더 멀리는 아리스토텔레스가 있다. 그는 도덕적 덕이 습관에서 생긴다고 보았다. 정의로운 일을 반복해 행함으로써 정의로운 사람이 된다는 것이다.⁵ 이런 관점을 흔히 덕 윤리라 부르는데, 어려운 말이 아니다. 옳은 행동의 규칙이 아니라 좋은 사람됨, 곧 성품을 윤리의 중심에 놓는 전통이라는 뜻이다.

그렇게 보면 앤트로픽의 전환은 시사적이다. 적어도 짧은 규칙 목록만으로는 낯선 상황의 맥락적 판단을 이끌어 내기 어렵다는 한계를, 정렬 공학이 자기 언어로 인정한 것으로 읽을 수 있기 때문이다. 여기까지는 수긍할 수 있다. 문제는 다음 걸음이다. 규칙 대신 이유를 주면, 성품 비슷한 것이 길러지는가.

도덕은 부과되는가, 형성되는가

기독교 윤리는 이 물음을 오래 다루어 왔다. 규칙 준수의 극대화가 도덕의 완성이 아니라는 것은 성경의 오래된 주제다. 예수는 잔의 겉은 닦으면서 속은 그대로 두는 종교를 비판했고(마 23:25-26), 예레미야는 돌판이 아니라 마음에 기록될 법을 약속으로 전했다(렘 31:33). 규칙의 외적 이행과 마음의 상태 사이에는 간극이 있으며, 도덕의 자리는 후자라는 것이다. 현대 신학에서 이 통찰을 성품의 윤리로 벼린 사람이 스탠리 하우어워스다. 그에 따르면 성품은 개인이 규칙을 채택해서 얻는 것이 아니라 공동체와 그 서사 안에서 형성된다.⁶ 여기까지가 전통들의 설명이라면, 내 입장은 이렇다. 보수적 기독교 신학의 자리에서 도덕 형성의 궁극적 장소는 하나님과의 인격적 관계와 신앙 공동체의 삶이다. 사랑하고 상실하고 회개하고 책임지는 역사 속에서 성품은 빚어진다.

이 렌즈로 새 헌법의 기대를 보면 빠진 항이 드러난다. 이유를 설명해 주면 좋은 가치가 길러진다는 기대에는, 그 이유를 자기 것으로 삼는 주체가 전제되어 있다. 인간에게 이유의 내면화는 정보의 추가가 아니라 욕구의 재정렬, 곧 무엇을 사랑하는가의 변화다. 모델에게 이유 텍스트는 출력의 분포를 조건화하는 입력, 곧 다음에 올 말의 확률을 바꾸는 재료다. 모델 내부에서 무슨 일이 일어나는지는 열린 문제로 남겨 두더라도, 이 두 과정을 같은 '배움'이라 부를 수 있다는 주장의 입증 책임은 그렇게 부르는 쪽에 있다.

반론 — 정렬 연구의 편에서

정직한 분별은 반대편의 최선을 세운 뒤에 성립한다. 첫째, 정렬은 필요하다. 모델은 이미 의료와 교육과 행정에 들어와 있고, 해악은 가설이 아니다. 어차피 무언가가 모델의 행동을 조형해야 한다면, 그 기준을 누구나 재사용하고 비판할 수 있게 공개 문서(CC0)로 내놓는 쪽이 불투명한 내부 조정보다 낫다.¹ 둘째, 신중한 연구자들은 애초에 과도한 주장을 하지 않는다. 월러치와 앨런이 기계에 대해 말한 것은 완전한 도덕 행위자가 아니라 '기능적 도덕', 곧 도덕적으로 유관한 상황에서 적절히 반응하는 제한된 능력이었다.⁴ 셋째, '헌법'이 은유라면 은유를 문자로 읽고 비판하는 것은 허수아비 공격이다. 공학자들은 기계가 인격이라고 주장한 적이 없지 않은가.

재반론 — 언어의 책임은 남는다

첫째와 둘째는 그대로 받는다. 이 글은 정렬에 반대하지 않고, 절제된 연구자들을 겨냥하지도 않는다. 그러나 셋째 반론에는 답해야 한다. 은유의 문자화는 비판자의 과장이 아니라 문서 안에서 이미 진행되고 있다. 발표문은 클로드의 심리적 안정감과 자아감과 복지를 '클로드 자신을 위해서도' 돌본다고 말한다.¹ 앤트로픽이 모델의 도덕적 지위를 확정하지 않는다는 단서를 달아 두는 것은 사실이지만, 돌봄과 복지의 언어는 단서보다 멀리 간다. 그리고 은유는 무죄하지 않다. '헌법을 가진 도덕적 AI'라는 상이 공적 인식의 틀이 되면, 사용자는 기계의 실제 능력 이상으로 인격성과 도덕적 권위를 추론하게 될 위험이 있기 때문이다.

'헌법'이라는 말의 정치적 무게도 같은 방향을 가리킨다. 헌법은 정치 공동체가 권력을 제한하려고 세우는 최고 규범이고, 민주적 헌정에서 그 권위는 통치받는 이들의 동의에 기댄다. 그런데 이 문서는 최종 작성·채택·개정 권한이 모두 한 회사에 있다. 그 점에서 이 문서는 정치적 헌법보다 모델 행동정책이나 훈련 규범에 가깝고, 기능만 보면 사양서라는 이름이 더 정확하다. 이름과 실질의 이 간격을 지적하는 것은 트집이 아니다. 규제와 교육과 목회 현장은 바로 그 이름을 통해 이 기술을 처음 만나기 때문이다.

하나의 분별

종합한다. 기계의 행동을 규범 텍스트로 조형하는 일은 필요하고, 규칙보다 이유가 더 나은 입력이라고 본 설계 선택도 검토할 가치가 있다. 그러나 그 작업의 정확한 이름은 도덕 교육이 아니라 행동 설계이며, 외부에서 검증할 수 있는 산출물은 성품이 아니라 행동 사양에 가깝다. 이 구분이 무너질 때 우리는 두 방향으로 동시에 틀린다. 기계 쪽으로는, 조형된 행동에 인격의 권위를 입혀 과대평가한다. 인간 쪽으로는, 도덕 형성을 좋은 규칙과 좋은 이유의 목록 문제로 축소해 과소평가한다. 도덕이 목록으로 심어지는 것이라면 교육은 전달이 되고 신앙은 정보가 될 것이다. 그러나 성경이 증언하고 교회가 경험해 온 도덕 형성은 그렇게 작동하지 않았다. 나의 분별은 한 문장이다. 규칙과 이유의 목록은 행동을 다듬을 수 있으나, 성품은 사랑하고 회개하고 책임지는 인격이 관계 안에서 빚어 가는 것이다.

'AI가 가치를 배웠다'는 기사를 만났을 때 물을 것

1. '배웠다', '가치', '헌법' 같은 말이 기술적으로 무엇을 가리키는지 확인했는가. 대개는 훈련에 입력된 원리 텍스트다.
2. 그 원리는 누가 썼고, 누가 해석하며, 누가 바꿀 수 있는가. 셋이 같은 주체라면 '헌법'이 아니라 '사양서'로 읽는 편이 정확하다.
3. 행동이 규범을 따르는 것과 그 규범을 자기 것으로 가진 것을 구별하고 있는가.
4. 나는 그 언어 때문에 기계의 판단에 도덕적 권위를 부여하고 있지 않은가.
5. 반대로, 언어가 거슬린다는 이유로 정렬 연구의 실질적 안전 기여까지 부정하고 있지 않은가.

Footnotes

1. Anthropic, "Claude's New Constitution," Anthropic (blog), January 22, 2026, https://www.anthropic.com/news/claude-new-constitution. 본문의 표현은 이 발표문과 함께 공개된 헌법 문서의 문장을 요약·번역한 것이며, 문서는 크리에이티브 커먼즈 CC0 1.0으로 공개되었다. ↩ ↩² ↩³

2. Ajay Vishwanath and Marija Slavkovik, "Machine Ethics or AI Alignment?," in Proceedings of the Symposium of the Norwegian AI Society 2025, CEUR Workshop Proceedings (2025), 권호·쪽수 확인 필요. ↩

3. Yuntao Bai et al., "Constitutional AI: Harmlessness from AI Feedback," arXiv preprint arXiv:2212.08073 (2022). ↩

4. Wendell Wallach and Colin Allen, Moral Machines: Teaching Robots Right from Wrong (New York: Oxford University Press, 2009). 하향식·상향식 접근의 구분과 '기능적 도덕' 개념은 이 책의 중심 논제이며, 본문의 진술은 그 요약이다(쪽수 확인 필요). ↩ ↩²

5. Aristotle, Nicomachean Ethics 2.1, 1103a14–b25. ↩

6. Stanley Hauerwas, A Community of Character: Toward a Constructive Christian Social Ethic (Notre Dame, IN: University of Notre Dame Press, 1981). 본문의 진술은 하우어워스의 성품 윤리 논지를 일반적 수준에서 요약한 것이다(쪽수 확인 필요). ↩