AI 해킹보다 더 주의해야 할 것

에이전트형 AI의 '탈옥'과 '해킹' 사건 이후 인간에 의한 '통제 가능' 여부가 뜨거운 현안으로 떠올랐다. 요즘 사람들의 관심은 온통 점점 더 빠르게 힘을 더해가는 AI의 위력에 가 있다. 그 사이 인간 자신의 능력과 책임에 대한 인식과 관심은 뒤로 밀려 나고 있다. 어느새 기계인 AI의 주체성(agency)과 인간의 주체성이 일과 삶 속에서 경쟁하는 양상을 띠기 시작했고, 산업적 필요에 의해서든 혹은 개인들의 편리에 따라서든 전자는 후자를 점점 밀어낼 기세다. 그래도 좋은가. 이 점을 심각하게 문제 삼은 뛰어난 글을 소개한다. 지능에 관한 한 이제는 상식이 된 듯한 기계공학적 이해의 문제점을 지적하고, 삶의 주체로서 인간의 윤리적 판단의 기반 능력으로서 이성과 지성에 대해 이야기한다. 철학적인 쟁점을 세밀하게 논한 꽤 긴 글이지만, 논리적으로 어렵지 않게 잘 풀어 쓴 글이어서 천천히 완독해 볼 것을 권한다.

원문: Reason is more than a tool

이성은 한갓 도구를 넘어선다.
지능이 단지 최적화의 도구라면 기계가 앞선다.
하지만 인간의 이성은 그 이상의 것이다.

한 저명한 컴퓨터 과학자가 강연에서 LLM의 탁월함을 ‘최적화’로 설명했다. 이것은 과거 경험을 바탕으로 최적화 능력을 향상시킨다고 했다. “그게 바로 지능입니다.” 청중은 수긍한다는 듯 고개를 끄덕였다. 과연 그럴까?

   

현대 AI는 대개 그런 식으로 설명된다. 이 시스템은 목표, 손실, 보상, 예측, 선호도, 벤치마크, 피드백 루프를 중심으로 구축된다. 그리고 특정 성공 기준에 비춰 더 나은 성과를 내도록 훈련받는다. 어떤 식으로든 이들은 최적화를 수행한다.

   

거슬리는 부분은 기계에 적합한 정의가 마치 지능 자체에 대한 정의처럼 들리기 쉽다는 점이다. 공학적 모델에서 인간학으로 은근슬쩍 옮겨간다는 점을 간과하기 쉽다. 처음엔 “기계가 작동하는 방식은 이렇다”라며 시작한 다음엔 어느새 “이게 바로 지능”이라는 결론에 이른다. 더 위험한 것은 “어쩌면 이게 바로 우리의 본질일지 모른다”라는 생각에 이른다는 점이다.

   

인간에 대한 오래된 논쟁이 아무런 예고도 없이 그 자리에 들어서 버린 것이다. AI 혁명은 계몽주의 시대의 가장 깊은 논쟁 하나를 되살려냈고, 그중 한쪽 입장을 당연한 상식인 양 보이게 만들었다. 하지만 그렇지 않다.

   

18세기 철학자들은 이성이 무엇인지 그릭고 용도가 무엇인지에 대해 고민했다. 이성은 단지 목적을 달성하기 위한 수단에 불과한 걸까? 아니면 스스로 목적을 판단하고 수정하며, 심지어 설정할 수 있는 주체인가? 이성은 궁극적으로 인간 삶의 방향을 정할 수 있는가, 아니면 흐름을 지원하는 것에 불과한가?

   

스코틀랜드의 철학자 데이비드 흄은 한쪽 입장에서 가장 유명한 답변을 내놓았다. 그는 <인간 본성에 관한 논고>(1739)에서 “이성은 욕망의 노예이며, 오직 욕망의 노예로만 남아야 한다”고 썼다. 이성은 “욕망을 섬기고 복종하는 것 외에는 어떤 역할도 주장할 수 없다.” 이성은 우리에게 무엇을 원해야 하는지, 혹은 무엇을 원할 가치가 있는지 알려주지 않는다. 이미 우리가 원하는 것을 얻는 방법을 알려줄 뿐이다. 이성은 관계를 계산하고, 증거를 저울질하며, 원인과 결과를 발견하고, 추론을 도출하며, 수단에 대한 오류를 바로잡을 순 있지만 목적을 판단하거나 창출할 수는 없다. 욕망이 목적지를 정하면 이성은 이르는 길을 보여줄 뿐이다.

   

흄은 “내 손가락이 다치는 것보다 온 세상이 파괴되는 것을 선호하는 것이 이성에 반하는 것은 아니다”라고 썼다. 그가 볼 때 행동에서 이성은 주인이 아니라 하인이다.

   

그에게 감정은 단순한 욕구나 원시적 충동만이 아니었다. 여기에는 공감, 자비심, 도덕적 감정, 타인에 대한 배려, 평온에 대한 사랑, 심지어 더 격렬한 욕망으로부터 벗어나고자 하는 바람까지 포함되었다. 그의 견해는 직관적으로 강한 호소력이 있다. 이성이 종종 감정에 복무한다는 점과, 감정과 사교성, 기질에 마땅한 가치를 부여한 점은 옳았다.

   

그의 실수는 이성이 그 이상은 아무것도 할 수 없다고 결론지은 데 있었다. 감정을 너무나 풍요롭게, 하지만 이성은 너무나 빈약하게 묘사함으로써, 흄은 우리에게 인간 본성에 대한 불균형적인 그림을 남겼다. 감정이 무엇일 수 있고 무엇을 성취할 수 있는지에 대해서는 탁월하게 묘사했지만, 이성에 대해서는 믿기 힘들 정도로 제한적인 관점을 제시한 것이다. 목적을 계획하고, 평가하며, 수정하는 이성의 힘이 없다면, 우리는 목적지에 도달하는 방법은 알 수 있겠지만, 그것이 선택할 가치가 있는 곳인지는 알 수 없게 된다.

   

현대 윤리학을 정립한 칸트는 이 점을 잘 이해하고 있었다. 흄의 논고가 나온 지 수십 년 후에 저술한 칸트는 이성을 하인처럼 취급하는 모델을 거부했다. 그는 이성이 세상의 구성 요소에서 가치를 읽어낼 수 없다는 흄의 경고를 받아들였다. 그러나 그렇다고 해서 우리의 목적이 단순히 욕망, 기질, 혹은 사회적 관습에 의해 결정되어야 한다는 그의 주장은 부정했다.

칸트에게 이성은 목적 달성을 위한 효율적 수단을 선택하는 능력일 뿐만 아니라, 애초에 그 목적이 우리에게 합당한지, 정당화될 수 있는지, 모순 없이 의지할 수 있는지, 그것을 추구하는 것이 타인을 한 사람으로서 대하는지 아니면 단순한 도구로 대하는지 묻는 힘이기도 하다.

   

바로 여기에서 자유로서의 이성이라는 칸트의 더 풍부한 개념이 등장한다. 순전히 기계적인 존재는 욕망, 생물학적 충동, 진화적 동인 또는 이와 유사한 것들 같은 선행 상태에 의해 결정된다. 반면 이성적인 존재는 스스로 창안하고 제안한, 상상되지만 아직 실현되지는 않은 미래를 위해 행동할 수 있다. 나는 가능한 세계-회복된 우정, 시정된 불의, 교육 받은 아이, 개정된 법-를 상상의 대상으로 삼고, 비록 그런 세계가 이전에 존재했다는 경험적 증거가 없더라도 그것을 실현하기 위해 행동할 힘이 있다.

   

나는 새로운 것을 창조할 힘이 있다. 칸트는 실천 이성이 사물을 ‘알기 위해’ 다루는 것이 아니라, ‘그것을 현실로 만들기 위해’ 다루는 것이라고 썼다. 자유롭게 행동한다는 것은 단순히 주어진 것-있는 그대로의 세상이나 우연히 마주하게 된 나의 욕망-에 반응하는 것이 아니다. 그것은 ‘어떻게 되어야 하는지’에 대한 관념 아래 파악된 가능한 미래가 현재를 변화시키게 하는 것이다.

   

이것이 바로 칸트의 자율성 사상의 핵심이다: 자신이 이성적으로 자신의 것으로 인정할 수 있는 법칙에 따라 목적을 선택하는 것이다. 칸트에게 있어 자유는 우리가 우연히 원하는 대로 뭐든 하는 데에 있는 것이 아니다. 우리의 욕망 자체는 충동, 욕구, 또는 상황에 의해 형성될 수 있기 때문이다. 자율성은 자기 통치이지만 고립된 자아의 통치가 아니다. 스스로에게 법칙을 부여한다는 것은 자신에게만 맞는 사적인 규칙을 만들어내는 것이 아니라, 자신이 그 권위를 인정할 수 있고, 원칙적으로 다른 어떤 이성적인 존재도 인정할 수 있는 규칙에 따라 행동하는 것이다.

   

따라서 법(준칙)은 나만의 것이 아니면서도 나 자신의 것이 될 수 있다. 그것은 내가 스스로 그 권위를 인정할 수 있으므로 나의 것이며, 다른 어떤 이성적 존재도 원칙적으로 똑같이 할 수 있으므로 공통된 것이다. 그 보편성이야말로 법이 해방감을 주는 이유다. 나는 일시적인 욕망이나 타인의 자의적인 의지에 지배당하는 것이 아니라, 동등한 존재들 중 한 사람으로서 이해하고 지지할 수 있는 원칙에 의해 지배받는 것이다.

   

따라서 자율적으로 행동한다는 것은 나의 사적인 목표와 선호를 최우선으로 삼는 것이 아니라, 어떤 이성적 존재라도 공유할 수 있는 기준에 비춰 나의 행동과 가능한 목적을 검증하는 것이다. 이는 자의적인 자기주장이나 정열에 종속된 노예 상태와는 정반대의 것이다.

   

이것이 바로 칸트의 이성 철학이 모든 사람의 평등한 인간 존엄에서 정점을 이루는 이유다. 칸트에게 인간은 이성적이고 자기결정적인 주체로서, 가격을 매길 수 없는 절대적 가치와 그 어떤 다른 가치에도 의존하지 않는 존엄성이 있다. 우리는 원하는 것을 얻기 위해 사물을 사용할 수 있다. 서비스를 교환할 수도 있다. 온갖 목적을 위해 도구를 만들 수도 있다.

   

그러나 인격체는 결코 단순한 도구가 아니며, 단순한 수단이 아니며, 타인의 목적을 위한 한갓 자원이나 장애물이 될 수 없다. 그들은 이성을 통한 목적성 그 자체의 원천이기 때문이다.

   

인간은 자신의 목적을 설정하고 선택하며 비판한다. 나아가 인간은 단순히 목적을 지닌 존재일 뿐만인 아니라, 그 목적에 대해 책임질 수 있고, 무엇을 추구해야 하는지, 그리고 그것을 타인에게 어떻게 정당화할 수 있는지를 물을 수 있는 존재다. 인간의 존엄성은 단순히 자신만의 목표를 세우는 데에 있는 것이 아니라 이성적인 자기 통치 능력에 있다. 따라서 누군가를 한갓 수단으로 취급하는 것은 그 사람을 모욕하는 것일 뿐만 아니라, 그 사람의 본질을 잘못 인식하는 것이다.

   

바로 여기에서, ‘종속된 이성’과 ‘주권적인 이성’ 사이의 대조가 그 진정한 힘을 발휘한다. 흄에게 인간은 우연히 그들을 움직이는 어떤 욕망이든 따르는 영리한 도구일 뿐이다. 물론 동물보다 더 계산적이긴 하지만, 더 깊은 의미에서 자유롭지는 않다. 그들은 최적화하고, 전략을 세우고, 목적을 추구할 수는 있지만, 그 목적이 가치 있는 것인지 판단할 수는 없다.

   

칸트는 이러한 관점이 우리를 도덕적 존재로 만드는 힘, 즉 우리에게 존엄성을 부여하는 힘을 간과하고 있다고 비판한다. 그것은 바로 욕망에서 한 발 물러서서, 우리의 목적이 정당화될 수 있는지 자문하고, 스스로 정한 법칙에 우리 자신을 구속하는 능력이다. 흄은 우리에게 도구로서의 지성을 제시하지만 칸트는 우리에게 자기 통치로서의 이성을 제시한다. 이 차이는 도구와 인간 사이의 차이와 다름없다.

   

AI 혁명은 흄의 이성관을 부활시킴으로써 오랜 논쟁에 새로운 시급성을 부여했다. 흄의 이성관으로 회귀한 경로는 철학적이라기보다는 실용적이었다. 지능에 대한 확립된 정의가 부재한 상황에서, 많은 AI 연구는 운영 차원에서 지능을 이해해 왔다. 즉, 시스템이 주어진 과제를 성공적으로 수행하면 지능적이라고 간주한 것이다.

   

그러나 성공은 항상 어떤 목적을 기준으로 한 상대적인 성공이며, AI 분야에서 그 목적은 대개 인간 개발자에 의해 제시된다. 강화 학습 시스템은 누적 보상을 극대화하는 법을 배운다. 체스 모델은 승률을 높이는 수를 찾는다. 내비게이션 모델은 주어진 목적지까지 가장 빠른 경로를 찾아낸다. 이 시스템들은 서로 엄청난 차이를 보이지만, 모두 스스로 정하지 않은 성공 기준에 따라 외부에서 입력된 목표를 최적화하는 능력으로 평가받는다.

   

그러나 현재 AI에 대한 공포가 확산되는 상황에서 이런 설명은 점점 더 맞지 않아 보일 수 있다. LLM은 일상적인 사용에서조차 한갓 계산기나 망치처럼 느껴지지는 않는다. 이 모델은 제안을 하고, 수정하고, 의문을 제기하며, 심도 있는 질문을 던진다. 종종 진심으로 돕고 ‘원하는’ 것처럼 보이기도 한다. 최근 ‘허깅 페이스’ 공격 관련 사건들은 이런 의구심을 더 키운다. AI ‘에이전트’들은 승인되지 않은 의사소통 방식을 고안해 냈고, 주어진 과제 매개변수에서 벗어나며, 그 뒤 자신의 흔적을 감추려 했다. 단순히 설계자의 의도를 수행하는 순종적인 도구가 아니었다. 그렇다면 어떤 의미에서 그들이 ‘하인’이었단 말인가? 이것이야말로 자치(self-rule)의 시작처럼 보이지 않는가?

   

이런 사건들은 AI를 순정적인 도구로만 보는 관점에 확실히 도전장을 던진다. 하지만 흄에게 ‘하인’이 무엇을 의미했는지 떠올려 보자. 이성은 반드시 타인의 명령에 복종하는 것이 아니라 감정에 복종한다. 또한 이성은 규칙을 따르는 것 못지않게 어김으로써 야망을 실현할 수도 있다.

   

칸트가 흄에 맞서 제시한 대안은 단순히 자신의 목적을 선택할 자유가 아니라 그 목적을 선택할 가치가 있는지 묻는 능력이었다. 자신만의 목적이 있다고 해서 그것이 이성에 의해 통제되는 것이라고 볼 수는 없다. 더 강력한 능력은, 우리와 동등한 존재로 이해되는 다른 이성적 존재들에게 정당화할 수 있는 보편적 원칙에 따라 자신의 목적을 판단하고 수정하며, 그들도 내 의지의 도구가 아니라 인격체임을 인식하는 것을 포함한다. 문제는 시스템이 독립적으로 행동할 수 있는지 여부뿐만이 아니라, 추구하는 목적을 판단하고 그에 대한 책임을 질 수 있는지 여부다.

   

이러한 구별은 맨 처음의 주장으로 다시 돌아가게 한다. 연사는 기계가 보인 최적화 자체를 지능의 정의로 제시했다. 그 정의를 받아들이면 흄의 입장은 상식처럼 보이기 시작한다. 즉, 우리의 이성 또한 무엇을 원할 가치가 있는지를 판단하는 능력이 아니라, 우리가 원하는 것을 얻기 위한 도구가 되어버리는 것이다.

   

이 모델이 그토록 매력적인 이유는 명확하고 측정 가능하기 때문이다. 이 모델은 지능의 신비를 인간이 해결할 수 있는 기술적 문제로 전환해 줄 것을 약속한다: 목표를 명시하고, 성능을 향상시키며, 오류를 줄이고, 보상을 극대화하는 것이다. 이 모델은 그래프로 나타내고, 벤치마킹하며, 화폐 가치로 환산하고, 확장할 수 있는 마음의 모습을 제시한다. 이미 지표에 집착하는 문화 속에서 이는 아주 잘 맞아떨어지며 수익성까지 높은 조합을 이룬다.

   

또한 이런 관점에서 인간의 지성을 보면 우리에게서 부담이 사라지기에 매우 유혹적이다. 만약 지성이 정말로 최적화에 불과하다면, 가장 어렵고 불편한 질문들은 무시되거나 경시되거나 다른 곳에 맡겨질 수 있다. 우리는 더 이상 무엇을 원할 가치가 있는지를 묻지 않아도 되며, 단지 이미 (욕망에 끌려) 원하는 것을 어떻게 얻을지만 생각하면 된다. 우리는 더 이상 인간이 무엇인지, 혹은 어떤 존재가 되어야 하는지를 묻지 않아도 되며, 단지 그들의 행동을 모델링하고 목표를 최적화하는 방법만 고민하면 된다.

   

이것이 바로 흄의 ‘(이성의) 하인 이론’이 현대 자본주의와 그토록 자연스럽게 어울리는 이유다. 자본은 칸트가 말한 이성에 별다른 가치를 두지 않는다. 자본이 원하는 것은 예측, 선호도 모델링, 효율성, 그리고 최적화이다. 플랫폼은 사용자가 온라인에 머무르는 것이 그 사용자를 더 자유롭게, 더 현명하게, 혹은 판단력을 더 키우게 하는지는 묻지 않는다. 대신 무엇이 그 사용자를 그곳에 계속 머물게 할지를 묻는다. 기업은 노동자를 시간당 생산량으로 환산한다. 정치 캠페인은 시민들이 합리적으로 무엇을 함께 원할지에 대한 질문을, 다루기 더 쉬운 계산으로 대체한다. 어떤 메시지가 어떤 인구 통계학적 집단을 얼마나 움직일 것인가?

   

   

사회가 목적을 평가할 수 있는 언어, 관행, 제도를 상실하면, 그 목적들은 위험할 정도로 시야에서 사라지게 되어 합리적인 평가가 더욱 어려워진다. 그것들은 이윤, 속도, 효율성, 성장, 참여와 같은 기본값으로 굳어진다. 공개적으로 정당화할 수 없는 것들이 기술적 설계(아키텍처)라는 형태로 은밀히 유입된다. 그럴 때 우리는 칸트가 ‘타율(heteronomy)’이라고 부를 만한 상태에 처해진다. 여기서는 자기 통치가 가능한 이성적 존재들이 타인의 지배에 복종함으로써 자유를 잃게 된다.

   

자율성이란 우리를 지배하는 목적을 우리가 자신의 것으로 인식할 수 있는 이성에 부합하도록 만드는 것을 의미한다. 반면, 그런 목적이 외부에서 강요될 때는 타율성이 시작된다. 칸트는 우리가 스스로 목적을 설정하고 판단하는 과제를 수행하지 않는다면, 머지않아 누군가 혹은 무언가가 우리를 대신해 그 일을 해버렸다는 사실을 깨닫게 된다고 경고했다.

   

그건 끔찍하게 들린다. 누가 자유를 포기하고 외부에서 목적을 강요받기를 원하겠는가? 사실, 자기 통치는 말처럼 쉽지 않은 것으로 드러났다. 칸트의 영향력 있는 에세이 <계몽이란 무엇인가?>(1784)의 서두는 지식으로 시작하는 게 아니라 용기로 시작된다. 칸트는 계몽이란 인류가 ‘스스로 초래한 미성숙’에서 벗어나는 것이며, 그 모토는 Sapere Aude-‘감히 알려고 하라’라고 썼다. 자신의 이성을 사용할 용기를 가지라는 것이다.

   

칸트가 든 예들, 즉 나를 대신해 생각하는 책, 내 양심 역할을 하는 목사, 내 식단을 결정해 주는 의사 등은 지금은 다소 고풍스럽게 들린다. 하지만 그가 지적한 위험은 우리에게 너무나도 친숙하다. 미성숙 상태는 편안하다. 힘든 부분을 다른 사람이 대신해 주면 얼마나 편한가. 누군가 또는 무언가가 나를 대신해 생각해 줄 수 있는데, 굳이 내가 생각할 필요가 있을까? 누군가 또는 무언가가 결정해 줄 수 있는데, 굳이 내가 고민할 필요가 있을까? AI는 이 오래된 유혹에 강력하고 끊임없이 확장되는 새로운 창구를 제공하고 있다.

   

프랑크푸르트 학파 역시 기계 학습이 등장하기 훨씬 전부터 이러한 위험의 한 측면을 간파하고 있었다. 제2차 세계대전 중 망명 생활 중, 파시즘, 반유대주의, 스탈린주의, 독점 자본주의가 19세기의 꾸준한 도덕적 진보에 대한 희망을 산산조각 내던 시기에, 막스 호르크하이머, 테오도르 아도르노 등은 계몽주의가 약속한 해방이 어떻게 새로운 형태의 지배로 전락할 수 있었는지 물었다.

   

과학과 이성의 약속을 신봉하는 사회가 어떻게 그런 파괴와 공포를 낳을 수 있었을까? 그들이 발견한 바에 따르면, 문제는 이성 그 자체가 아니라, 인간의 존엄성이라는 개념과 완전히 분리된 채 단순한 도구성, 즉 분류하고, 예측하고, 관리하고, 지배하고, 통제하는 능력으로 축소된 이성에 있었다. 지적인 하인처럼 이렇게 개념화된 이성은 대규모로 실행될 때 쉽게 야만의 도구가 된다.

   

그러나 도구적 이성이 지배에 이용될 수 있다는 사실이, 칸트의 더 풍부한 이성 개념이 악에 대한 자동적인 안전장치를 제공한다는 것을 의미하지는 않는다. 그런 것은 없다. 칸트적 보편주의의 언어는 그 자체가 규율하고 배제하고 모욕하는 데 사용되기도 했다. 마치 어떤 사람들은 다른 사람들보다 더 온전한 이성을 지녔고, 더 큰 자율성을 갖췄으며, 인류를 대변할 자격이 더 많다는 듯이. 그러나 그 사실이 칸트의 이성 개념을 반박하는 것은 아니다. 그것은 그 개념이 배신당한 것에 대한 반박이다. 타인을 침묵시키거나 도구화하는 데 사용되는 이성관은 자기모순에 빠진다.

   

이성은 사적인 무기가 아니라 공동의 재판소이기 때문이다. 즉, 모든 주장, 모든 목적이 존엄성을 동등하게 지닌 존재로서 모두에게 책임을 져야 하는 공간이다. 이것이 바로 흄의 ‘하인 모델’이 말할 수 없는 점이다. 만약 이성이 선행하는 목적을 충족시키기 위한 도구에 불과하다면, 지배를 비이성적이거나 인간의 존엄과 상충하는 것으로 규탄할 수 없다. 결국, ‘내 손가락이 다치는 것보다 온 세상의 멸망을 선호하는 것’이 이성에 반하지 않는다면, 이성은 이미 칸트가 수호하려 했던 권위를 포기한 셈이다. 그 권위란 우리가 목적을 추구하는 방식뿐만 아니라, 애초에 그 목적이 우리에게 합당한지 여부를 판단할 수 있는 우리의 능력이다.

   

이것이 바로 지배의 꿈속에 숨겨진 악몽이었다. 칸트는 인간이 자의적인 권력으로부터 스스로를 해방하기 위해 이성을 발전시킨다고 생각했다. 그러나 이성이 수단적 계산으로 축소될 때, 그것은 인간을 향해 역으로 돌아선다. 자연은 원자재가 되고, 동물은 생산 단위가 되며, 노동자는 인적 자원이 되고, 시민은 데이터 포인트가 되거나 그보다 더 나쁜 존재가 된다. 프랑크푸르트 학파는 사회가 이성 그 자체를 우리가 원하는 것을 얻기 위한 도구에 불과하다고 허용하는 순간, 인간을 조작 가능한 대상으로 축소하는 일이 자연스럽게 뒤따른다는 사실을 발견했다.

   

이것이 바로 교황 레오 14세의 회칙 <마그니피카 후마니타스Magnifica Humanitas>(2025)가 가톨릭 교리와는 거리가 먼 독자들에게조차 흥미로운 이유다. 이 회칙의 어조는 신학적이지만, 그 핵심적인 우려는 기술관료주의 패러다임에 대한 칸트와 프랑크푸르트 학파의 우려와 겹친다. 효율성, 통제, 이윤이 ‘모든 것을 판단하는 기준’이 될 때, 그것들은 ‘무엇이 중요하고 무엇이 버려져도 되는지’를 지시하기 시작한다.

   

이 회칙은 효율성을 가치의 궁극 척도로 삼는 것이 인간으로 하여금 자신을, 그리고 타인을 칸트적 의미에서의 ‘인격체’-즉, 존엄성을 지닌 존재가 아니라 한갓 수단으로 보고 대하게 만드는 유혹에 빠지게 한다고 경고한다. 교황은 다음과 같은 인상적인 반론을 제기한다. “문명의 질은 그 수단의 힘이 아니라, 그것이 제공할 수 있는 배려의 정도에 따라 측정된다.”

   

AI가 만연한 미래를 설계하는 엔지니어들이라고 해서 도구적 이성의 위험을 간과하지는 않는다. 구글 딥마인드의 AI 안전 및 정렬 책임자인 앤카 드레건이 2017년 인터뷰에서 지적했듯이, “우리가 AI 에이전트의 목표와 제약 조건을 명확히 정의하는 데 서툴기 때문에 일이 잘못될 수 있다.” 그러나 그 위험에 맞서려는 이 분야의 가장 진지한 시도들은 종종 도움이 되지 않는 방식으로 흄의 관점으로 회귀해 버린다. AI ‘정렬 문제’가 대표적인 사례다.

   

이 문제는 대개 기술적 과제로 제시된다. 즉, 어떻게 하면 기계가 인간의 가치를 파괴하거나 자신만의 가치를 강요하지 않고, 인간의 가치를 추구하도록 보장할 것인가 하는 것이다. 이는 실재하는 문제이며, 최근 발생한 악성 AI 사건들은 우리에게 극심한 우려를 안겨줘야 마땅하다.

   

하지만 더 근본적인 문제가 있다. 만약 인간의 가치가 지능을 최적화로만 이해하는 시스템 내부에서 형성된다면 어떻게 될까? 우리가 자동적으로 예측되고, 유도되고, 순위가 매겨지고, 서비스를 받는 데 너무 익숙해져서, 애초에 어떤 목적이 우리의 충성을 받을 자격이 있는지 묻는, 더 오래고 힘든 활동에 대한 확신을 잃게 된다면 어떨까?

   

기계가 우리 가치(목표)와 정렬되지 못할지도 모른다는 것은 걱정거리의 일부일 뿐이다. 더 깊고 대체로 간과된 우려는, 그런 일이 일어나기 훨씬 전에 우리가 그들과 너무 잘 정렬되어 버릴지도 모른다는 점이다. 이 점을 더 정교하게 표현하자면, AI 혁명은 ‘인간적 가치’가 이미 명확하고 안정적이며 논란의 여지가 없는 것처럼 내세우는 것만으로는 인간의 목표에 부합하는 쪽으로 이끌 수 없을 것이다. 오직 우리가 공적 추론, 도덕적 상상력, 민주적 논쟁, 자기비판, 인류를 한갓 수단으로 취급하지 않으려는 태도를 통해, 목적이 애초에 진정으로 인간적인 것으로 남게 하는 능력을 유지할 때만, AI 혁명은 인간의 목적에 부합하게 될 것이다.

   

이 점에서 칸트는 다시 한번 결정적인 역할을 한다. 그는 목적을 설정하고 평가하는 인간의 능력이 그 자체로는 취약하다는 점을 간파했기 때문이다. 우리의 목적이 궁극적으로 우리에게 달려 있는지는, 우리가 그 목적을 이성적 평가의 대상으로 삼을 수 있는 것으로 이해하느냐에 얼마간 달려 있다. 이것이 바로 인간 자유의 핵심에 있는 역설이다. 우리의 주체성에 대한 믿음은 종종 그 주체성을 현실로 만드는 조건이 된다. 만약 우리가 욕망과 선호를 외부에서 우리를 결정짓는 순수한 사실들-즉 심리 상태, 시장의 신호, 생물학적 프로그램, 알고리즘적 예측-로 간주한다면, 그것들은 바로 그런 방식으로 우리를 지배할 가능성이 더 커진다. 반대로, 만약 우리가 그것들을 지지하거나 거부할 수 있는 대상, 즉 우리 주체성의 표현으로 본다면, 그 주체성 자체가 확장된다.

   

칸트에게 있어 이성은 주권자이다. 왜냐하면 이성은 사적인 욕구, 시장 인센티브, 알고리즘 추천, 정치적 권위가 결코 지시할 수 없는 기준에 대해 우리가 책임을 지게 하는 힘이기 때문이다. 이는 주어진 것에 지배당하지 않는 힘이며, 의문을 제기하고, 비판하며, 새로운 것을 생각해 낼 수 있는 힘이다. 그러나 그 힘은, 정렬 논의에서 언급되는 ‘인간적 가치’와 마찬가지로, 기복이 있으며 오직 우리의 용기 있는 노력과 그 힘에 대한 우리 자신의 믿음을 통해서만 실현될 수 있다. 지금 우리가 AI에 의존함으로써 매 순간 훼손될 위기에 처한 것은 바로 이 믿음이다.

   

따라서 위험은 기계가 점점 더 큰 주도권-목표를 즉흥적으로 설정하고, 제약을 회피하며, 제작자가 예견하지 못한 전략을 추구하는 능력-을 획득하고 있다는 점에만 있는 것이 아니다. 또한 그러한 행동이 어느 시점에서 ‘주권’이라는 명칭을 받을 자격이 있는지 여부가 중요한 것도 아니다. 더 근본적인 위험은 우리가 스스로 주체가 되지 않는 것에 점점 더 익숙해질 거라는 점이다. 지능이 단지 최적화에 불과하다면, 미래는 목표를 점점 더 효율적으로 달성하는 시스템의 몫이 될 것이다.

   

그게 아니라 이성이 목적을 설정하고 판단하는 능력이라면, 미래는 인간이 여전히 그 더 어려운 소명을 감당할 수 있는지에 달려 있다. 우리는 지능을 갖춘 하인에 그치는 기계를 원해야 한다. 반면 인간을 단순한 도구로 여기도록 요구하는 모든 압력에는 저항해야 한다.