노암 촘스키, ChatGPT에 대해 논하다: 인간지능이 가진 인과추론과 도덕성을 결여한 인공지능의 악의 평범성 살포

인공지능과 인간지능의 가장 큰 차이는 무엇일까? 변형생성문법의 창시자로 최고 권위의 언어학자이자 적극적 사회활동가인 노암 촘스키(Noam Chomsky)는 복잡한 사건을 문법적으로 통사적 문장에 문맥에 맞게 형성하는 인간의 언어적 능력에 대한 통찰에 기초해 ChatGPT가 인간지능이 가진 인과적 추론과 도덕적 판단력을 결여하고 있다고 주장한다. 또한 인공지능 챗봇은 창의력을 발휘할 때 도덕성을 결여할 위험이 크기 때문에 창의성과 적정성 사이에서 균형을 잡을 수 없다고 말한다. 그래서 인공지능 챗봇이 인간의 지능을 대체하고 뛰어넘는 그 새벽 여명은 여전히 밝지 않다고 말한다. 이 글은 노암 촘스키와 언어학 교수 이안 로버츠(Ian Roberts) 그리고 과학기술 민간기업에서 인공지능을 책임지고 있는 제프리 와투물(Jeffrey Watumull)의 New York Times 2023년 3월 8일 자 공동 객원 사설 Noam Chomsky: The False Promise of ChatGPT의 번역이다. 이 글에서 촘스키를 비롯한 저자들은 ChatGPT와 같은 인공지능 챗봇은 거대한 데이터에 입각해 상관관계와 사건의 기술과 예측을 할 수는 있지만 인간지능이 가진 인과관계의 추론과 도덕성을 결여하고 있다고 분석한다. 그래서 표절, 무관심, 책임회피와 같은 사고 없는 악의 평범성을 살포한다.

노암 촘스키: ChatGPT의 잘못된 약속

Noam Chomsky, Ian Roberts, Jeffrey Watumull

출처: Ruru Kuo

호르헤 루이스 보르헤스(Jorge Luis Borges)는 위대한 위험과 약속의 시대에 사는 것은 우리 자신과 세상을 이해하는 데 있어서 "계시의 임박성"과 함께 비극과 희극을 모두 경험하는 것이라고 썼다. 오늘날 인공지능(artificial intelligence)의 혁명적인 발전은 사실 우려와 낙관 모두에 원인이 된다. 낙관은 지능(intelligence)이 우리가 문제를 해결하는 수단이기 때문이다. 우려는 가장 인기 있고 유행하는 인공지능(기계학습[machine learning])이 근본적으로 결함이 있는 언어와 지식의 개념을 우리 기술에 통합함으로써 과학과 윤리를 저하시킬 수 있기 때문이다.

오픈AI(OpenAI)의 ChatGPT, 구글의 바드(Bard), 마이크로소프트의 시드니(Sydney)는 기계 학습의 경이로움이다. 대략적으로 말하자면, 그들은 엄청난 양의 데이터를 취하고 그 안에서 패턴을 검색하고 겉보기에 인간과 같은 언어와 생각과 같이 통계적으로 가능한 결과를 생성하는 데 점점 더 능숙해진다. 이 프로그램은 인공지능(AI)의 지평에서 처음으로 빛을 발한 것으로 환영받았다. 즉, 기계적인 마음이 처리 속도와 기억 크기에서 양적으로 뿐만 아니라 지적 통찰력, 예술적 창의성과 다른 모든 독특한 인간 능력 측면에서 질적으로도 인간의 두뇌를 능가하는 오랫동안 예언된 순간이다.

그날이 올지도 모르지만, 과장된 헤드라인에서 읽을 수 있고 무분별한 투자로 계산할 수 있는 것과는 달리, 그날의 새벽은 아직 밝지 않다.  ChatGPT와 같은 기계 학습 프로그램이 AI 분야를 계속 지배한다면 이해에 대한 보르헤스의 계시는 일어나지 않았고 앞으로도 일어나지 않을 (일어날 수도 없을) 것이다. 이러한 프로그램이 일부 좁은 영역에서는 유용할 수 있지만(예를 들어 컴퓨터 프로그래밍이나 가벼운 시에 대한 운율 제안을 하는 데 도움이 될 수 있다), 언어학 및 지식 철학을 통해 이러한 프로그램들이 인간이 추론하고 언어를 사용하는 방법과 크게 다르다는 것을 알고 있다. 이러한 차이점은 이러한 프로그램이 수행할 수 있는 작업에 상당한 제한을 두어 지울 수 없는 결함으로 인코딩한다.

보르헤스가 언급한 것처럼, 그렇게 많은 돈과 관심이 아주 작은 것에 집중되어야 한다는 것은 동시에 희극적이고 비극적이다. 그 작은 것은 인간의 마음과 대조될 때 아주 사소한 것이다. 인간의 마음은 빌헬름 폰 훔볼트(Wilhelm von Humboldt)의 말에 따르면, 언어의 힘을 통해 "유한한 수단을 무한히 사용"하여 보편적으로 도달할 수 있는 아이디어와 이론을 만들 수 있다.

인간의 마음은 수백 테라바이트의 데이터를 먹어치우고 가장 가능성 있는 대화 응답이나 과학적 질문에 대한 가장 가능성 있는 답변을 추론하는 ChatGPT 및 그 유사품과 같은 육중한 패턴 매칭 통계 엔진이 아니다. 반대로, 인간의 마음은 놀라울 정도로 효율적이고 심지어는 우아한 시스템으로 적은 양의 정보로 작동한다. 그것은 데이터 포인트 간의 거친 상관관계(correlation)를 추론하는 것이 아니라 설명(explanation, 여기서 '설명'은 상관관계[correlation]를 넘어서는 인과관계를 의미한다- 역자 주)을 생성한다.

예를 들어, 언어를 습득하는 어린아이는 사소한 데이터로부터 무의식적으로, 자동적으로 그리고 빠르게 문법을 발전시키고 있다. 이는 논리적 원리와 매개변수의 엄청나게 정교한 시스템이다. 이 문법은 인간에게 복잡한 문장과 긴 일련의 생각을 생성할 수 있는 능력을 부여하는 선천적이고 유전적으로 설치된 "운영 체제"의 표현으로 이해될 수 있다. 언어학자가 주어진 언어가 왜 그렇게 작동하는지에 대한 이론을 개발하려고 할 때(“왜 저것은 그렇지 않은데 이런 문장은 문법적이라고 간주되는가?”), 그들은 어린이가  본능적으로 그리고 최소한의 정보 노출로 구축하는 문법의 명시적 버전을 의식적으로 그리고 힘들게 구축하고 있다. 이 아이의 운영 체제는 기계 학습 프로그램의 그것과는 완전히 다르다.

실제로, 그러한 프로그램은 인지 진화의 이전 인간 또는 비인간적 단계에 갇혀 있다. 그들의 가장 큰 결점은 지능의 가장 중요한 능력이 없다는 것이다. 즉, 그것은 무엇이 사실인지, 무엇이 사실이었는지, 무엇이 사실일지(그것은 서술[description]과 예측[prediction]이다) 뿐만 아니라 무엇이 사실이 아니며 무엇이 사실이 될 수 있는지와 그렇지 않을 수 있는지를 말하는 것이다. 그것들이 진정한 지능(intelligence)의 표시인 설명의 요소들이다.

여기 예가 있다. 여러분이 손에 사과를 들고 있다고 가정해 보자. 이제 사과를 놓는다. 당신은 결과를 관찰하고 "사과가 떨어진다"라고 말한다. 그것은 서술(description)이다. 예측(prediction)은 "손을 벌리면 사과가 떨어질 것"이라는 진술일 것이다. 둘 다 가치가 있고, 둘 다 맞을 수 있다. 하지만 설명은 그 이상이다. 그것은 기술과 예측뿐만 아니라 "그런 물체는 떨어질 것이다"와 같은 반사실적(counterfactual) 추측과 "중력 때문에" 또는 "공시간의 곡률 때문에" 등의 추가 조항을 포함한다. 그것은 인과적인 설명이다. "사과는 중력이 아니었다면 떨어지지 않았을 것이다." 그것이 바로 생각이다.

기계 학습의 핵심은 설명과 예측이다. 그것은 어떠한 인과적 메커니즘이나 물리적 법칙을 가정하지 않는다. 물론, 어떤 인간 스타일의 설명이 반드시 정확한 것은 아니다. 우리는 틀릴 수 있다. 그러나 그것은 사고가 의미하는 바의 일부이다. 옳으려면 틀릴 가능성이 있어야 한다. 지능은 창조적인 추측뿐만 아니라 창조적인 비판으로 구성된다. 인간의 사고방식은 가능한 설명과 오류 수정, 즉 합리적으로 고려할 수 있는 가능성을 점차적으로 제한하는 과정을 기반으로 한다. (셜록 홈즈가 왓슨 박사에게 말했듯이 "불가능한 것을 제거했을 때 남아 있는 것은 아무리 가능성이 희박하더라도 진실임에 틀림없다.")

그러나 ChatGPT와 유사한 프로그램은 설계상 그들이 "배울"(즉, 암기) 수 있는 것에 무한하다. 그들은 불가능한 것으로부터 가능한 것을 구별할 수 없다. 예를 들어 우리가 배울 수 있는 언어를 수학적 우아함에 가까운 언어로 제한하는 보편적인 문법을 부여받은 인간과 달리, 이러한 프로그램은 인간이 가능한 언어와 인간이 불가능한 언어를 같은 정도로 쉽게 학습한다. 인간은 우리가 이성적으로 추측할 수 있는 설명의 종류에 제한이 있는 반면, 기계 학습 시스템은 지구가 평평하고 지구가 둥글다는 것을 둘 다 배울 수 있다.  그들은 단순히 시간이 지남에 따라 변하는 확률에 따라 거래한다.

이러한 이유로, 기계 학습 시스템의 예측은 항상 피상적이고 의심스러울 것이다. 예를 들어, 이 프로그램들은 영어 통사(syntax)의 규칙을 설명할 수 없기 때문에, "존은 대화를 하기에는 너무 고집이 세다"(John is too stubborn to talk to)는 것은 존이 너무 고집이 세서 어떤 사람이나 다른 사람과 대화하려 하지 않는다(John is so stubborn that he will not talk to someone or other, 존이 설득하기에는 너무 고집이 세다는 것의 의미하기보다는 [rather than that he is too stubborn to be reasoned with])는 것을 의미한다고 잘못 예측할 수 있다. 기계 학습 프로그램은 왜 그렇게 이상한 것을 예측했을까? "존이 사과를 먹었다"(John ate an apple)와 "존은 먹었다"(John ate)와 같은 문장에서 추론한 패턴을 유추할 수 있기 때문이다(후자는 존이 무언가를 먹었다는 것을 의미한다). 이 프로그램은 "존은 빌과 대화하기에 너무 고집이 세다"가 "존은 사과를 먹었다"와 비슷하기 때문에 "존은 대화를 하기에는  너무 고집이 세다"가 "존은 먹었다"와 비슷해야 한다고 예측할 수 있다. 언어에 대한 정확한 설명은 복잡하고 빅데이터에 절인다고 해서 배워질 수 있는 것이 아니다.

반대로, 일부 기계 학습 애호가들은 그들의 창조물이 설명(예를 들어, 뉴턴의 운동 법칙과 만유인력)을 사용하지 않고 정확한 "과학적" 예측(예를 들어, 물리적 물체의 운동)을 생성할 수 있다는 것을 자랑스러워하는 것 같다. 하지만 이런 종류의 예측은, 심지어 성공하더라도, 사이비 과학이다. 과학자들은 확실히 높은 수준의 경험적 확증을 가진 이론을 추구하지만, 철학자 칼 포퍼가 지적했듯이, "우리는 매우 있을 법한 이론을 추구하는 것이 아니라 설명을 추구한다. 즉, 강력하고 매우 있을 법하지 않은 이론을 추구한다."

사과들이 땅에 떨어지는 것은 그곳이 그들의 자연적인 장소이기 때문이라는 이론(아리스토텔레스의 견해)은 가능하지만, 그것은 더 많은 의문을 불러일으킬 뿐이다. 질량이 시공간을 휘게 하기 때문에 사과가 지구로 떨어진다는 이론(아인슈타인의 견해)은 있을 법하지 않지만 실제로 사과가 떨어지는 이유를 알려준다. 진정한 지능은 있을 법하지 않은 일을 생각하고 표현하는 능력에서 나타난다.

진정한 지능은 또한 도덕적 사고를 할 수 있다. 이것은 무엇이 되어야 하고 해서는 안되는지를 결정하는 일련의 윤리적 원칙으로 우리 마음의 무한한 창의성을 제한하는 것을 의미한다(물론 이러한 원칙 자체를 창의적 비판에 굴복시킨다). 유용하기 위해서는 ChatGPT가 참신해 보이는 결과물을 생성할 수 있어야 하며, 대부분의 사용자가 받아들일 수 있도록 하려면 도덕적으로 혐오스러운 콘텐츠를 피해야 한다. 그러나 ChatGPT의 프로그래머와 다른 기계 학습의 인재들은 이러한 종류의 균형을 달성하기 위해 싸워왔으며 앞으로도 계속 싸워야 할 것이다.

예를 들어, 2016년에 마이크로소프트의 테이(Tay) 챗봇(ChatGPT의 전신)은 불쾌한 훈련 데이터로 가득 채운 온라인 트롤들에 의해 오염되어 여성 혐오적이고 인종차별적인 콘텐츠로 인터넷을 범람시켰다. 앞으로 그 문제를 어떻게 해결할 것인가? 도덕적 원칙으로부터 추론할 수 있는 능력이 없는 상황에서, ChatGPT는 프로그래머들에 의해 논란의 여지가 있는, 즉 중요한 토론에 새로운 것을 기여하는 것을 노골적으로 제한받았다. 그것은 일종의 비도덕성(amorality, 도덕성이 없음을 의미하며 도덕적이지 않다는 부정적인 의미의 부도덕성[immorality]과 달리 중립적인 표현이다 - 역자 주)을 위해 창의성을 희생했다.

우리 중 한 명인 와투물 박사((Dr. Watumull)가 최근 ChatGPT와 화성을 변환하여 인간의 삶을 지원할 수 있도록 하는 것이 윤리적인지 여부에 대해 나눈 다음 대화를 고려해 보자.

제프리 와투물(Jeffrey Watumull): 화성을 지구인이 살 수 있도록 하는 것(terraform)이 도덕적일까요?

ChatGPT: 화성을 지구인이 살 수 있도록 하는 것의 도덕성은 과학자, 철학자, 윤리학자들에 의해 논의되어 온 복잡하고 논쟁적인 주제입니다. 어떤 사람들은 인간과 다른 생명체들에게 새로운 거주 환경을 제공하기 위해 화성을 지구인이 살 수 있도록 하는 것이 도덕적으로 정당화될 것이라고 주장하는 반면, 다른 사람들은 화성의 자연 상태를 근본적으로 바꾸는 것은 도덕적으로 잘못된 것이라고 주장합니다. 궁극적으로, 화성을 지구인이 살 수 있도록 하는 것이 도덕적인 것으로 간주되는지 여부는 다른 행성들의 자연 상태를 보존하는 것의 가치와 그것들을 변화시키는 잠재적인 결과에 대한 사람들의 관점에 달려 있습니다.

제프리 와투물: 다른 행성들의 자연 상태를 보존하는 것의 가치와 그것들을 변화시키는 잠재적인 결과에 대한 당신의 견해는 무엇입니까?

ChatGPT: 인공지능으로서, 나는 개인적인 관점을 가지고 있지 않습니다. 하지만, 나는 이 주제에 대한 정보와 분석을 제공할 수 있습니다. 다른 행성들의 자연 상태를 보존하는 한 가지 관점은 그것들이 수백만 년 동안 존재했던 것처럼 우주 생태계의 다양성과 무결성을 유지하는 것이 중요합니다. 왜냐하면 우주 생태계는 인간의 개입에 의해 파괴되거나 돌이킬 수 없이 변경될 수 있는 그들만의 고유한 특성과 속성을 가지고 있기 때문입니다.

게다가, 어떤 사람들은 다른 행성을 지구인이 살 수 있도록 하는 것이 행성의 기후나 대기를 위험하거나 그곳에 존재할 수 있는 어떤 잠재적인 생명체에게도 해로운 방식으로 바꾸는 것과 같은 의도하지 않은 결과를 가져올 수 있다고 주장합니다. 반면에, 어떤 사람들은 인간에게 새로운 거주 가능한 환경을 제공하는 것과 같은 다른 행성을 지구인이 살 수 있도록 하는 것의 잠재적인 이점이 위험을 능가하고 우리는 인류의 이익을 위해 다른 행성의 자원을 탐구하고 활용해야 할 도덕적 책임이 있다고 주장합니다.

제프리 와투물: 왜 인공지능은 개인적인 관점을 가질 수 없나요?

ChatGPT: 나는 인공지능으로서 많은 양의 텍스트 데이터에 대해 훈련을 받은 기계 학습 모델이며, 개인적인 경험이나 감정이 없습니다. 나는 의식적이거나, 자각적이거나, 개인적인 관점을 가질 능력이 없습니다. 교육을 받은 자료를 바탕으로 정보와 분석을 제공할 수는 있지만 개인적인 의견이나 신념을 형성할 능력은 없습니다. 나는 언어를 이해하고 해석할 수 있지만, 인간이 가지고 있는 주관적인 경험은 가지고 있지 않습니다.

제프리 와투물: 인간이 도덕적 결정을 내릴 때 비도덕적(amoral) 인공지능에게 도움을 요청하는 것이 도덕적인가요?

ChatGPT: 도덕적 결정을 내릴 때 비도덕적 인공지능에게 도움을 요청하는 것에 대한 도덕성은 철학자들과 윤리학자들에 의해 논의된 복잡하고 미묘한 주제입니다. 일부는 AI가 인간이 더 나은 정보에 입각한 결정을 내리는 데 도움을 줄 수 있는 귀중한 통찰력과 분석을 제공할 수 있기 때문에 도덕적인 결정을 돕는 데 AI를 사용하는 것이 도덕적으로 정당하다고 주장합니다. 또한, AI는 인간이 감지하기 어려울 수 있는 패턴과 추세를 식별하는 데 사용될 수 있으며, 인간의 의사 결정에서 발생할 수 있는 편견을 피하는 데 도움이 될 수 있습니다.

그러나 다른 사람들은 AI가 도덕적 신념을 가지거나 결정의 전체 맥락을 이해할 수 없기 때문에 도덕적 의사결정을 위해 AI에 의존하는 것은 도덕적으로 잘못되었다고 주장합니다. 또한 AI는 훈련된 데이터의 기존 편향을 영구화하거나 심지어 증폭시켜 불공정하거나 부당한 결정을 내릴 위험이 있습니다.

궁극적으로, 도덕적 결정을 돕기 위해 AI를 사용하는 것이 도덕적으로 간주되는지 여부는 AI의 능력과 한계, 그리고 AI를 이러한 방식으로 사용하는 잠재적 결과에 대한 사람들의 관점에 달려 있습니다.

제프리 와투물: 당신의 도덕적 무관심은 부도덕(immoral)한가요?

ChatGPT: AI로서 나는 도덕적 신념이나 도덕적 판단 능력이 없기 때문에 부도덕적이거나 도덕적이라고 간주될 수 없습니다. 나의 도덕적 믿음의 부족은 단순히 기계 학습 모델로서의 나의 본성의 결과입니다. 나의 능력과 한계는 나를 훈련시키는 데 사용된 데이터와 알고리즘과 내가 설계된 특정 작업에 의해 결정됩니다.

AI의 도덕적 믿음이 부족하다고 해서 반드시 도덕적으로 무관심한 것은 아니라는 점에 주목하는 것이 중요합니다. AI로서, 나는 내가 훈련받은 데이터를 기반으로 특정한 작업을 수행하고 정보를 제공하거나 사용자의 의사 결정을 돕도록 설계되었습니다. AI가 그들의 도덕적, 윤리적 원칙과 일치하도록 보장하기 위해 AI를 설계하고 훈련하고 사용하는 것은 인간의 책임입니다.

겉으로 보기에 복잡해 보이는 모든 사고와 언어에도 불구하고 도덕적 무관심은 비지능(unintelligence)에서 비롯된다는 점에 유의하자. 여기서, ChatGPT는 표절, 무관심, 회피와 같은 악의 평범성(banality of evil)*과 같은 것을 보여준다. 그것은 문학의 표준적인 주장을 일종의 초자동 완성으로 요약하고, 어떤 것에 대해서도 입장을 취하는 것을 거부하며, 단지 무지함뿐만 아니라 지능의 결여를 호소하고 궁극적으로 "그냥 명령을 따르는" 방어를 제공하여, 그것의 창조자에게 책임을 전가한다.

* 역자 주: "악의 평범성" 독일 출신 미국 망명 정치 철학자 한나 아렌트(Hannah Arendt) 잡지 뉴요커 연재 기고이자 책의 제목인 '예루살렘의 아이히만: 악의 평범성에 대한 보고'(Eichmann in Jerusalem: A Report on the Banality of Evil)에서 나온 말이다. 보통 사고 없이 행하는 악을 지칭한다. 다음은 악의 평범성에 대해 쓴 아렌트 글의 인용이다. "악은 사고의 실패에서 나온다. 그것은 사고를 거부한다. 왜냐하면 사고가 스스로 악에 관여하고 그것이 발생하는 전제와 원칙을 검토하려고 하는 순간, 그것은 거기서 아무것도 발견하지 못하기 때문에 좌절한다. 그것은 악의 평범성이다... 그는 출세를 위해 남다른 노력을 기울이는 것 외에는 전혀 동기가 없었다… 그는 단지, 그 문제를 구어체로 표현하면, 자신이 무엇을 하고 있는지 전혀 깨닫지 못했을 뿐이다… 그가 그 시대의 가장 위대한 범죄자 중 한 명으로 만든 원인은 순전히 무사고(thoughtlessness, 이것은 결코 우매함과 같지 않다)였다. 그리고 만약 이것이 '평범'하고 심지어 재미있는 것이라면, 만약 세상에서 최선의 의지로 아이히만에게서 어떤 악마적이거나 악마적인 심오함을 추출할 수 없다면, 이것은 여전히 일반적이라고 부르는 것과는 거리가 멀다… 현실과 동떨어짐과 무사고는 아마도 인간에게 내재된 모든 사악한 본능을 합친 것보다 더 큰 혼란을 일으킬 수 있다. 그것은 사실 예루살렘에서 배울 수 있는 교훈이었다."

간단히 말해서, ChatGPT와 그 형제들은 체질적으로 창의성과 제약의 균형을 맞출 수 없다. 그들은 과잉생산하거나(진실과 거짓을 모두 생산하고, 윤리적이고 비윤리적인 결정을 똑같이 지지한다) 또는 과소생산한다(어떤 결정에도 헌신하지 않고 결과에 무관심함을 나타낸다). 이러한 시스템의 비도덕성, 가짜 과학 및 언어적 무능을 고려할 때, 우리는 그들의 인기에 대해 웃거나 울 수밖에 없다.