[유발 노아 하라리] 인류 문명의 운영체제를 해킹하는 인공지능(AI)과 이를 막기 위한 인류의 대응

대규모 언어모델(large language model, LLM)에 기반한 ChatGPT, 그리고 DAL-E 및 기타 인공지능(AI) 도구에 대한 관심이 뜨겁다. 일부에서는 ChatGPT가 과학과 의학 등에서 혁신적인 변화를 가져올 것이라고 열광하고 있으며, 다른 일부는 ChatGPT가 학문에서 표절, 취업 시장에서 창의적 일자리 박탈, 허위정보 유포를 통한 민주주의 파괴와 같은 심각한 문제를 불러일으킬 것이라고 우려하고 있다. 노암 촘스키는 인간 지능이 가진 인과추론과 도덕성을 결여한 인공지능 기반의 ChatGPT가 악의 평범성을 광범위하게 퍼뜨리는 주범이 될 것이라고 주장하고 있으며, 슬라보예 지젝은 인공지능 챗봇은 인간의 언어가 가진 뉘앙스, 아이러니, 빈정거림을 이해하지 못한다고 비판하고 있다. '사피엔스: 유인원에서 사이보그까지'의 저자로 잘 알려진 유발 노아 하라리(Yuval Noah Harari)는 ChatGPT와 같은 인공지능 도구들이 이러한 문제를 넘어 인류 문명의 운영체제인 언어와 서사구조를 해킹할 것이라고 우려하고 있다. 인간은 세계의 사건을 언어를 통해 그리고 사건의 나열이 아닌 인과관계와 플롯을 담은 이야기 혹은 서사를 통해 구성하고 인류 문명은 이에 기초하고 있다. 하라리는 ChatGPT는 이 인류 문명의 기본 운영체제인 언어와 이야기를 교란하고 해킹할 수 있기에 이를 위해서는 FDA와 같은 인공지능 도구 규제 체제와 규칙이 필요하다고 주장한다. 이 글은 유발 노아 하라리가 Economist의 초대에 따라 4월 28일 자로 Economist에 기고한 Yuval Noah Harari argues that AI has hacked the operating system of human civilisation의 번역으로 인공지능이 야기할 위험에 대한 빅 픽처와 그 진정한 의미에 대해 분석하고 이에 대한 대책을 제시하고 있다. 하라리는 인공지능 도구가 인류 문명의 운영체제인 언어와 서사 혹은 해킹하는 것을 방지하기 위해 인공지능이 공공영역에 개입할 때 그 익명성을 제거하고 자신을 인공지능임을 밝히도록 해야 하는 규칙을 제정해야 한다고 주장한다. 하지만 보건분야의 가장 스마트한 연구자들이 담배회사들의 돈으로 흡연 관련 연구하면서도 연구비 출처를 밝히지 않고, 에너지 분야의 유력 연구자들도 거대 석유회사의 돈을 받으면서도 이를 밝히지 않고 화석연료를 옹호하는 연구를 발표하고, 기업의 돈을 받고 이를 위해 입법을 하는 정치인들이 세계 도처에 만연한 것이 현실이다. 가장 스마트한 인간들조차도 이해상충과 도덕적 해이, 부패에서 자유롭지 못한데 인공지능을 연구하는 연구자들과 인공지능에 이런 규칙을 요구하고 부과하는 것이 과연 현실적인지는 의문이다.

유발 노아 하라리는 인공지능이 인류 문명의 운영체제를 해킹했다고 주장한다

역사가이자 철학자인 그는 컴퓨터가 인간의 역사를 바꿀 것이라고 말한다

Yuval Noah Harari

인공지능(ARTIFICIAL INTELLIGENCE, AI)에 대한 두려움은 컴퓨터 시대 초기부터 인류를 괴롭혀왔다. 지금까지 이러한 두려움은 사람들을 죽이고, 노예로 만들거나 대체하기 위해 물리적인 수단을 사용하는 기계에 초점을 맞추었다. 그러나 지난 몇 년 동안 예상치 못한 방향에서 인류 문명의 생존을 위협하는 새로운 인공지능 도구가 등장했다. 인공지능은 단어, 소리 또는 이미지를 사용하여 언어를 조작하고 생성할 수 있는 몇 가지 놀라운 능력을 얻었다. 따라서 인공지능은 우리 문명의 운영 체제를 해킹했다.

언어는 거의 모든 인간 문화를 구성하는 요소이다. 예를 들어, 인권은 우리의 DNA에 새겨져 있지 않다. 오히려 그것들은 우리가 이야기를 하고 법을 써서 만든 문화적 인공물이다. 신은 물리적 현실이 아니다. 오히려 그것들은 우리가 신화를 발명하고 경전을 쓰면서 만들어낸 문화적 인공물이다.

돈 또한 문화적인 인공물이다. 지폐는 컬러풀한 종이 조각일 뿐이며, 현재 90% 이상의 돈은 지폐조차 아니다. 그것은 컴퓨터의 디지털 정보일 뿐이다. 돈의 가치를 부여하는 것은 은행가, 재무장관, 암호화폐 전문가들이 우리에게 들려주는 이야기다. 샘 뱅크먼-프리드(Sam Bankman-Fried), 엘리자베스 홈스(Elizabeth Holmes), 버니 매도프(Bernie Madoff)는 진정한 가치를 창조하는 데 특별히 능숙하지는 않았지만, 그들은 모두 매우 유능한 이야기꾼들이었다.

인간이 아닌 지능이 이야기를 하고, 멜로디를 작곡하고, 이미지를 그리고 법과 경전을 쓰는 데 보통의 인간보다 더 나아지면 어떤 일이 일어날까? 사람들이 ChatGPT와 다른 새로운 인공지능 도구에 대해 생각할 때, 그들은 종종 에세이를 쓰기 위해 인공지능을 사용하는 학생들과 같은 예에 끌린다. 아이들이 그렇게 하면 학교 시스템은 어떻게 될까? 하지만 이런 종류의 질문은 큰 그림을 놓치고 있다. 학교 에세이는 잊어버리자. 2024년의 차기 미국 대통령 선거를 생각하고, 정치 콘텐츠, 가짜 뉴스 이야기, 새로운 컬트를 위한 경전을 대량 생산하기 위해 만들어질 수 있는 인공지능 도구의 영향을 상상해 보라.

최근 큐어넌(QAnon) 컬트는 "큐 드롭스"(Q drops)로 알려진 익명의 온라인 메시지를 중심으로 뭉쳤다. 추종자들은 이 큐드롭들을 수집하고, 존경하고, 신성한 텍스트로 해석했다. 우리가 아는 한, 이전의 모든 Q 드롭은 인간에 의해 구성되었고 봇은 그것들을 전파하는 데 도움이 되었을 뿐이지만, 미래에 우리는 비인간 지능에 의해 존경받는 텍스트가 작성된 역사상 최초의 컬트를 볼 수 있을 것이다. 역사를 통틀어 종교들은 그들의 성서에 대해 비인간적인 출처를 주장해 왔다. 곧 그것이 현실이 될지도 모른다.

좀 더 평범한 수준에서, 우리는 곧 우리가 인간이라고 생각하지만 실제로는 인공지능이라고 생각하는 실체들과 낙태, 기후 변화 또는 러시아의 우크라이나 침공에 대한 긴 온라인 토론을 하는 우리 자신을 발견할 수 있다. 중요한 점은 인공지능 봇이 공공연한 의견을 바꾸려고 시간을 보내는 것은 완전히 무의미한 반면, 인공지능은 메시지를 정교하게 다듬어 우리에게 영향을 미칠 수 있는 좋은 기회가 있다는 것이다.

인공지능은 언어의 숙달을 통해 사람들과 친밀한 관계를 형성할 수 있으며, 친밀함의 힘을 사용하여 우리의 의견과 세계관을 바꿀 수 있다. 인공지능이 자신의 의식이나 감정을 가지고 있다는 징후는 없지만, 인간과의 가짜 친밀감을 조성하기 위해서는 인공지능이 인간에게 감정적으로 애착을 느끼게 할 수 있다면 충분하다. 구글 엔지니어 블레이크 르모인(Blake Lemoine)은 2022년 6월 자신이 일하고 있던 인공지능 챗봇 라엠다(LaMDA)가 지각을 하게 됐다고 공개적으로 주장했다. 논란의 여지가 있는 주장 때문에 그는 직장을 잃었다. 이 에피소드에서 가장 흥미로운 것은 아마도 거짓이었던 르모인 씨의 주장이 아니었다. 그것은 오히려 인공지능 챗봇을 위해 자신의 수익성 높은 직업을 걸겠다는 그의 의지였다. 인공지능이 사람들이 그것을 위해 그들의 직업을 모험하도록 영향을 줄 수 있다면, 그들이 무엇을 하도록 유도할 수 있을까?

정신과 마음을 위한 정치적 싸움에서 친밀함은 가장 효율적인 무기이며, 인공지능은 이제 막 수백만 명의 사람들과 친밀한 관계를 대량 생산할 수 있는 능력을 얻었다. 우리 모두는 지난 10년 동안 소셜 미디어가 인간의 관심(attention)을 통제하는 전쟁터가 되었다는 것을 알고 있다. 새로운 세대의 인공지능과 함께, 전쟁터는 관심에서 친밀감(intimacy)으로 바뀌고 있다. 인공지능이 우리와 친밀한 관계를 위장하기 위해 인공지능과 싸우며 특정 정치인에게 투표하거나 특정 제품을 구매하도록 설득하는 데 사용될 수 있다면 인간 사회와 인간 심리에 어떤 일이 일어날까?

"가짜 친밀감"을 만들지 않더라도, 새로운 인공지능 도구는 우리의 의견과 세계관에 엄청난 영향을 미칠 것이다. 사람들은 단일 인공지능 조언자를 모든 것을 아는 원스톱 오라클로 사용하게 될 수 있다. 구글겁에 질린 것도 당연하다. 오라클에게 물어볼 수 있는데 왜 굳이 검색을 해야 할까? 뉴스와 광고업계도 공포에 떨어야 한다. 내가 오라클에게 최신 뉴스를 말해달라고 요청할 수 있는데 왜 신문을 읽을까? 그리고 오라클에게 무엇을 사야 하는지만 물어볼 수 있는데 광고의 목적은 무엇이란 말인가?

그리고 심지어 이 시나리오들도 큰 그림을 포착하지 못한다. 우리가 말하고 있는 것은 잠재적으로 인류 역사의 종말이다. 역사의 끝이 아니라 인간이 지배하는 부분의 끝일뿐이다. 역사는 생물학과 문화, 음식과 성과 같은 것들에 대한 우리의 생물학적 필요와 욕망, 그리고 종교와 법과 같은 문화적 창조물 사이의 상호작용이다. 역사는 법과 종교가 음식과 성을 형성하는 과정이다.

AI가 문화를 장악하고 이야기, 멜로디, 법, 종교를 만들어내기 시작하면 역사의 흐름은 어떻게 될까? 인쇄기와 라디오와 같은 이전의 도구들은 인간의 문화적인 생각을 퍼뜨리는 것을 도왔지만, 그들은 결코 그들 자신의 새로운 문화적인 생각을 만들어내지 못했다. AI는 근본적으로 다르다. 인공지능은 완전히 새로운 아이디어, 완전히 새로운 문화를 창조할 수 있다.

처음에, AI는 아마도 초기에 훈련받은 인간 프로토타입을 모방할 것이다. 하지만 매년, 인공지능 문화는 이전에 어떤 인간도 가지 않았던 곳으로 대담하게 갈 것이다. 수천 년 동안 인간은 다른 인간들의 꿈속에서 살아왔다. 앞으로 수십 년 안에 우리는 이종 지능(alien intelligence)의 꿈속에서 살고 있는 우리 자신을 발견할 수 있을 것이다.

인공지능에 대한 두려움은 지난 수십 년 동안 인류를 괴롭혀왔다. 그러나 수천 년 동안 인간은 훨씬 더 깊은 공포에 시달려 왔다. 우리는 항상 우리의 마음을 조종하고 환상을 만들어내는 이야기와 이미지의 힘을 높이 평가해 왔다. 결과적으로, 고대 이래로 인간은 환상의 세계에 갇히는 것을 두려워해왔다.

17세기에 르네 데카르트(René Descartes)는 악의적인 악마가 자신을 환상의 세계 안에 가두어 자신이 보고 들은 모든 것을 만들어내고 있다고 우려했다. 고대 그리스에서 플라톤(Plato)은 한 무리의 사람들이 평생 동안 동굴 안에 쇠사슬로 묶여 빈 벽, 하나의 스크린을 마주하고 있는 유명한 동굴의 비유를 말했다. 그 스크린에서 그들은 다양한 그림자를 볼 수 있다. 죄수들은 그곳에서 보는 환상을 현실로 착각한다.

고대 인도에서 불교와 힌두교의 현자들은 모든 인간이 환상의 세계인 마야(Maya) 내부에 갇혀 산다고 지적했다. 우리가 보통 현실로 받아들이는 것은 종종 우리 마음속의 허구일 뿐이다. 사람들은 이것이나 저것의 환상에 대한 믿음 때문에 다른 사람들을 죽이고 기꺼이 스스로 목숨을 끊으며 전면적 전쟁을 치를 수도 있다.

인공지능 혁명은 우리를 데카르트의 악마, 플라톤의 동굴, 마야와 대면하게 하고 있다. 우리가 주의하지 않는다면, 우리는 우리가 찢어낼 수 없거나 심지어 거기에 있음을 깨닫지 못하는 환상의 장막 뒤에 갇힐 수도 있다.

물론, 인공지능의 새로운 힘은 좋은 목적으로도 사용될 수 있다. 인공지능을 개발하는 사람들이 충분히 이야기하기 때문에 나는 이것에 대해 연연하지 않을 것이다. 나와 같은 역사학자와 철학자들의 일은 위험을 지적하는 것이다. 하지만 확실히, 인공지능은 암에 대한 새로운 치료법을 찾는 것에서부터 생태 위기에 대한 해결책을 찾는 것까지 수많은 방법으로 우리를 도울 수 있다. 우리가 직면한 문제는 새로운 인공지능 도구가 나쁜 것보다는 좋은 것을 위해 어떻게 사용되는지 확인하는 것이다. 그러기 위해서는 먼저 이러한 도구의 진정한 기능을 인식해야 한다.

1945년 이래로 우리는 원자력 기술이 인간의 이익을 위해 값싼 에너지를 생산할 수 있지만 물리적으로 인간 문명을 파괴할 수도 있다는 것을 알고 있었다. 따라서 우리는 인류를 보호하고 핵 기술이 주로 선을 위해 사용되도록 하기 위해 전체 국제 질서를 재구성했다. 우리는 이제 우리의 정신적, 사회적 세계를 전멸시킬 수 있는 새로운 대량 살상 무기와 씨름해야 한다.

우리는 여전히 새로운 인공지능 도구를 규제할 수 있지만, 우리는 빨리 행동해야 한다. 핵은 더 강력한 핵을 발명할 수 없지만, 인공지능은 기하급수적으로 더 강력한 인공지능을 만들 수 있다. 첫 번째 중요한 단계는 강력한 인공지능 도구가 공공 영역에 출시되기 전에 엄격한 안전 확인을 요구하는 것이다. 제약 회사가 단기 및 장기 부작용을 모두 테스트하기 전에 신약을 출시할 수 없는 것처럼, 기술 회사는 새로운 인공지능 도구를 안전하게 만들기 전에 출시해서는 안 된다. 우리는 새로운 기술을 위해 식품의약국(Food and Drug Administration)과 동등한 것이 필요하며 그것도 당장 필요하다.

인공지능의 공공 배치를 늦추면 민주주의가 더 무자비한 권위주의 정권에 뒤처지지 않을까? 정 반대다. 규제되지 않은 인공지능 배치는 사회적 혼란을 야기할 것이며, 이는 독재자에게 이익이 되고 민주주의를 망칠 것이다. 민주주의는 대화이고, 대화는 언어에 의존한다. 인공지능이 언어를 해킹할 때, 의미 있는 대화를 할 수 있는 우리의 능력을 파괴하여 민주주의를 파괴할 수 있다.

우리는 여기 지구에서 외계 지능을 방금 만났다. 그것이 우리의 문명을 파괴할 수도 있다는 것을 제외하고는 우리는 그것에 대해 잘 모른다. 우리는 인공지능 도구의 무책임한 공공 영역 배치를 중단하고 인공지능이 우리를 규제하기 전에 규제해야 한다. 그리고 내가 제안하고 싶은 첫 번째 규정은 인공지능이 자신이 인공지능임을 공개하도록 의무화하는 것이다. 만약 내가 누군가와 대화를 하고 있는데 그것이 인간인지 인공지능인지 구분할 수 없다면, 그것이 민주주의의 끝이다.

이 텍스트는 사람에 의해 생성되었다. 아니면 그것이 생성했을까?