페이스북 플랫폼과 알고리즘은 어떻게 1월 6일 미국 의사당 습격에 일조했나?

* 옥스포드대 로이터 저널리즘 연구소가 매년 발간하는 '디지털뉴스리포트'에 따르면 미국의 가짜 뉴스를 퍼뜨리는 가장 심각한 소셜 미디어 플랫폼은 페이스북이다. 지난 1월 6일 의사당 내란은 페이스북에 커다란 충격을 안겨주었다. 페이스북은 "표 도둑질 중단하라"라는 트럼프의 허위 정보와 "의사당을 습격하라"라는 폭력적인 선동의 진원지였다. 얼마 전 미국 시사보도프로그램 60 Minutes에서 페이북의 내부 고발자 프랜시스 하우겐은 페이스북이 정치인이나 셀리브리티 등 고위급 인사와 일반 사용자들의 게시물에 차별을 두고, 차별과 혐오 게시물이 광고 클릭을 높이기 때문에 이를 방치했으며, 인스타그램에서 10대 소녀들의 거식증을 조장했다고 폭로했다. 최근 하우겐을 포함한 페이스북 전 직원들은 언론을 통하여 페이스북이 극우세력과 음모론자들의 혐오와 차별 게시물, 인종주의적 그룹 생성, 폭력 선동을 제대로 통제하지 못했으며, 내부 연구과 직원들의 경고를 무시해왔으며, 그 결과 1월 6일 의사당 반란에 일조했다고 주장했다. 이 글은 NPR의 10월 22일 자 기사 How the 'Stop the Steal' movement outwitted Facebook ahead of the Jan. 6 insurrection의 번역으로 큐아논과 트럼피스트들이 어떻게 페이스북의 정책을 우회하고, 페이스북 플랫폼과 알고리즘이 어떻게 이들의 활동을 방조 혹은 촉진했는가, 페이스북은 왜 시스템적인 대응에 실패했는가를 하우겐과 페이스북 전 직원들과의 인터뷰, 하우겐이 폭로한 문서들의 검토를 통해 꼼꼼하게 분석하고 있다. 조금 길지만 소셜 미디어 플랫폼과 알고리즘 그리고 허위 정보의 확산에 대한 새로운 이해를 제공하는 글로 일독할만하다. 기사의 마지막 줄 "편집자 주: 페이스북은 최근 NPR의 재정적 지지자들 중 하나이다."라는 글귀도 인상적이다. - 역자 주

'표 도둑질 중단'(Stop Steal) 운동은 1월 6일 내란(insurrection)에 앞서 어떻게 페이스북의 허점을 찔렀는가?

한 시위자가 2021년 1월 6일 미국 국회의사당 앞에서 연막 수류탄을 발사하고 있다. 사진 출처: Bloomberg/Bloomberg via Getty Images

11월 3일 투표가 마감된 지 몇 시간 후, 페이스북에서 분노한 도널드 트럼프 지지자들은 이제 미국 국회의사당에 대한 포위와 동의어가 된 "도둑질을 멈춰라"(Stop Steal)는 외침으로 뭉쳤다.

페이스북 내부에서는 직원들이 걱정스럽게 지켜보고 있었다.

대선은 큰 사건 없이 지나갔을지 모르지만, 그 여파로 "분노한 독설과 수많은 음모론"이 거세지고 있다고 페이스북 직원들은 올해 초 '표 도둑질 중단'(Stop the Steal, 이하 StS - 역자) 운동 내부 보고서에서 썼다. 지지자들은 당시 도널드 트럼프 대통령의 선거가 도둑맞았다는 거짓말, 즉 트럼프 대통령 자신이 몇 달 동안 부추겨온 거짓말을 항구화했다.

페이스북이 11월 5일 선거의 정당성에 대한 거짓 의혹을 제기하고 폭력을 요구했다는 이유로 첫 번째 StS 그룹을 금지시켰을 때, 그 단체는 이미 36만 명 이상의 회원으로 급증했다. 매시간 수만 명의 사람들이 동참하고 있었다.

페이스북은 플랫폼에서 그룹을 제거했다. 그러나 그것은 StS의 열렬한 지지자들을 잘못된 정보와 선거 도용 주장으로 가득 찬 페이스북의 다른 그룹으로 보냈을 뿐이다. 이것은 페이스북이 시도했지만 장악하는데 실패한 고전적인 두더지 게임이었다. 수많은 트럼프 팬과 우익 음모론자들이 세계 최대 소셜 네트워크를 앞지르고 있었다.

선거 며칠 후, 페이스북의 연구원들은 "거의 모든 가장 빠르게 성장하는 그룹들은 StS"에 연계되어 있으며 그들은 투표에 대한 거짓을 퍼뜨리는 데 전념하고 있다고 언급했다. 일부는 심지어 그 이름을 계속 사용했다.

선거 당일 밤이 시민 소요로 이어지지 않은 것에 대해 회사 관계자들이 안도감을 느끼고 있을 때, 이들 그룹들은 페이스북이 따라잡을 수 있는 능력을 앞지르는 속도로 확산되고 있었다. 외국의 광범위한 간섭이나 해킹은 없었다. 이것들은 페이스북에게는 최악의 시나리오였다. 비록 플랫폼에서 악의적인 움직임이 가속도를 얻고 있음에도 불구하고, 그들을 피하는 것은 회사에 위안을 주었는데, 이러한 움직임은 1월 6일 국회의사당 내란(insurrection)* 이후에야 페이스북에 분명해졌다.

* riot는 단순한 폭동 혹은 폭력 행동을 의미한다. 미국 정부와 언론은 1월 6일 의사당 습격을 insurrection이라고 명명했다. Insurrection은 보통 정부 전복을 목적으로 하는 폭력적 봉기를 뜻하기에 이 글에서는 '내란'으로 번역했다.

StS 보고서는 페이스북 내부 고발자 프랜시스 하우겐(Frances Haugen)이 증권 거래 위원회에 공개한 내용에 포함되었으며 하우겐의 법률 고문이 수정된 형식으로 의회에 제공했다. NPR을 포함한 뉴스 매체의 컨소시엄은 의회가 접수한 수정본을 검토했다. NPR은 또한 수천 페이지의 내부 연구, 토론 및 기타 자료를 조명하기 위해 전문가와 전 페이스북 직원을 인터뷰했다.

페이스북, 대선에 "긴급 대책" 조치 발표

페이스북은 2020년 대선을 준비하면서 비상 전략을 참고했다. 내부적으로 직원들은 이를 "긴급 대책 조치"(break the glass measures)라고 불렀다. 이는 플랫폼을 안전하게 유지하기 위한 임시 개입 리스트이다.

여기에는 잘못된 정보와 극단주의의 매개체가 될 수 있는 정치 집단의 성장을 늦추려는 노력이 포함되었다. 페이스북은 폭력을 조장할 가능성이 있다고 판단되는 게시물과 댓글의 가시성을 줄여 사람들이 볼 가능성을 줄였다. 그리고 회사는 미국을 "고위험 지역"으로 지정하여 유해한 게시물을 더 공격적으로 삭제할 수 있도록 했다.

페이스북은 그들이 "시민 그룹"(civic groups)이라 부르는 정치 및 관련 문제에 전념하는 그룹이 특히 잘못된 정보를 증폭하고 회사가 따라잡을 수 있는 것보다 더 빠르게 성장하는 경우 특정 위험이 있다는 것을 알고 있었다.

그래서 선거를 앞두고 회사는 사용자가 관심을 가질 만한 그룹에 가입하도록 제안하는 것을 중단하려고 했다. 페이스북은 사람들이 매일 보낼 수 있는 초대장의 수를 제한했다. 페이스북의 조치를 설명하는 내부 스프레드시트에 따르면 게시물이 규칙을 위반하지 않았는지 확인하기 위해 그룹 관리자를 곤경에 빠뜨리는 경우도 있었다.

이러한 개입에도 불구하고 페이스북은 StS 운동의 확산을 억제하는 데 실패했다. 회사 내부에서는 플랫폼이 그룹들이 빠르게 성장하도록 부추기는 방식에 대한 경고가 커지고 있었다. 페이스북은 내부 보고서에서 1월 6일 "의사당 내란을 선동하는 데 일조했다"는 놀라운 사실을 인정했다.

페이스북의 앤디 스톤(Andy Stone) 대변인은 금요일 성명에서 페이스북이 국회의사당 포위 공격에 책임이 있다는 생각을 부인했다.

"1월 6일에 일어난 폭력사태에 대한 책임은 우리 국회의사당을 공격한 사람들과 그들을 격려한 사람들에게 있다. 트럼프 대통령이 조기 승리를 선언한 뒤 후보들의 게시물에 최신 투표수를 표시하고, 새로운 정치광고를 중단하고, 원래의 #표 도둑질 중단 그룹(#StopTheSteal Group)을 11월에 제거하는 등 선거의 합법성에 도전하는 내용을 제한하는 조치를 취했습니다."라고 그는 말했다. "의사당 폭력 사태가 발생한 후 대통령 선거 결과에 이의를 제기하는 행사를 조직하려는 시도가 계속되는 것을 보고 우리는 위해 조정 정책(Coordinating Harm policy)에 따라 "표 도둑질 중지"라는 문구가 포함된 콘텐츠를 삭제하고 플랫폼에서 트럼프를 정지했습니다."

그러나 이 플랫폼과 워싱턴에서 벌어진 일은 특히 하우겐을 비롯한 시민 청렴팀(civic integrity team) 구성원들에게 실망감을 안겨줬다. 페이스북은 지난해 12월 초 전 세계 정치 오보 및 선거 보호에 전념하는 이 팀을 해체했다.

NPR이 인터뷰한 하우겐을 비롯한 전 직원들은 페이스북이 선거와 국회의사당 내란에 대해 취한 조치를 통해 회사가 플랫폼 고유의 문제에 대해 얼마나 알고 있는지, 그리고 무엇보다도 성장에 영향을 미치는 변화에 얼마나 저항하는지를 보여주었다고 말했다.

"우리가 논의해야 한다고 생각하는 것은 페이스북이 대중을 필요 이상으로 더 큰 위험에 노출시키기 위해 어떤 선택을 했는가 하는 것입니다."라고 하우겐이 말했다. "우리는 안전과 페이스북의 이익 사이의 이러한 맞바꾸기(tradeoffs)를 누가 해결할 수 있는지 물어야 합니다."

하우겐은 페이스북이 지난 1월 6일 국회의사당 폭동(riot) 사태에서 투자자 및 대중을 오도한 혐의를 포함해 페이스북이 미국 증권법을 위반했다고 주장하면서 미국 증권거래위원회(SEC)에 최소 8건의 고소를 제기했다.

페이스북은 "2020년 선거 및 내란(insurrection)과 관련된 잘못된 정보와 폭력적인 극단주의에 맞서기 위한 작업을 공론화"했지만, 1월 6일 고소장은 "알고리즘과 플랫폼이 이러한 유형의 유해 콘텐츠를 조장했고, 내부적으로 권장되거나 지속적인 대응책을 전개하지 못했다"라고 말했다.

그러나 내부 문서와 전직 직원들과의 인터뷰를 검토한 결과 나타난 상황은 더 어둡다. 페이스북은 많은 긴급조치를 시행했다. 어떤 것들은 효과가 없었고, 다른 것들은 일시적이었다. 내란 이후, 페이스북과 미국이 포위된 국회의사당의 이미지로 휘청거리자, 직원들은 회사 내부 게시판에 플랫폼을 더 안전하게 만들기 위한 노력을 제지하는 리더십을 비난했다.

페이스북은 성명에서 "플랫폼 상의 '시그널'을 고려했고 선거 전과 선거 이후 어떤 비상조치를 취할지를 결정하기 위해 법 집행기관과 협력했다"라고 밝혔다.

스톤은 "이러한 조치들이 1월 6일의 이유라고 주장하는 것은 잘못됐습니다"라며 "우리가 필요로 했던 조치들은 2월까지 잘 유지됐습니다"라고 덧붙였다.

페이스북 연구원들, 몇 달 동안 정치 단체의 위험을 강조

페이스북 내부에서 직원들은 몇 달 동안 경보를 울려왔다. 2020년 2월 직원들은 민간 정치 단체들을 선거 기간 동안 잘못된 정보를 퍼뜨릴 위험이 "높은" 것으로 표시했다.

비공개 그룹(private group)의 게시물은 회원이 초대했거나 관리자가 승인한 사람만 볼 수 있기 때문입니다. 이러한 그룹들의 댓글, 링크, 사진은 페이스북의 외부 팩트체킹 프로그램의 적용을 받지 않는 무법 지대 같은 곳에서 운영되고 있다. 이 그룹들 내 정치 콘텐츠는 대부분 비공개 채널에서 볼 수 있다고 직원들은 지적했다.

내부 연구에서는 페이스북의 그룹 추천이 어떻게 사용자를 정파적인 정치적 혼돈에 빠뜨리는지 살펴보았다. "캐롤의 큐아논'(QAnon, 극우 음모론 그룹 - 역자 주)으로의 여정"이라는 2019년 실험에서 페이스북 직원은 41세의 "미국 남부의 보수적인 엄마"인 캐롤 스미스(Carol Smith)라는 테스트 사용자를 만들었다.

폭스 뉴스(Fox News)와 도날드 트럼프(Donald Trump)의 페이지를 포함하여 주류 보수 정치 뉴스와 유머를 따르도록 계정을 설정한 후 연구원은 캐롤이 좋아할 것으로 생각되는 그룹 및 페이지에 대한 페이스북의 자동 추천이 "콘텐츠를 양극화하는 방향으로 전환"되었음을 발견했다. 이틀 만에 페이스북은 "힐러리를 막아라!!!!"(Lock Hillary Up!!!!)와 같은 정파적인 정치 단체를 그녀에게 추천했다. 페이스북은 그녀가 근거 없는 큐아논 음모를 홍보하는 페이지를 일주일 이내에 팔로우할 것을 제안했다.

회사 연구원들은 또한 가장 문제가 많은 그룹이 과도하게 성장에 의해 어떻게 부채질되는지에 대해 경고했다. 2020년 8월 내부 프레젠테이션에 따르면 가장 활동적인 미국 시민 그룹 100개 중 70%가 증오, 따돌림, 괴롭힘, 잘못된 정보 및 기타 규칙 위반으로 가득 차 있어 페이스북 시스템이 다른 사용자에게 이를 추천해서는 안 된다고 경고했다.

페이스북은 6월부터 8월까지 트럼프를 지지하는 한 비공개 그룹에서 혐오 표현 규칙을 위반한 게시물을 미국의 다른 어떤 그룹보다 더 많이 삭제했다고 발표했다. 그리고 규칙을 어긴 것에 대해 처벌을 받은 그룹은 스스로를 재건하기가 쉬웠다. 관리자들은 정기적으로 페이스북이 그들을 폐쇄할 경우에 회원들에게 동참하도록 권장하는 대체 "상습범 그룹들"을 설정하였다.

연구원들은 가장 유해한 시민 그룹들 중 많은 수가 "매우 크고, 매우 빠르게 성장하고 있다"라고 밝혔다. 이는 부분적으로 "대량 초대자들"이 사람들에게 동참할 것을 촉구하는 수천 개의 메시지를 보낸 덕분이다.

그래서 선거가 임박하자 페이스북은 새로운 "긴급 대책"(break the glass) 조치를 취했다. 즉, 그룹 회원이 하루에 100명만 초대할 수 있도록 허용했다. 선거 후 StS가 번성하자 페이스북은 그 한도를 30개로 줄였다.

내부의 StS 보고서에 따르면 "이 그룹은 상당한 성장을 할 수 있었다"라고 밝혔다. 보고서는 "이러한 초대장은 소수의 초대받은 사람들에 의해 지배되었다"라고 그 보고서는 결론을 내렸는데, 연구원들이 지난 8월에 경고했던 것처럼 초대장의 30%는 그룹 구성원들 중 단 0.3%로부터 왔다. 많은 사람들이 다른 StS 관련 그룹의 관리자였으며 "이 운동을 성장시키는데 협력할 것을 제안했다"라고 이 보고서는 밝혔다.

StS 조직자들은 콘텐츠를 스캔하는 페이스북의 자동 시스템을 피하기 위해 단어를 신중하게 선택하고 하루가 지나면 게시물이 사라지는 "스토리"(Stories)에 게시함으로써 탐지를 피할 수 있었다고 내부 보고서는 밝혔다.

초대 제한은 그대로 유지되었지만 선거 이후 다른 "긴급 대책" 조치는 중단되었다. 예를 들어, 페이스북은 사용자들이 페이스북의 알고리즘이 폭력, 선동, 증오에 대한 규칙을 어길 수 있다고 예측한 게시물을 볼 가능성이 적도록 하는 긴급 수정 조치를 취소했다.

하우겐과 다른 전직 직원들은 선거 가드레일이 너무 빨리 제거되었다고 말한다. 전 직원에 따르면 시민 청렴팀의 많은 사람들이 안전장치를 더 오래 유지하고 일부를 영구적으로 채택하기 위해 로비를 했다.

페이스북은 잠재적으로 유해한 콘텐츠가 검토되기 전에 확산되는 것을 막기 위해 "긴급 대책" 조치를 개발하고 구현했다고 밝혔다. 그러나 이러한 조치는 규칙을 위반하지 않는 다른 사용자와 게시물에 영향을 미치는 대가를 수반하는 무딘 도구이므로 비상 상황에만 적합하다고 말한다.

시민 청렴팀의 일부 구성원이 영구적으로 만들어야 한다고 생각한 하나의 "긴급 대책" 개입은 정치 게시물의 "심층 재공유"(deep reshares)**를 늦추었다. 이것은 누군가의 피드에 나타나기 전에 반복적으로 공유된 게시물을 가리키는 페이스북 언어이다. 일종의 장난 전화 같은 것이다.

** '심층 재공유' 게시글이 게시자의 제한적 관계망을 넘어서는 경우를 의미한다. 따라서 이 심층 재공유 게시물의 독자는 원글 게시자의 페이스북 친구나 팔로워가 아니다.

2019년 4월 페이스북 데이터 과학자는 내부 보고서에서 "심층 재공유"를 제어하면 링크의 정치적 잘못된 정보를 25% 줄이고 플랫폼 전체에 퍼진 정치적인 잘못된 정보가 포함된 사진의 수를 절반으로 줄일 수 있다고 썼다.

예를 들어, 낸시 펠로시(Nancy Pelosi)의 음성을 왜곡하여 마치 술에 취한 것처럼 불분명하게 들리도록 조작한 동영상이 2019년 메모*** 일주일 전에 페이스북에서 입소문을 탔다. 이 연구자는 거의 절반에 가까운 견해들이 심층 재공유 때문이라는 것을 알아냈다. 사람들은 친구로부터 온 비디오와 함께 게시물을 공유했고, 그 친구들은 다른 친구로부터 온 이 게시물을 공유했었고, 그리고 그 사슬은 계속 이어진다.

*** 이 2019 메모는 페이스북 연구자들이 작성한 '페이스북의 핵심 원칙과 모순되는 정치적 화이트리스트'(The Political Whitelist Contradicts Facebook’s Core Stated Principles) 가리킨다.

하지만 페이스북은 재공유를 일시적으로 줄이려고 했지만 영구적인 변경은 거부했다고 전 직원이 말했다.

스톤(Stone) 페이스북 대변인은 "드물게 우리는 두 명 이상의 체인이 공유한 콘텐츠를 보는 빈도를 줄였습니다"라고 말했다. "혐오 표현이나 과도한 노출과 같이 특정 정책을 위반할 수 있는 콘텐츠를 저하시키는(demote) 다른 시스템이 있지만 이 개입은 모든 콘텐츠를 동등한 강도로 줄입니다. 너무 둔하고 긍정적이고 완전히 온화한 표현을 선동적이거나 폭력적인 수사와 함께 줄이기 때문에 우리는 그것을 드물게 사용합니다."

직원들, 경영진은 1월 6일까지 더 많은 조치를 취하라는 요구에 저항

1월 6일, 친트럼프 폭도들이 국회의사당으로 쏟아져 들어가자 페이스북 직원들은 공포에 질려 이를 지켜보았고, 페이스북은 선거 직후 중단했던 많은 "긴급 대책" 조치를 제자리에 되돌리기 위해 분주하게 움직였다.

그것은 또한 도널드 트럼프 당시 대통령을 24시간(나중에 2년으로 연장) 동안 금지시켰는데, 일부 직원들이 너무 늦은 조치라고 주장했다.

한 직원은 의사당 공격 당일 마이크 슈롭퍼(Mike Schroepfer) 페이스북 최고기술책임자(CTO)가 올린 내부 글에 대해 "24시간이 정말 의미 있는 금지라고 생각하느냐"라고 반문했다.

이 직원은 "오늘날 폭력을 선동하는 그룹과 같은 사람들에게 더 나은 서비스를 제공하기 위해 리더십이 연구에 기반한 정책 결정을 기각할 때 우리가 어떻게 무시할 수 있을까요"라고 썼다. "일반 직원들은 플랫폼을 개선하기 위한 변화를 파악하기 위해 제 역할을 다했지만 적극적으로 제지당하고 있습니다."

다른 직원은 "사람들이 우리 정책을 회피하는 방법을 알고 우리가 앞서갈 수 없을 정도로 반응할 때 위축이 발생합니다"라고 한탄했다. "어제까지 수십 개의 'StS' 그룹이 활동했는데, 그들이 자신들의 의도에 대해 말을 아꼈는지 의심스럽습니다."

지난 1월 6일 사건과 전국 각지의 '의사당을 습격하라'(Storm the Capitol) 사건 파고 이후에야 페이스북은 그것이 조직적인 움직임을 다루고 있다는 사실을 깨달았다고 회사 내부 'StS' 보고서가 3월에 밝혔다.

보고서는 페이스북의 접근법에 더 광범위한 실패가 있었다고 결론지었다. 페이북의 접근은 페이스북의 성장에 최적화된 메커니즘이 잘못된 정보를 등장시키고 번창하게 하는 체계적 방식을 신속하게 알아차리기보다는 개별 그룹을 제거하는 데 초점을 맞췄다.

이 정책은 가짜 계정 네트워크, 미국인을 사칭한 러시아 트롤과 같은 "허위적 행위"(inauthentic behavior)를 근절하기 위해 만들어졌지만, 실제 사람들이 실명을 사용하여 미국 민주주의에 대한 신뢰를 훼손하는 "조정된 진정한 위해"(coordinated authentic harm)에 직면할 수 있는 여지가 거의 없었다.

온라인 잘못된 정보 및 기타 위협에 맞서 싸우는 회사인 알레테아 그룹(Althea Group)의 CEO인 리사 카플란(Lisa Kaplan)은 "반드시 누군가로 하여금 케이블타이(zip ties, 1월 6일 의사당 습격자들 중에 수갑 대용으로 케이블 타이를 가져온 자가 사진에 찍혔다 - 역자 주)를 의사당에 가져오게 할 어떤 단 하나의 밈이나 게시물도 없습니다"라고 말했다. "궁극적으로 사람들의 현실에 대한 인식을 바꾸는 것은 느린 서사(slow drip narrative)입니다."