1984 빅 브라더 이후 새로운 디스토피아가 다가오고 있다

​

[TED talk에서 Zeynep Tufekci는 인공지능을 활용하는 이익집단들이 만들게 될 아니 이미 만들어가고 있는 디스토피아를 말한다. 우리가 살아갈 세상이 올바른 방향으로 나아가게 하기 위해서 해야할 일들이 너무 많아지고 있다. 가장 무서운 것은 가랑비에 옷 젖는 것을 모르는 것처럼 사람들이 알아채지 못하는 사이에 이런 디스토피아가 서서히 만들어지는 것이다.]

 

사람들이 인공지능의 두려움을 말할 때 종종 미친듯이 날뛰는 휴머노이드 로봇에 대한 이미지를 떠올린다. 터미네이터는 고려할 수도 있는 일이지만 먼 위협이다. 아니면 다시 베스트셀러 목록에 오른 조지오웰의 1984에 나오는 디지털 감시에 초조함을 감추지 못한다. 1984가 멋진 책이기는 하지만 21세기에 맞는 디스토피아는 아니다. 우리가 가장 두려워해야할 것은 인공지능이 우리에게 무엇을 할 것인지가 아니라 권력을 가진 이들이 인공지능을 이용해 새로운 때로는 비밀스럽게 그리고 미묘하고 예기치 않은 방식으로 우리를 통제하고 조종할 것인지이다. 가까운 미래에 우리 자유와 존엄에 위협이되는 많은 기술들은 우리의 데이터를 확보하고 판매하고 우리 관심을 광고주들에게 돌리게 하는 사업을 하는 페이스북, 구글, 아마존, 알리바바, 텐센트 같은 회사들에 의해 개발되고 있다.

이제 인공지능이 그들의 사업도 지원하기 시작했다. 온라인 광고 후 다음 먹거리는 인공지능인 것처럼 보인다. 하지만 그렇지 않다. 이것은 아예 범주 자체가 다른 것이다. 이것은 전혀 다른 세계의 일이고 엄청난 잠재력을 가지고 있다. 인공지능은 많은 연구 분야들에 대한 이해를 가속시킬 수 있다. 하지만 잠재력이 크다는 것은 그만큼 큰 위험이 따른다는 것이다.

온라인 광고에 대한 기본적인 사실을 이야기해보자.  온라인 광고는 성가시고 정제되어 있지도 않고 비효율적이다. 우리는 모두 인터넷에서 뭔가를 검색하거나 읽을 때 광고가 따라다니는 경험을 해봤다. 일주일 동안 부츠를 검색하고나면 그 부츠가 계속 당신을 따라다는 것을 경험한다. 당신이 이 광고에 항복하고 그걸 구입한 후에도 광고는 당신 주위를 맴돈다. 우리는 이와 같은 기초적이고 값싼 조종에 익숙해진다. 눈알을 굴리며 ‘뭐야 이런건 소용이 없어’라고 말할지도 모른다. 하지만 디지털 기술이 광고만을 말하지 않는다. 실제 세계의 사례를 생각해보자. 수퍼마켓 계산대 앞에 아이들 눈높이에 놓인 사탕이나 껌이 어떻게 작동하는지 당신은 안다. 이것은 아이들이 부모에게 징징거리게 만들어 부모들로 하여금 한 번 더 고려하게 만든다. 이는 설득 시스템이다. 그리 멋진 것은 아니지만 어느 정도 작동한다. 모든 수퍼마켓에서 이런 류의 것들을 볼 수 있는 이유이기도 하다. 실제 세계에선 계산원이 놓는 물건들로 제한되기 때문에 설득 시스템에 어느 정도의 제약이 있다. 또한 사탕과 껌은 징징대는 아이와 함께 온 사람들에게만 작동하기는 하지만 모든 사람에게 동일하다. 실제 세계에선 이와 같은 제약이 있다.

하지만 디지털 세계에서 설득 시스템은 거의 무한한 다양성을 가질 수 있고 개인들의 취약점을 공략해 모든 사람들의 개인화면에 보내질 수 있다. 이것이 인공지능이 할 수 있는 기본적인 것들 중의 하나이다.

예를 들어보자. 라스베가스행 비행기 표를 팔고 싶다고 하자. 예전엔 경험과 당신이 추측할 수 있는 것에 기반해 목표 고객을 생각했다. 나이, 재정, 개인의 상태(퇴직 등) 등을 고려해 광고를 했을 수 있다.

빅 데이터와 기계학습의 시대엔 더이상 이렇지 않다. 요즘엔 페이스북에 당신이 쓴 얘기들, 메신저로 나눈 대화, 당신이 방문한 장소들, 업로드한 사진들 등 모든 데이터가 있다. 페이스북에 뭔가를 쓰려다가 마음이 바뀌어서 그걸 지웠을 때에도 페이스북은 그것도 분석 대상에 넣을 수 있다. 페이스북은 점점 더 온라인 데이터와 오프라인 데이터를 연결하려고 한다. 이를 데이터 브로커들이 구매할 수 있다. 당신의 재정 기록에서부터 방문했던 웹사이트에 이르기까지 모든 것이 포함될 수 있다. 미국에선 이런 데이터가 일상적으로 수집되고 판매된다. 유럽에선 더 규제가 강하다.

기계학습 알고리즘은 이런 모든 데이터들을 휘저으면서 이전에 라스베가스행 표를 구입했던 사람들의 특징을 알아내는 것을 학습한다. 알고리즘이 기존의 데이터에서 이러한 것을 배우면 이것을 새로운 사람들에게 어떻게 적용할 지도 학습한다. 이것을 새로운 사람에게 적용했을 때 그 사람이 베가스행 표를 살 것 같은지 아닌지를 분류할 수 있다. 베가스행 티켓 구매를 제안받았을 때 그걸 무시하면 된다고 말할 수도 있다. 하지만 문제는 그게 아니다. 문제는 이 복잡한 알고리즘이 어떻게 작동하는지 더이상 이해할 수 없다는 점이다. 우리가 제대로 이해하지 못하는 자라나는 지적 존재, 우리가 프로그래밍하지 않은 존재가 생겨나는 것과 같다.

이와 같은 일들은 거대한 데이터가 있을 때에만 작동할 수 있다. 때문에 기계학습 알고리즘이 동작할 수 있도록 우리 모두에 대한 면밀한 감시를 장려하고 있다. 이 알고리즘이 더 잘 작동할 수 있도록 하기 위해 페이스북은 우리에 관한 모든 데이터를 수집하길 원하는 것이다.

베가스행 티켓 사례를 좀 더 생각해보자. 우리가 이해하지 못하는 시스템이 정신없는 상태에 있는 사람에게 베가스행 티켓을 파는 것이 더 쉽다고 결정했다고 하자. 이런 사람들은 과소비하는 경향이 있고 충동적인 도박사 경향이 있다. 이들이 티켓을 살 수 있을텐데 이들은 자신들이 선택한 것에 대한 어떤 실마리도 찾지 못했다. 하지만 이러한 기술들은 이미 회사들에서 개발하고 있는 것들이다.

유투브에서 영상을 하나 보다가 한 시간 후에 27개 영상을 본 적이 있는가? 영상 오른쪽에 ‘다음 재생’이라는 버튼이 생기고 뭔가 다른 영상이 자동으로 재생되는 것을 경험한 적이 있을 것이다. 이는 알고리즘이 당신이 관심있어할 수도 있을 것을 선택한 것이다. 알고리즘이 하는 게 바로 이런 일이다. 당신이 봤던 것, 당신과 비슷한 사람들이 봤던 것을 가지고 당신이 관심있어 할 것 같은 영상들을 추정하고 그것을 당신에게 더 보여주는 것이다. 이는 유용한 기능인것 같지만 그렇지 않을 때도 있다.

2016년에 난 당시 후보자였던 도널드 트럼프 캠프에 그를 지지하는 운동을 연구하기 위해 학자로서 참여했다. 난 사회운동을 연구하고 있었고 트럼프의 집회에 대해 뭔가를 쓰려고 유투브를 몇 차례 시청했다. 유투브는 극단주의적 정도가 심해지는 백인 우월주의 영상들을 자동으로 재생하기 시작했다. 내가 하나의 영상을 보면 유투브는 보다 정도가 심한 영상을 추천하고 그것을 자동으로 재생했다. 당신이 힐러리 클린턴이나 버니 샌더스의 컨텐츠를 보면 유투브는 음모 등의 영상을 추천해주고 그것을 자동으로 재생한다.

‘이게 정치지’라고 생각할 수 있겠지만 이는 정치에 관한 것이 아니다. 이것은 인간 행동을 이해하고 있는 알고리즘이다. 내가 유투브에서 채식주의에 대한 영상을 보면 유투브는 채식주의자가 되는 것에 대항 영상을 추천하고 자동으로 재생해준다. 이는 당신이 유투브의 열혈 시청자가 아니어도 마찬가지이다.

어떤 일이 일어나고 있는 것일까? 이 알고리즘을 통해 사람들에게 뭔가 더 심한 정도의 무엇인가를 보여주면 그쪽으로 생각하도록 유도할 수 있고, 구글이 그들에게 광고를 보여주면서 계속 그와 같은 영상을 보면서 머물도록 할 수 있다. 요즘 상점의 윤리를 개의치 않는데, 이런 사이트들은 유대인 혐오자, 유대인들이 기생충이라 생각하는 사람, 명백한 반유대주의자들에게 맞는 영상을 제공하고 광고를 할 수 있다. 구글은 명확한 반유대주의 프로파일을 가지고 있지 않지만 그러한 메시지를 수용할만한 사람들을 찾기 위해서 알고리즘을 변경할 수도 있다. 믿기 어려운 사례로 들릴 수 있지만 이것은 현실이다. ProPublica는 이를 조사했고 이러한 일들이 페이스북에서 일어날 수 있음을 확인했다. 페이스북은 그와 같은 청중들을 확장하기 위한 방법을 제안할 수 있다. BuzzFeed는 이와 같은 조사를 구글에 대해서도 해봤는데 역시 구글에서도 이를 할 수 있었다. 심지어 비용도 비싸지 않다. ProPublica의 기자는 이 조사를 하는데 30달러를 썼을 뿐이다.

지난 해 도널드 트럼프의 소셜미디어 관리자는 그들이 사람들을 설득하기 위해서가 아니라 사람들이 투표하지 않도록 하기 위해 페이스북에 안좋은 글을 올리는 일을 했다고 폭로했다. 이들은 핵심지역인 필라델피아에 사는 아프리카계 미국인 남성들을 목표로 했다고 한다. 그들은 자신이들이 보게하고 싶은 사람들에게만 보이도록 하는 비공개 게시글을 이용했다고 한다. 이것을 테스트해 보고 이것이 사람들의 생각에 큰 영향을 준다는 것을 확인했다고 한다.

이런 나쁜 게시글들은 무엇이었을까? 우리는 모른다. 페이스북은 우리에게 말해주지 않는다.

패이스북은 당신 친구들이 페이스북에 올리는 게시물들도 알고리즘을 이용해 정렬시킨다. 그것을 시간순으로 전부 보여주지 않는다. 패이스북은 당신이 자신들의 페이지에 더 오래 있도록 유도할 수 있을 것이라 생각하는 방식으로 게시글 순서를 배열한다.

이는 많은 결과를 낳는다. 당신은 누군가가 페이스북에서 당신을 무시한다고 생각할 수 있다. 알고리즘은 당신의 게시글을 다른 사람들에게 보여주지 않을 수 있다. 일고리즘은 게시글에 우선순위를 정하고 다른 게시글들을 덮는데 이용할 수 있다.

알고리즘이 당신에게 보여주는 것이 당신의 감정에 어떤 영향을 미치는지를 보여주는 연구가 있다. 하지만 이것이 전부가 아니다. 알고리즘은 정치적 행동에도 영향을 미치기도 한다. 2010년 중간선거에서 페이스북은 미국에 사는 6,100만명의 사람들에게 실험을 했다. 어떤 사람들에게는 “오늘은 선거날이야”라는 문장이 보이게 했고, 어떤 사람들에게는 “나 투표했음”에 클릭한 친구들의 작은 페이지 이미지를 보여주었다. 아주 작은 수정이었는데 이 차이가 34만명이 더 투표에 참여하도록 했다고 한다. 2012년에도 같은 실험을 했는데 역시 27만명의 추가적인 투표인원을 모았다고 한다. 2016년 대선에서 약 10만표 차이로 대통령이 결정되었으니 이 영향이 얼마나 큰 것인지 알 수 있다. 자신의 정치 성향을 페이스북에 공개하지 않았다고 해도 페이스북은 사람들의 정치적 성향에도 쉽게 영향을 미칠 수 있다. 플랫폼이 한 후보자의 지지자들 중의 한명인 것을 결정한다면? 

이제 악의 없어 보이는, 우리 주위를 맴도는 온라인 광고같은 것에 대해 이야기를 해보자. 대중이자 시민으로서 이제 우리는 우리가 같은 정보를 보고 있는지 혹은 다른 사람이 무엇을 보고 있는지 알지 못한다. 공적인 토론이 점점 더 어려워지고 있고 우리는 이런 환경의 초기 단계에 와있다. 이런 알고리즘은 사람들의 민족, 종교 및 정치적 관점, 개성, 지능, 행복, 중독성 물질 복용, 부모의 이혼, 나이와 성별 같은 것을 페이스북 같은 곳으로부터 아주 쉽게 유추할 수 있다. 이들 알고리즘은 얼굴이 반 정도 가려져 있어도 시위자를 확인할 수 있다. 이들 알고리즘은 사람들의 데이트 사진들로부터 사람들의 성적 지향을 알아낼 수도 있을 것이다.

이러한 것들이 가능성 있는 예상이기는 하지만 100%맞다고 할 수는 없을 것이다. 그렇지만 몇 가지 부정적 결과들(이는 완전히 다른 차원의 문제를 일으킬 것이다) 때문에 이러한 기술을 이용하려는 유혹에 강력히 저항하는 모습도 볼 수 없다. 시민들의 방대한 데이터를 가지고 국가가 할 수 있는 것들을 상상해보라. 중국은 이미 사람들의 신원을 확인하고 체포하기 위해 얼굴 인식 기술을 이용하고 있다. 여기에 비극이 있다. 사람들이 광고를 클릭하게 하는 것을 통해 감시 권력의 기반시설을 구축하고 있다. 이는 오웰의 감시자가 되지는 않을 것이다. 이것은 1984의 상황과 다르다. 만약 권력이 우리를 공포스럽게 하려고 명시적인 두려움을 이용한다면 우리 모두는 겁을 내겠지만 그것을 알게되고 그것에 저항하게 될 것이다. 하지만 권력을 가진 이들이 우리를 조용히 감시하고 판단하고 은근히 압박을 가하고 문제를 일으키는 사람들을 예측하고 확인하고 설득 체계를 실행하고 개인적 약점을 이용해 조정하는데 이런 알고리즘을 사용한다면, 그리고 그것을 다른 사람들이 무엇을 보고 있는지 알지못한 채 개인들의 화면을 통해 하고 있다면 그 권력은 우리를 거미줄에 잡아 넣은 것처럼 옭아맬 것이고 우리는 그것을 알아채지 못할 수도 있다.

페이스북의 가치가 500억 달러에 근접하고 있다. 이것은 페이스북을 설득 체계로 이용할 수 있기 때문이다. 하지만 이 체계의 구조는 당신이 신발을 팔 것인지 혹은 정치적 성향을 팔 것인지와 동일한 것이다. 알고리즘은 이 차이를 알지 못한다. 우리가 광고에 보다 유연해지도록 만들기 위해 우리를 무장해제시키는 그 알고리즘이 우리의 정치적, 개인적, 사회적 정보 흐름을 조직화하고도 있다. 이것이 변화되고 있는 것이다.

디지털 플랫폼이 큰 가치를 가져다주기 때문에 우리는 이것을 이용한다. 난 전 세계 친구들과 가족들과 관계를 유지하려고 페이스북을 쓴다. 사회 운동을 위해서 소셜미디어가 얼마나 중요한 지에 대해서도 글을 쓴 적이 있다. 이런 기술들이 검열을 피하기 위해 어떻게 이용되는지에 대해서도 연구했다. 하지만 사람들은 세계를 편향적이 되게 하고 극단주의로 나가도록 페이스북이나 구글을 악의적으로 운영하려고 한다. 이런 사람들은 주로 기술분야에 있는 이들은 아닌듯 하고 사업모델을 구상하는 사람들인 경우가 많다. 이게 문제의 핵심이다. 

우리 디지털 기술이 운영되는 방식을 전체적으로 재구조화해야 할 필요가 있다. 알고리즘에 의해 만들어지는 투명성 부족과 기계학습의 불투명함, 우리들 주변의 데이터를 무분별하게 수집하는 것에 대응해야 한다. 인공지능이 인간의 목적을 지지하지만 인간의 가치를 제약하지 않도록 하기 의해 기술, 창의성, 정치를 유연하게 해야한다. 이것이 쉬운 일은 아닌다. 이러한 말들의 의미에 동의하는 것조차도 쉬운 일이 아닐 수 있다. 하지만 이러한 대화를 더이상 연기할 수는 없다. 이러한 구조들이 우리가 어떻게 행동하는지를 조직화하고 있고 그것들은 우리가 할 수 있는 것과 할 수 없는 것을 통제하고 있다. 광고로부터 돈을 버는 많은 플랫폼들은 자신들은 자유롭다고 뽐낸다. 이런 맥락에선 우리가 판매되는 상품이 된다. 우리의 데이터와 관심이 높은 값을 부르는 기관 혹은 선동 정치가들에게 판매되지 않도록 하는 디지털 경제가 필요하다.

출처: Zeynep Tufekci, We’re building a dystopia just to make people click on ads, TEDGlobal.