2018/2/22
이렇듯 공정하다고 여겨지는 모형들에도 대개 개발자의 목표와 이념이 반영된다. 예를 들어, 인스턴트 음식을 식사 대용으로 먹을 수 없다는 원칙을 정했을 때, 나는 식단 모형에 내 이념을 주입한 셈이다. 솔직히 우리 모두는 별로 깊이 생각하지 않고 자연스럽게 이렇게 행동한다. 어떤 데이터를 수집할지부터 무엇을 질문할지까지, 우리 자신의 가치관과 바람은 우리의 선택에 영향을 미친다. 요컨대, 모형들은 수학에 깊이 뿌리내린 지극히 개인적인 의견이라고 할 수 있다.
모형이 성공적인지 판단하는 것도 개인적인 의견에 지나지 않는다. 공식적이든 비공식적이든, 모든 모형의 핵심 요소는 성공에 대한 정의다.(45p)
LSI-R 질문지는 범죄자의 가족, 이웃, 친구들까지 포함해서 범죄자의 출생 환경과 성장 배경 모두를 세세히 다룬다. 그러나 이런 세부 사항들이 형량을 결정하는 데 영향을 미쳐서는 안 된다.재판에서 검사가 피고의 형에게 전과가 있다거나 그가 범죄율이 높은 동네에서 산다는 사실을 언급함으로써 피고에게 흠집을 내려 한다면, 유능한 변호인은 “재판장님, 이의 있습니다!”라고 큰소리로 반박할 것이다. 제대로 된 판사라면 이의 제기를 받아들일 것이다.
이것이 바로 미국 사법 시스템의 근간이다. 우리는 ‘우리가 누구인가’가 아니라 ‘우리가 무슨 행동을 하는가’에 따라 법의 심판을 받아야 한다.
(...)
LSI-R 같은 재범위험성모형은 치명적인 피드백 루프를 확대재생산한다. ‘고위험군’으로 분류된 사람은 일정한 직업이 없을 뿐만 아니라 법적으로 문제가 있는 가족과 친구가 많은 환경에서 성장했을 가능성이 높다. 게다가 이들은 재범 위험성ㄷ 평가에서 받은 높은 점수가 더해져, 더욱 무거운 형을 선고받고 범죄자들에게 둘러싸인 감옥에서 사회와 격리된 채 수년을 보내게 된다. 그리고 오랜 수감 생활은 그가 다시 감옥으로 돌아갈 가능성을, 즉 재범 위험성을 확실히 증가시킨다.
이들은 마침내 형기를 마치고 출소하더라도 예전에 살던 가난한 동네로 돌아가야 하는데, 이번에는 전과자라는 별까지 단 상태라 일자리를 구하기가 훨씬 어렵다. 이런 상황에 몰려 그가 또 다시 범죄를 저지른다면 재범위험성모형은 의문의 1승을 추가하는 셈이다. 그런데 실상은 더욱 잔인하다. 재범위험성모형 자체가 그런 악순환이 발생하는 하나의 원인이며, 그런 악순환이 지속되는 데 일조한다. 이것이 바로 WMD의 대표적인 특징이다.(53-54p)
솔직히 헤지펀드는 자신들이 세상에서 가장 영리하다고 생각하는 집단으로, 위험을 이해하는 것이 그들이 존재하는 근본적인 이유이기 때문에 결코 나 같은 외부인에게 전적으로 의지하지 않았다. 헤지펀드는 자체적으로 위험관리팀을 운영했다. 그럼에도 불구하고 우리 상품을 구매하는 주된 이유는 단지 투자자들에게 ‘위험에 대비하고 있다’는 좋은 인상을 주기 위해서였다.(85p)
금융위기 이후에도 월스트리트의 문화는 그대로였다. 트레이더들은 위험 신호에 대비하기 보다는 실질적인 위험이 닥치기 전까진 이를 과소평가하거나 애써 무시하려 했다.(87p)
지원자가 많으면, 상대적으로 우수한 학생들만 남기고 나머지 지원자들을 불합격시킬 수 있다. 다른 대리 데이터와 마찬가지로, 입학 경쟁률은 시장의 움직임을 반영하기에 타당한 기준처럼 보인다.
그러나 문제는 그 시장 자체가 조작될 수도 있다는 점이다. 가령 전통적으로 중위권으로 분류되는 학교의 데이터를 조사해보면, 우수한 성적으로 뽑힌 학생들의 수업 등록률이 극히 낮다. 이는 우수한 지원자들의 경우, 상향 지원한 대학에 합격하면 보험에 드는 심정으로 지원한 대학에 굳이 진학할 필요가 없기 때문이다. 따라서 중위권 대학들은 수업 등록률을 높이기 위해 학생 선발 알고리즘을 조정하고 있다. 성적이 뛰어나더라도 입학 가능성이 낮은 지원자들은 떨어지도록 말이다. 때문에 우수한 학생들조차 입학 안정권이라고 생각했던 대학마저 이제 더 이상 확실한 보험이 아니라는 당혹스러운 현실을 마주하게 됐다 대학교들 또한 선발한다면 반드시 등록할 일부 우수한 학생들을 놓치게 됐다. 이런 선발 과정은 교육적으로도 전혀 올바르지 않다.(108p)
이 모두가 분명 가치 있는 목표처럼 들리지만, 모든 순위 시스템은 항상 조작될 여지가 있다. 실제로 그런 일이 발생하면 이전과는 다른 새로운 피드백 루프들이 활성화되고, 의도하지 않은 결과가 빚어진다. 가령 기준을 낮춤으로써 졸업률을 쉽게 끌어올릴 수 있다. 수학과 과학 분야의 필수 과목과 외국어에서 고전하는 학생들이 많다면? 이들 과목의 이수 조건을 완화하면 졸업률이 높아질 것이다. 그러나 교육 시스템의 목표 중 하나가 글로벌 경제에서 활동할 더 많은 과학자와 공학자 들을 양성하는 것임을 감안할 때, 이수 기준을 낮추는 것이 과연 현명한 조치일까? 졸업생들의 평균 소득을 증가시키는 것도 땅 짚고 헤엄치기다. 교양 과정을 축소하고 교육학과와 사회복지학과를 폐지하면 그만이다. 교사와 사회복지사들은 공학자, 화학자, 컴퓨터과학자들보다 돈을 못 벌기 때문이다. 하지만 돈을 적게 버는 직업이라고 해서 사회적 가치가 덜한 것은 결코 아니다.(120p)
약탈적 광고는 전형적인 WMD다. 이런 광고는 절박한 사람들을 찾아내 표적공략한다. 가령, 교육과 관련된 약탈적 광고들은 대부분 거짓된 성공 로드맵을 약속하면서 잠재 고객에게 갈취할 돈을 극대화할 방법을 계산한다. 이런 광고의 작동 방식은 거대하고 악의적인 피드백 루프를 활성화시키며, 고객들을 엄청난 빚더미에 올려놓는다. 뿐만 아니라 광고의 표적들은 자신들이 어떻게 속고 있는지도 거의 알지 못하는데, 이는 약탈적 광고 캠페인이 투명하게 진행되지 않기 때문이다. 그저 컴퓨터 화면에 팡! 하고 나타났다가 나중에 전화가 걸려오는 식이다. 피해자들은 자신이 어떻게 선택됐는지 또는 어떤 경로로 자신들에 대한 정보를 그렇게 많인 입수할 수 있었는지 전혀 알지 못한다.(127p)
뿐만 아니라 영리 대학들은 오프라인에서 학생들을 대상으로 무료 서비스도 제공하고 있다. 어번 어셈블리의 또 다른 대학 진학 상담교사인 캐시 마제시스는 영리 대학들이 이력서 작성 방법을 알려주는 무료 워크숍을 개최한다고 말했다. 이런 시간이 학생들에게 도움이 되는 것은 맞지만, 연락처 정보를 제공한 가난한 학생들은 나중에 영리 대학들에 사실상 스토킹을 당하다시피 한다. 반면 영리대학들은 부유한 학생들에게는 관심을 두지 않는다. 이들은 이미 너무 많은 것을 알기 때문이다.
형태를 불문하고 모든 학생 모집 활동은 영리 대학들의 사업에서 핵심이다. 대부분의 영리 대학이 교육 자체보다 신입생을 모집하는데 훨씬 더 많은 예산을 투입하고 있다. 미국 상원이 30곳의 영리 대학을 조사한 보고서를 보면, 영리 대학의 학생과 신입생 모집인 비율이 48 대 1이었다. 피닉스 대학교의 모기업인 아폴로 그룹은 2010년 마케팅 비용으로 10억 달러 이상 지출했는데, 마케팅 예산의 거의 대부분이 신입생 모집에 집중됐다. 예를 들어, 학생 1인당 마케팅 비용은 2225달러인데 비해 학생 1인당 교육비는 892달러에 불과했다. 이런 수치를 오리건 주에 있는 포틀랜드 커뮤니티 칼리지와 비교해보자. 이 대학의 학생 1인당 교육비는 5953달러인 반면 마케팅 비용은 학교 전체 예산의 1.2%로 학생 1인당 185달러에 불과하다.(140-141p)
안타깝게도 약탈적 광고의 세상에는 영리 대학들만 있는 게 아니다. 이들은 동지가 아주 많다. 고통 받거나 절망에 빠진 사람들이 있는 모든 곳에 약탈적 모형을 휘두르는 광고주들이 있다고 해도 지나친 말이 아니다. 가장 보편적이고 광범위한 분야로 대출 시장을 들 수 있다. 누구나 돈이 필요하지만, 돈이 더욱 간절하게 필요한 사람들이 있다. 이런 사람들은 어렵지 않게 찾을 수 있는데 이들은 우편번호별 통계에서 소득 수준이 낮은 지역에 거주할 가능성이 매우 높다. 약탈적 광고주가 볼 때, 이들 지역의 IP로 접속해 검색엔진에서 대출을 알아보고, 할인쿠폰을 클릭하는 사람들은 사실상 특별한 관심을 가져달라고, 자신들을 쳐다봐달라고, 큰소리로 외치는 것이나 다름없다.
영리 대학들과 마찬가지로 소액 단기대출업체들도 WMD를 활용한다. 합법적인 업체가 운영하는 WMD도 있다. 하지만 대출 산업 자체가 본질상 약탈적이다. 미국에서는 단기 대출에 평균 574%의 터무니없는 고금리를 취하는 경우도 어렵지 않게 찾아볼 수 있다. 뿐만 아니라 많은 소액대출업체가 채무자들을 평균 여덟 번 정도 다른 대출로 갈아타게 만들어 결과적으로 훨씬 장기적인 대출처럼 보이게 한다. 소액대출산업의 WMD는 수많은 데이터 브로커와 리드 창출자들에 의해 유지된다. 이름이 그럴싸해 보이지만 이들 중 상당수는 숫제 사기꾼이나 마찬가지다. 소액대출업체들이 마구 뿌려대는 신속한 대출을 약속한다는 광고는 컴퓨터와 휴대전화 팝업창을 통해 불특정 다수에게 전달된다. 그런 광고를 보고 자신의 은행 정보를 포함해 신청서 작성한다면, 자신의 정보를 도용하고 오용할 사람들에게 대문을 활짝 열어주는 셈이다.(145-146p)
UCLA 인류학 교수로 프레드폴을 창업한 제프리 브랜팅햄은 프레드폴 모형은 피부색과 민족성을 구분하지 않는다고 강조했다. 양형 지침으로 사용되는 재범위험성모형을 포함해 여타 예측 프로그램들과 달리, 프레드폴은 개인에게 초점을 맞추지 않는다. 대신 지리적 데이터에 온전히 집중한다. 프레드폴이 활용하는 핵심 변인은 각 범죄의 유형과 발생 장소, 그리고 발생 시점이다. 이는 언뜻 보면 아주 공정한 것처럼 생각된다. 경찰들이 범죄 발생 위험 지역들에 출동해 더 많은 시간을 보내면서 강도와 자동차 절도를 예방한다면, 그 지역이 혜택을 입을 거라고 생각할 만한 충분한 근거가 된다.
그러나 이런 곳에서 벌어지는 대부분의 범죄는 강도와 차량 절도 같은 중대 범죄가 아니다. 바로 여기서 심각한 문제가 발생한다. 프레드폴 시스템을 적용할 때, 경찰들에게 선택권이 주어진다. 먼저 경찰들은 이른바 1군 범죄에 오롯이 집중할 수 있다. 1군 범죄란 살인, 방화, 폭행같이 대개 경찰에 신고가 들어오는 강력 범죄다. 여기에 부랑죄, 적극적인 구걸, 마약을 소량 판매하고 복용하는 행위 등 2군 범죄를 포함시킴으로써 치안 활동의 초점을 확장할지 선택할 수도 있다. 그런데 이런 경미한 ‘방해’범죄는 경찰이 현장에서 직접 목격하지 않는다면 범죄로 기록되지 않는 것들이다.
가난한 동네에서 경미한 범죄는 흔한 일이다. 오죽하면 어떤 지역에서는 경찰들이 그런 범죄를 범죄가 아니라 반사회적 행동이라고 부르겠는가. 2군 범죄를 모형에 포함시키면 분석이 왜곡될 위험이 있다. 방해 범죄 데이터를 예측 모형에 입력하면 더 많은 경찰이 가난한 동네로 출동하게 되고, 당연히 그런 동네에서 더 많은 사람들이 체포당할 것이다.
경찰들이 강도, 살인, 강간 같은 중범죄를 예방하기 위해 순찰을 도는 것일지라도, 우범 지대로 분류된 동네에서는 순찰 시간이 길어질 수밖에 없다. 아무리 작은 범죄라도 눈앞에서 벌어진다면 경찰이 어떻게 모른 척할 수 있겠는가. 만약 순찰을 돌다가 기껏해야 16살 정도로 보이는 미성년자 둘이 술을 마시는 장면을 목격한다면, 그들의 행위를 중단시키는 게 옳다. 그러다 보면 이런 경범죄가 경찰의 범죄 예측 모형에서 점점 더 많은 점을 차지하고, 이는 다시 경찰이 그 지역을 순찰하게 만든다.
이는 바로 유해한 피드백 루프가 활성화되는 전형적인 과정이다. 경찰 활동 자체가 새로운 데이터를 생성시키고, 이런 데이터가 다시 더 많은 경찰 활동을 정당화해준다. 그리고 교도소는 피해자가 없는 범죄를 저지른 수많은 범죄자들로 넘쳐나게 된다. 이런 범죄자들은 대부분 가난한 동네 출신이고, 또한 대부분 흑인이거나 히스패닉계다.
설령 모형이 ‘색맹’, 다른 말로 피부색을 고려하지 않더라도 결과는 달라지지 않는다. 피부색과 소득 수준에 따라 거주 지역이 뚜렷이 구분되는 오늘날 미국 도시에서 지리적 요소는 인종에 대한 유효적절한 대리 데이터다.(150-152p)
그런데 맥대니얼의 사례를 공정성의 사례를 공정성의 관점에서 보면 어떨까? 그가 가난하고 위험한 동네에서 성장한 것은 자신이 원해서가 아니다. 그냥 운이 나빴을 뿐이다. 그의 삶은 예전부터 범죄에 둘러싸여 있었고, 범죄에 연루된 사람도 많이 알았다. 그는 그 자신의 행동이 아니라 주로 주변 여건 때문에 위험인물로 여겨졌다. 그 결과, 그는 이제 경찰의 감시를 받는 요주의 인물이 됐다. 만약 맥다니엘이 마약을 구입하거나, 술집에서 싸움을 벌이거나, 혹은 미등록 총기를 휴대하는 어리석은 행동을 한다면, 사법 당국 전체가 기다렸다는 듯 그에게 득달같이 달려들 것이다. 평소 그런 행동을 일삼는 미국인이 수백만 명이나 되는데도, 법 집행 당국이 맥다니엘에게 훨씬 엄중한 잣대를 들이댈 것은 어렵지 않게 짐작할 수 있다. 어쨌건 간에 그는 미리 경고까지 받았지 않았나.
경찰을 맥대니얼의 집으로 이끈 모형의 문제점은 무엇일까? 나는 시카고 경찰의 모형이 잘못된 목표를 설정했다고 생각한다. 경찰은 단순히 범죄를 퇴치하는 데 초점을 맞추기보다는 맥대니얼의 동네에서 신뢰를 구축하기 위해 노력해야 했다. 이는 켈링과 윌슨의 깨진 유리창 연구의 핵심 요소 중 하나다. 앞서 말했듯, 그 이론의 사례 연구에서 경찰들은 도보 순찰을 하면서 주민들과 대화를 나누고, 그들이 지역사회의 기준을 준수하도록 돕기 위해 노력했다. 안타깝게도, 체포를 치안과 동일시하는 모형들의 압도적인 힘에 밀려 켈링과 윌슨이 제시한 목표는 온데간데없이 사라지고 말았다.(178-179p)
다시 카일 벰의 이야기로 돌아가보자. 카일이 크로거에서 부적격 판정을 받았지만 맥도날드에는 무사히 입사한다고 가정해보자. 카일은 맥도날드에서 물 만난 물고기처럼 펄펄 난다. 입사하고 넉 달이 지나기도 전에 주방 매니저가 되더니 1년 후에는 전체 프랜차이즈를 관리하는 책임자로 승진한다. 이럴 경우, 크로거의 누군가가 인성적성 검사를 살펴보면서 자신들이 무엇을 어떻게 잘못했는지 확인할까?
절대로 그럴 리 없다. 농구 모형은 적극적으로 피드백을 반영하는데, 왜 채용 모형은 그러지 않을까? 농구팀들은 수백만 달러의 잠재적 가치를 지닌 선수 개개인을 관리한다. 경쟁 우위를 획득하고 이를 유지하기 위해 고심하는 농구팀의 애널리틱스 엔진은 늘 데이터에 목말라 있다. 지속적인 피드백이 없다면 농구팀의 선수 관리 시스템은 부정확하고 시대착오적인 구닥다리가 되고 말 것이다.
반면 최저임금 일자리를 제공하는 기업들은 많은 직원을 집단으로 관리한다. 이런 기업들은 인적자원 담당자들을 기계로 대체함으로써 비용을 절감하고, 기계는 많은 사람을 추려서 더욱 관리하기 용이한 집단으로 만든다. 가령 습관성 도벽이 발병하거나 생산성이 급감하는 것처럼 직원들에게 문제가 생기지 않는 한, 회사로선 부적합 지원자를 걸러내는 채용 모형을 수정할 이유가 거의 없다. 비록 잠재적 인재를 놓치기는 하겠지만, 그 모형은 제 역할을 충분히 다하고 있는 셈이다.
채용 모형의 허점에도 불구하고 회사는 현재 상태에 만족할 수도 있다. 그러나 자동화된 채용 시스템의 희생자들은 고통 속으로 내던져진다.(190-192)
이력서를 자동으로 심사하는 시스템이 확산되기 전인 2001년과 2002년, 시카고 대학과 MIT의 공동 연구진은 <보스턴 글로브>와 <시카고 트리뷴>에 구인광고를 낸 1300여 개의 회사에 5000장의 가짜 이력서를 보냈다. 일자리는 사무직에서 고객 서비스와 영업까지 다양했다. 각각의 이력서에는 인종적 색채를 띠는 내용이 포함돼 있었다. 구체적으로 말하면, 이력서 절반은 에밀리 월시와 브렌든 베이커 같은 전형적인 백인 이름을, 남지 절반은 라키샤 워싱턴과 자말 존스 같은 전형적인 흑인 이름을 썼다. 이름을 제외하면 다른 모든 조건은 거의 동일했다. 결과는 어땠을까?
첫째, 백인 이름을 사용한 이력서에 대한 반응률이 흑인 이름의 이력서 보다 50%나 높았다. 놀라기는 아직 이르다. 아마도 두 번째 결과가 훨씬 더 놀라울 것이다. 백인 지원자들은 이력서의 내용에 따라서 온도 차이가 확실하게 달랐다. 백인 지원자들 중에서 화려한 이력서가 그렇지 못한 이력서보다 훨씬 더 많은 관심을 받았다는 뜻이다. 이것이 무슨 뜻일까? 채용 담당자들은 백인 지원자들에게 깊은 관심을 갖고 이력서를 자세히 살펴봤다. 그러나 흑인 지원자들의 경우, 이력서가 훌륭하든 아니든 반응률에 거의 차이가 없었다. 이 같은 실험 결과로 볼 때, 인종적 편견은 여전히 채용 시장에서 막강한 힘을 발휘하고 있다는 것을 알 수 있다.(193-194p)
(...)
이런 프로그램은 대학입학사정의 경우와 매우 비슷한 결과를 낳는다. 이력서를 준비하는데 투자할 돈과 자원이 있는 사람들이 승자가 된다. 돈과 자원을 투자하지 않는 지원자들은 자신의 이력서가 블랙홀로 직행한다는 사실을 영원히 모를 수도 있다. 이는 빈부의 양극화를 보여주는 또 다른 사례다. 정보와 부를 거머쥔 사람들은 경쟁우위를 차지하고, 그렇지 못한 사람들은 실패자가 될 가능성이 더 커졌다.
오해가 없도록 분명하게 밝힐 게 있다. 비단 오늘날뿐만 아니라 이력서와 관련된 비즈니스는 언제나 이런저런 편견에 물들어 있었다. 앞선 세대의 경우, 정보에 밝은 사람들은 이력서 내용을 명쾌하고 일관성 있게 구성하고, IBM 타자기 셀렉트릭 같은 고급 기계를 사용해서 작성하며, 좋은 용지에 인쇄하는 등 세심한 주의를 기울였다. 그런 이력서는 취업의 문고리를 쥐고 있는 인간 문지기를 통과할 가능성이 더 높았다. 반면 자필 이력서나 등사기를 사용해 잉크 얼룩이 번진 지저분한 이력서들은 대부분 휴지통으로 직행했다. 이렇게 볼 때, 기회로 이어지는 불평등한 경로는 전혀 새로운 것이 아니다. 단순히 새로운 옷으로 갈아입었을 뿐이다. 오늘날 사회에서 승자가 되려면 기계 문지기를 통과해야 한다.
기계 문지기들의 불평등한 평가는 취업 시장을 넘어 다양한 영역으로 확대되고 있다. 기계를 설득하는 능력은 우리의 생계 활동에 갈수록 깊은 영향을 미치고 있다. 이에 대한 가장 명백한 증거는 구글에서 찾아볼 수 있다. 민박이든 자동차 정비소든 사업의 성공은 검색 엔진의 검색 결과에서 얼마나 앞쪽에 등장하는가에 달려 있다. 구직 활동이든 승진이든, 혹은 정리해고의 칼바람에서 살아남는 것이든, 오늘날 사람들은 비슷한 도전에 직면해 있다. 승리의 비결은 기계들이 무엇을 원하는지 알아내는 것이다. 그러나 공정하고 과학적이며 민주적이라고 칭송받는 오늘날의 디지털 세상에서도 내부자들은 여전히 중대한 우위를 차지하는 비결을 알아낸다.(196-197p)
그렇다면 효율성과 공정성을 모두 담보해줄 기준으로 무엇이 적당했을까? 이는 매우 쉬운 문제처럼 보였다. 세인트 조지 의과대학은 수십 년의 입학사정 경험이라는 방대한 양의 데이터를 가지고 있었다. 이제 남은 일은, 컴퓨터 시스템이 지금껏 인간이 해왔던 절차를 그대로 따르도록 가르치는 것뿐이었다. 당신의 짐작이 맞다. 이런 정보가 바로 문제의 근원이었다. 인간에게서 지원자들을 차별하는 법을 배운 컴퓨터는 인간들보다 한 술 더 떠서 기가 막힐 만큼 효율적으로 차별적인 심사를 했다.
세인트 조지 의과대학의 입학사정관들을 오해하기 전에 이 말부터 해야겠다. 컴퓨터에 반영된 학습용 데이터의 모든 차별적 요소가 인종에 대한 노골적인 차별을 반영한 것은 아니었다. 외국 이름이나 외국 주소를 기입한 상당수의 지원자가 영어에 능통하지 못한 것은 분명한 사실이니 말이다. 오늘날에는 누구나 알듯 의학 교육을 받을 정도의 지적 능력을 갖춘 사람이라면 늦게라도 영어를 배울 수 있다. 하지만 당시 입학사정관들은 그런 가능성을 고려하기는커녕, 영어에 능통하지 않다는 이유로 지원자들을 불합격시켰다.
이처럼 세인트 조지 의과대학의 입학사정관들은 전통적으로 서류전형에서 문법적 오류와 철자 오류가 많은 지원서들을 골라냈는데, 문맹이나 다름없던 1970년대 컴퓨터는 그런 전례를 따르기가 거의 불가능했다. 그래서 세인트 조지 의과대학은 대리 데이터를 사용하기로 했다. 과거에 영어 사용이 미숙하다는 이유로 탈락한 지원자와 동일한 출생지나 주소지의 지원자에게 낮은 점수를 주기로 한 것이다. 결과적으로 아프리카, 파키스탄, 영국 내 이민자 집단 거주지 같은 특정 지역 출신 지원자들은 상대적으로 낮은 점수를 받았고, 당연히 면접의 기회조차 얻지 못했다. 탈락한 지원자의 절대다수는 백인이 아닌 유색인종이었다. 뿐만 아니라 예로부터 입학사정관들은 여성 지원자들을 기피했는데, 자녀를 양육해야 하는 어머니로서의 의무가 의사로서의 경력과 상충될 거라는 진부한 이유를 내세워 이를 정당화했다. 당연히 프로그램도 똑같은 선택을 하도록 설계됐다.
(...)
수학 모형들이 데이터를 철저히 조사해서 범죄, 빈곤, 교육 등 중요한 문제에 직면할 가능성이 높은 사람들을 걸러낼 수 있음을 보여주는 사례는 주변에 널려 있다. 그런 정보를 어떻게 이용할지는 사회가 선택할 몫이다. 그들을 배제하고 처벌하기 위해 이용할 수도 있고, 그들에게 필요한 자원을 제공하면서 끌어안을 수도 있다. 요컨대 WMD를 치명적인 무기로 만드는 2가지 특징인 확장성과 효율성을 사람들에게 도움을 주기 위해 이용할 수 있다. 그것은 온전히 우리가 어떤 목표를 선택하느냐에 달려 있다.(199-201p)
그러나 지금까지 알아보았듯, 재범위험성모형부터 교사평가모형에 이르기까지 대다수 WMD는 모형에 현실을 반영해 수정하기보다는 원하는 현실을 창조한다. 관리자들은 모형이 계산한 점수가 이익을 증대시키기 위해 기꺼이 이용할 수 있을 만큼 충분한 근거를 갖추어서 인간이라면 망설일 결정을 쉽게 내릴 수 있도록 도와준다고 생각한다. 비용을 절감하기 위해 직원들을 해고하면서 그 같은 결정에 대한 책임을 객관적인 숫자에 떠넘기는 것이다. 그들에게 숫자가 진실을 담고 있는가는 그다지 중요하지 않다.(225p)
채용과 승진 절차에 신용평가점수를 고려하는 관행은 빈곤의 악순환을 촉발시킨다. 신용 이력 때문에 일자리를 구할 수 없으면 신용 이력이 더욱 나빠지고, 결과적으로 일자리를 구하기가 더욱 어려워진다. 이는 사회 초년생이 첫 직장을 구할 때 경험이 부족하다는 이유로 일자리를 구하지 못하는 문제와 비슷하다. 장기 실업자의 어려움과도 닮았다. 너무 오랫동안 직업이 없었기 때문에 그들을 받아줄 곳이 거의 없는 그런 경우 말이다. 이는 불운한 사람들이 한번 휩쓸리면 빠져나오기 힘든, 파괴적인 피드백 루프라고 할 수 있다.
고용주들은 책임감 있는 사람은 신용이 좋고, 그래서 신용이 좋은 사람을 채용해야 한다고 주장한다. 그러나 부채를 도덕적 문제와 연관시키는 것은 잘못된 일이다. 기업이 파산하거나 값싼 노동력을 찾아 일자리를 해외로 이전하는 바람에, 혹은 비용 절감이라는 허울 때문에 성실하고 믿음직스러운 많은 사람이 매일 일자리를 잃고 있다. 불경기라면 실직 문제는 더욱 심각해진다. 많은 미국 노동자들이 실직과 한께 건강보험 자격도 상실하고 있다. 무보험 상태에서 행여 사고나 질병이 발생하면 그들은 여지없이 대출금 연체자가 된다. 일명 오바마 케어 혹은 건강보험 개혁법이라고 불리며 건강 보험 미가입자 수를 감소시킨 부담적정보험법을 적용받아도, 의료비용은 여전히 미국에서 가장 보편적인 개인파산 사유다.(248-249p)
실수는 학습의 기회가 된다. 단, 시스템이 실수에 대한 피드백을 받아들일 때만 그렇다. 구글은 다행히도 실수를 학습의 기회로 삼았다. 그러나 WMD 모형에는 실수를 학습의 기회로 삼는 과정이 빠져 있다. WMD의 자동화 시스템은 e점수를 생성하기 위해 우리의 데이터를 샅샅이 훑는다. 이는 과거를 그대로 미래에 투영하는 식으로 진행된다. 재범 위험성에 따른 양형 모형이 그렇고, 약탈적 대출 알고리즘도 그렇다. 가난한 사람들은 영원히 가난의 굴레에서 벗어나지 못할 것으로 예상되고, 그런 예상에 부합하는 대우를 받는다. 즉, 기회를 박탈당하고, 더욱 자주 감옥에 가며, 서비스와 대출에서 바가지를 쓰거나 불이익을 받는다. 이는 냉혹하고 불공정한 일이지만 평가 과정이 알고리즘에 철저히 숨겨져 있어 마땅히 호소할 곳도 없다.
자동화된 시스템이 스스로 이 같은 문제를 해결할 거라고 기대하기는 어렵다. 그 모든 놀라운 능력에도 불구하고 기계들은 공정성을 제고하기 위해 그 무엇도 조정할 수 없다. 최소한 기계 스스로는 그렇게 할 수 없다. 데이터를 샅샅이 조사하고 무엇이 공정한지 판단하는 것은 기계로선 절대적으로 불가능한 영역이며 지독히도 복잡한 일이다. 오직 인간만이 시스템에 공정성을 주입할 수 있다.(258-259p)
차차 알아보겠지만, 보험업계의 개인화 움직임은 아직까지 초기 단계에 머물러 있다. 그러나 보험사들은 이미 우리를 예전보다 더 소규모 부족으로 분류하고, 우리에게 각기 다른 제품과 서비스를 적정한 가격으로 제공하기 위해 다양한 데이터를 활용하고 있다. 이를 고객 맞춤 서비스라고 부르는 사람도 있다. 그러나 문제는 이런 정보가 개개인이 아니라 ‘가상의 집단’에 초점이 맞춰져 있다는 것이다. 보험사들이 사용하는 모형은 우리와 행동이 비슷해 보이는 사람들을 한데 묶어 특정한 집단으로 분류한다. 그런데 정작 우리는 자신이 어느 집단에 속하는지 확인할 길이 없다. 정확도와는 상관없이 분석의 불투명성은 바가지 보험료로 이어질 수 있다.(272p)
자동차용 블랙박스에 대한 생각을 물어보면 대부분의 사람이 데이터를 분석당하는 것보다 감시를 당한다는 데 더 강한 거부감을 보인다. 그들은 모니터의 노예가 되고 싶지 않다고 목소리를 높인다. 추적당하는 것 자체가 싫다는 사람도 있고, 자신에 관한 정보가 광고주들에게 팔리거나 국가안보국의 손에 넘어가는 것을 원하지 않는 사람도 있다. 개중에는 용케 감시를 피하는 사람도 있을 것이다. 그러나 프라이버시에는 대가가 따른다. 그리고 그 대가는 시간이 흐를수록 더욱 비싸진다.
아직까지 자동차 보험사들의 추적 시스템은 초기 단계다. 게다가 운전사의 사전 동의가 반드시 필요하다. 즉, 추정당하는 것에 동의하는 사람만 자신의 차량에 장착된 블랙박스를 작동시키면 된다. 그 대가로 당장 5~50%의 보험요율 할인을 받을 수 있다. 이런 혜택은 점차 늘어날 것이다(반면 동의하지 않은 사람들은 더 많은 보험료를 부담함으로써 할인율로 발생한 보험사의 수익 감소를 메워줄 것이다). 어찌 됐건 보험사들은 더 많은 정보를 입수함에 따라 더욱 정확하게 위험도를 예측할 수 있게 될 것이다. 이것이 바로 데이터 경제의 본질이다. 차량 내 추적 시스템으로 얻은 정보에서 가장 많은 지식과 통찰을 이끌어내고 그것을 수익으로 전환시킨 보험사들이 업계를 주도하게 될 것이다. 따라서 데이터에서 더 많은 이득을 얻을수록 보험사들은 더 많은 데이터를 얻기 위해 더욱 노력할 것이다.
언젠가는 추적 시스템이 보험업계의 표준이 될 수도 있다. 그렇게 되면 보험사들에 필수적인 정보만 제공하면서 전통적인 방식의 보험을 고수하려는 소비자들은 할증료를, 그것도 상당히 높은 할증료를 지불해야만 할 지도 모른다. WMD의 세상에서 프라이버시는 오직 부자들만이 즐길 수 있는 사치품이 되고 있다.
감시는 보험의 본질을 변화시키고 있다. 전통적인 관점에서 볼 때, 보험은 지역사회의 불행한 소수의 필요에 반응하기 위해 다수에 의존하는 산업이다. 수백 년 전 마을에서 누군가의 집에 화재가 발생하거나, 누군가 사고를 당하거나 병에 걸리면 가족친지와 이웃, 그리고 신앙이 있다면 신도들이 도와주기 위해 팔을 걷어붙였다. 시장경제에서 우리는 이런 도움을 보험사들에 위탁하고, 보험사들은 그에 대한 보상으로 보험료의 일부를 취한다.
우리에 대해 많이 알게 될수록 보험사들은 위험도가 가장 높아 보이는 사람들이 누구인지 확인하고, 그런 다음 그들에게 천문학적인 보험요율을 적용하거나 법률이 허락하는 선에서 보험 가입을 거부할 수 있게 될 것이다. 이는 사회 스스로 다양한 위험을 균형 있게 관리하도록 돕는다는 보험의 본래 목적에서 크게 벗어난다. 표적화의 세상에서 우리는 더 이상 평균치만 부담할 수 없다. 예상되는 미래 비용 또한 부담해야 한다. 보험사들은 우리가 삶의 장애물을 수월하게 넘어가도록 도와주는 대신에, 장애물에 대비해 미리 비용을 청구할 것이다. 이것은 보험의 근본적인 취지를 훼손하는 것이며, 장애물을 극복하기 힘든 사람들에게는 더욱 혹독한 일이 될 것이다.(283-285p)
그러나 오늘날에는 TV에서도 개인화된 광고가 늘어나고 있다. 가령 뉴욕에 위치한 시뮬미디어 같은 ‘신세대’ 광고 회사들은 TV 시청자들을 행동에 따라 세분화된 버킷으로 분류해 사냥 애호가, 평화주의자, 대형 SUV 운전자 등 생각이 비슷한 사람별로 맞춤화된 광고를 제공한다. TV를 비롯해 모든 언론이 시청자와 독자들의 프로필을 작성하는 방향으로 나아감에 따라 정치적 마이크로 타기팅의 잠재력은 갈수록 커지고 있다. 마이크로 타기팅이 보편화될수록 이웃 간에도 서로 어떤 정치적 메세지를 전달받는지 알기가 어려워진다.
(...)
물밑에서 실행되는 캠페인은 정치권과 유권자 사이에 정보 불균형 상태를 초래한다. 정치 마케팅 전문가들은 유권자들에 관한 세세한 정보를 관리하고, 유권자들에게 정보를 찔끔찔끔 제공하면서 각자 정보에 어떻게 반응하는지 측정한다. 반면 유권자들은 자신의 이웃들에게 어떤 정보가 제공되는지 전혀 알 길이 없다. 이것은 비즈니스 협상가들이 보편적으로 사용하는 전술과 닮았다. 이들은 협상의 양 당사자를 개별적으로 상대하기 때문에 어느 쪽도 협상가가 상대방에게 무슨 말을 하는지 알 수 없다. 이런 정보의 비대칭은 여러 집단이 손을 잡고 힘을 합치는 것을 막는다. 이는 현대 민주주의 체제가 안고 있는 근본적인 문제다.
이처럼 프로필과 예측으로 무장한 채 날로 성장하는 마이크로 타기팅 과학은 WMD로서 모든 조건을 완벽히 갖췄다. 거대하고 불투명하며 무책임하다. 또한 정치인들의 든든한 지원군이 되어 유권자들의 표를 얻기 위해 얼굴을 자유자재로 바꾸는 것을 도와준다.
각 유권자를 점수화하는 행태는 또 다른 폐해를 낳는다. 소수의 유권자들만 무대 중앙에 올리고 나머지 유권자들을 조연으로 만듦으로써 민주주의를 손상시킨다.(324-326p)
탐욕에서 비롯됐든 편견에서 나왔든, 부당함은 인류의 역사와 궤를 같이해왔다. WMD의 폐해가 최근 역사에서 인류가 보여준 비열함보다 더 나쁘다고 할 수도 없다. 과거에도 대출 담당자나 채용 담당자가 대출을 해주거나 직원을 채용할 때 여성들은 말할 것도 없고 특정한 인종집단 전체를 차별하는 경우를 쉽게 찾아볼 수 있었다. 아무리 최악인 수학 모형이라도 그런 관행만큼 나쁘지는 않다고 항변하는 사람도 더러 있을 것이다. 그러나 인간의 의사결정은 가끔 오류가 있기는 해도, 이를 충분히 상쇄할 수 있는 최고의 미덕이 하나 있다. 바로 진화하는 능력이다. 학습하고 적응함에 따라 개개인은 변화하고 우리가 운영하는 제도나 시스템도 개선돼 왔다. 반면에 자동화된 시스템은, 기술자들이 그것을 변화시키기 위한 노력을 시작할 때까지 시간이 멈춘 듯 그대로 존재할 뿐이다. 가령 빅데이터 기반의 대학 입학사정 모형이 1960년대 초반에 구축됐더라면, 오늘날까지도 많은 여성이 대학에 진학하지 못했을 것이다. 또한 1960년대 초반 박물관들이 고수했던 위대한 예술에 대한 지배적인 관념들을 규범으로 삼았더라면, 지금까지도 거의 모든 예술 작품이 부유한 후원자들의 돈으로 창작 활동을 하는 백인 화가들의 손에서 탄생했을 것이다. 당연히 앨라배마 대학교의 미식축구 팀도 온통 백인 선수였을 것이다.(336-337p)
ㅡ 캐시 오닐, <대량살상 수학무기> 中, 흐름출판