신의 존재를 증명하기 위해 만들었지만 과학이 돼버린 이론이 있다. 독일의 에니그마 암호를 깨뜨리고 사라진 핵잠수함을 찾았으며, 대통령 선거 결과를 예측했지만 비밀 속에 묻혀야만 했던 베이즈 정리(Bayes' rule)가 그것이다. 통계학자들은 왜 이 이론을 오랜 세월 동안 금기시했을까. 최근 출간된 『불멸의 이론』(이경식 옮김, 휴머니스트출판그룹刊)는 150년 동안 어둠 속에 묻혀야 했지만, 이후 현재까지 100년의 전성기를 맞고 있는 통계학 이론인 베이즈 정리의 역사를 세세하게 기술하고 있다.

수학에 취미를 가졌던 영국의 목사 토머스 베이즈는 250년 전 하나의 이론을 생각했다. “한 대상에 대해 가지고 있던 초기의 믿음을 객관적이고도 새로운 정보로 업데이트할 때, 보다 개선된 새로운 믿음을 얻을 수 있다.”베이즈 정리의 핵심은 이전의 경험과 현재의 증거를 토대로 사건의 확률을 추론하는 것이다. 하지만 주관적인‘경험’을 중시하는 베이즈 정리는 객관성을 전제로 하는 ‘과학’에 받아들여지지 않았다. 베이즈는 신의 존재를 증명하려고 이 이론을 만들었지만, 아무것도 하지 않았다. 그의 사후 친구인 리처드 프라이스를 통해 베이즈 정리는 세상에 알려지게 된다. 주관적이던 그의 주장을 이론의 형태로 만든 이는 수학자 피에르 시몽 라플라스이다. 그는 베이즈 정리를 수학 공식으로 만들었으며, 구체적인 방법론을 제시했고 체계화했으며, 실제로 활용했다.

현재 응용 통계학에서는 새로운 이론의 1/4 가량이 베이즈 정리에 의존하고 있다. 하지만 확률과 통계가 예전부터 당연했던 것은 아니었으며, 베이즈 정리도 이는 마찬가지였다. 원인과 통계는 별개의 것이라 생각했으며, 그 원인이 주관성을 바탕으로 하고 있다는 점은 통계학자들이 집요하게 물고 넘어지는 요인이었다. 더 많은 실험과 사례만이 더 정확한 확률을 도출할 수 있다는 빈도주의의 세상에서 이전 ‘경험’을통해 확률을 도출하는 베이지안(주제에 대한 복수의 가설을 설정하고 각 가설의 실현가능성에 대한 확률판단을 한 후 추가로 입수되는 첩보를 바탕으로 확률변화 추이를 통계학적으로 추론하는 방법)이 설 자리는 없었던 것이다.

통계학자들의 비난 속에 묻혀야만 했던 베이즈 정리는 현실에서 일어나는 긴급한 문제들을 해결하기 위해 다시 세상에 나올 수 있었다. 베이즈 정리는 2차 세계대전에서 독일의 암호 체계인 에니그마를 해독하는 데 결정적인 공헌을 했으며, 산업화 시대에 접어들면서 산재 보험을 만드는 데도 기여했다. 기업의 의사 결정 체계에도 사용됐으며 냉전 시대에 사라진 핵잠수함을 찾거나 유실된 수소 폭탄을 탐색하는 데 사용되기도 했다. 또한 어려운 계산을 컴퓨터가 대신함에 따라 베이즈 정리는 그야말로 날개를 달 게 된다. 베이즈 정리의 단점이 주관성에 있었다면, 최고의 장점은 과학적이지 않은 주관성에 의지한 이론의 결과가 너무 잘 들어맞았다는 것이다. 이렇게 베이즈 정리는 문제를 해결하는 열쇠가 됐고, 스스로 가치를 증명해내기 시작했다.

베이지안을 응용한 알기 쉬운 문제 한 가지를 보자. 유방암에 관한 가족력이 전혀 없고 또 징후도 없는 사십 대 여성이 유방암 엑스선 사진을 찍었는데 검사 결과 정상이 아니라는 통보를 받는다. 추가로 검사를 받을 필요가 있다고 한다. 유방 엑스선 사진은 유방암에 걸린 사십 대 여성의 80%에 대해서 양성 판정을 내리고 유방암 세포가 없는 여성의 약 10%에 대해서도 양성 판정을 내린다고 할 때, 이 여성이 정말로 유방암에 걸려 있을 확률은 얼마일까?

이 계산을 수행하면 3%가 나온다. 즉, 유방 엑스선 검사에서 양성 반응을 받은 여성이 실제로 유방암에 걸려 있을 확률은 3%밖에 되지 않는다는 말이다. 거꾸로 말하면 유방암에 걸리지 않았을 확률이 97%나 된다. 이것이 바로 통계학의 진실, 특히 베이즈 정리가 밝히는 당혹스러운 진실이다.

오늘날 베이즈 정리는 역사 속에서 금기시 됐었다는 사실 자체가 의문일 정도로 거의 모든 분야에서 활용되고 있다. DNA 분석에서 폐암과 유방암의 원인을 밝히는 것, 웹사이트 번역기나 로제타 스톤 등 언어 관련 분야, 대통령 선거 결과 예측, 국방 분야, 스팸메일 필터, 웹으로 음악과 영화를 거래하는 일까지 우리 생활과 밀접하게 맞닿아 있다.

그렇다면 앞으로는 어떻게 될까. 컴퓨터의 막강한 힘은 어마어마한 양의 정보를 조직할 수 있다. 그러나 컴퓨터는 키워드에 따라 관련 문서들을 조잡하게 검색할 뿐이다. 오로지 뇌만이 문서와 영상 자료를 각각이 갖고 있는 의미와 내용에 따라 살펴볼 수 있다. 『불멸의 이론』의 저자인 샤론 버치 맥그레인은 컴퓨터와 인간의 경쟁이 생겨날 시대에 대비한 질문을 던지고 있다. 어떤 접근법이 유용할까. 컴퓨터는 인간에게 모든 것을 가르칠 정도로 강력해질까? 과학자들은 이제 더는 실험을 하거나 자료를 모으기 전에 어떤 가설을 설정할 필요가 없을까? 베이지안의 조직적 원리들이 여전히 근본적인 것으로 계속 남을 수 있을까?

수학자 디아코니스는 혁명의 결과가 어떻든지 간에 베이즈 이론은 어떤 식으로든 한 부분을 담당할 것이라고 주장한다. “베이즈 이론은 아직도 젊다. 18세기 이전에는 확률에 수학적인 개념이 전혀 들어 있지 않았음을 상기하라. 베이즈는 자료도 부족하고 컴퓨터의 성능도 보잘것없는 환경에서 성장했다. 그리고 아직은 충분히 자리를 잡지 못했다. 베이즈 이론에 시작을 주자. 우리에게는 얼마든지 그럴 여유가 있다.” 불멸의 이론은 이제 막 시작됐다.

윤상민 기자 cinemonde@kyosu.net

윤상민 기자 다른기사 보기