학부 시절에 베이즈주의(Bayesianism)를 처음으로 접했을 때의 놀람을 아직도 기억하고 있다. 막연히 알고 있었던 합리적 사고의 전형을 베이즈주의를 통해서 봤기 때문인데 확률론의 공리 체계를 활용해 마치 자유낙하 중인 물체를 물리학 법칙에 따라 기술하듯이 사고 과정을 분석할 수 있다는 점에 매료됐다. 그러나 베이즈주의에 대한 나의 경이로움은 ‘죄수의 딜레마’나 ‘심슨 역설’과 같은 문제들을 접하면서 차츰 의구심으로 변해갔다. 죄수의 딜레마는 두 명의 죄수가 각자 합리적 판단을 내린 것으로 생각하지만 전체적으로 봤을 때는 그들의 판단은 최선이 아니라는 점을 보여준다. 심슨 역설 역시 전체 집단에서 성립되는 통계적 사실이 그것을 분할하는 하위 집단에서는 성립하지 않는다는 점을 보여준다. 그 두 가지 역설로 인해 나는 합리성이 최선의 판단을 보증하지 못한다는 점과 더불어 판단에 있어서 개인적 차원과 사회적 차원을 구분할 필요가 있다는 점을 점차 깨닫게 됐다. 나의 책 『베이즈주의: 합리성으로부터 객관성으로의 여정』은 이런 문제의식으로부터 출발한다.

베이즈주의는 여러 가지 이론적 장점을 갖고 있지만 그중에서 으뜸가는 것은 과학 방법론에서 잘 나타난다. 일찍이 키케로가 “확률은 삶의 진정한 안내자다(Probability is the very guide of life)”라고 말했듯이 이제 확률은 우리의 삶과 세계를 이해하는 데 있어 필수불가결한 요소가 됐다. 물리학에서의 양자역학의 등장은 이를 단적으로 보여준다. 그러나 철학자들은 그런 흐름을 외면하고 입증(confirmation)과 설명과 같은 과학철학의 핵심 주제에 대해 귀납주의, 반증주의, 가설연역법을 통해 정성적 분석에 치중해 왔다. 베이즈주의는 추리에 대해 확률 공리체계에 기반을 둔 엄밀하고 정교한 정량적 분석을 제공함으로써 키케로의 통찰을 충실히 수용했다. 베이즈주의는 특히 추리에 관한 확률적 접근을 채택함으로써 과학철학의 대표적 난제들을 해결할 수 있었다. 예를 들어, 헴펠의 입증 이론이 갖는 한계를 극복하거나 뒤엠문제와 까마귀 역설의 해결 등이 그것이다. 이런 이유로 베이즈주의는 20세기에 들어서 과학 방법론으로서 자연과학뿐만 아니라 사회과학의 연구자들에 의해 널리 채택됐고 르네상스를 맞이할 수 있었다.

그렇지만 베이즈주의가 앞으로 해결해야 할 문제들도 많다. 형식적 엄밀함과 정교함이 베이즈주의의 장점이지만 그 이론의 근본 요소들은 여전히 논란의 대상이다. 통상적으로 이해되고 있는 베이즈주의, 즉 개인적 베이즈주의에 따르면 확률은 사람들이 사건이나 현상을 기술하는 진술들에 대해 갖는 신념도(degree of belief)인데, 그런 신념도의 형성과 개정을 규제하는 요소는 합리성이다. 베이즈주의적 행위자의 판단은 확률론의 공리체계를 준수한다는 점에서 합리적이라고 정의된다. 베이즈주의에 대한 비판자들은 이 지점에서 다양한 의문을 제기하는데 그중에서 중요한 것으로는 확률이 개인적 차원의 문제인지, 확률공리체계를 준수하는 것만으로 합리성을 규제할 수 있는지, 합리성이 베이즈주의의 근본 원리인지 등이 있다.

베이즈주의에 대한 보다 더 구체적인 비판들이 많이 제기됐지만 베이즈주의가 과학 방법론으로 살아남기 위해서는 그런 의문들에 대해 납득할 만한 대답을 제시해야 한다. 나의 책은 베이즈주의를 지지하는 입장에서 그 목적을 달성하기 위한 하나의 시도다. 나는 책에서 과학 방법론으로서의 베이즈주의가 지닌 일차적 덕목을 합리성이 아니라 객관성으로 봐야 한다고 주장하고 그것을 확보할 수 있는 길을 구체적으로 모색했다. 베이즈주의의 근본 문제는 확률에 대한 주관적 해석을 바탕으로 정의된 합리성이 최소한의 규제만을 받는다는 데 있다. 개인의 믿음 체계는 확률론의 공리체계를 준수하고 일관성을 위배하지 않는 한 합리적이라고 이해된다. 그동안 인지심리학, 진화심리학, 사회구성주의 분야에서 제기된 비판을 통해 알 수 있듯이 그런 합리성 개념에 기반을 둔 이론은 실제적 추리, 특히 과학적 추리를 제대로 분석하기 어렵다는 점이 드러나고 있다.

베이즈주의가 그동안 성취한 이론적 성공은 주로 이상적 환경에서 획득된 것이었다. 그러나 과학적 방법과 그 최종 산물인 과학적 지식은 이상적 조건에서만 고려될 수 없고 더욱이 판단의 주체가 개별 과학자들이 아니라 과학자 사회라는 점을 고려하면 베이즈주의적 합리성 개념만으로 과학성을 확보하기는 매우 어려운 실정이다. 나는 과학 방법론으로서 베이즈주의의 성공 여부는 그 이론이 객관성을 어느 정도 확보할 수 있는지에 달려있다고 보고 그 가능성을 확보하는 데 주력했다.

*구체적으로 나의 책은 다음과 같은 문제 상황으로부터 출발한다.

*베이즈주의는 확률론의 공리체계에 기반을 둔 합리성에 의존한다.

*베이즈주의는 확률을 주관적으로 해석하기 때문에 그것은 주관적 개입을 크게 허용한다.

*그러나 과학적 방법 및 지식은 본질적으로 객관적이다.

*그러므로 베이즈주의는 과학적 객관성을 적절히 설명할 수 없다.

나는 위의 결론은 성급한 것이며 베이즈주의는 주관적 합리성과 관련된 문제를 극복하고 적어도 과학적 객관성을 확보할 수 있다고 생각한다. 나는 순수하게 확률적 관점에서 고려되고 있는 베이즈주의적 합리성은 이론적 한계를 갖고 있으며 그로 인해 많은 문제들이 발생한다는 진단과 더불어 그런 한계를 벗어나기 위해서는 베이즈주의에 관한 논의의 초점을 합리성이 아니라 객관성에 둬야 한다고 주장한다. 베이즈주의에 대한 이런 접근은 그 이론을 다룬 기존의 많은 문헌들에서 부분적으로 제기됐을 수는 있지만 체계적으로 다뤄진 적은 거의 없다. 단 하나의 예외는 이어만(Earman, 1992)이다. 이어만은 “합리성에 관한 주제는 객관성에 대한 주제와 결합된다”라고 지적함으로써 나와 문제의식을 공유한다.

나의 책은 3부로 구성돼 있다.

*1부: 베이즈주의적 합리성을 규정하고 그것을 뒷받침하는 주요한 이론적 틀(신념도로서의 확률, 합리성의 원리, 주관적 확률, 사전확률의 수렴, 확률공리체계, 조건화 규칙, 더치북논증, 역추리)을 검토한다.

*2부: 베이즈주의적 입증과 의사결정에 관한 이론을 검토하고 뒤엠문제와 오래된 증거의 문제가 그런 이론에서 어떻게 해결되는지를 비판적으로 분석한다. 이어서 베이즈주의적 합리성에 대한 인지심리학, 진화심리학, 통계학의 도전(어립법과 편향, 제한된 합리성, 심슨역설)과 객관성에 대한 도전(관찰의 이론의존성, 공약불가능성, 이론미결정성, 사회구성주의)을 검토한다.

*3부: 합리성의 문제를 베이즈주의의 이론 안에서 해결함으로써 객관성을 확보 수 있는 방안을 모색한다. 먼저 객관적 베이즈주의, 정지규칙, 엄격한 시험, 베이즈망을 통해 객관성으로의 첫 번째 여정을 검토하고 이어서 사회적 합의, 증언과 정합성을 통해 객관성으로의 두 번째 여정 을 제시한다.

한편으로는 객관성에 대한 베이즈주의적 분석을 제공함으로써 그 이론의 적용 영역을 확장할 뿐만 아니라, 다른 한편으로는 베이즈주의가 과학적 객관성을 다룰 수 없다고 주장하는 최근의 비판들에 대해 베이즈망 이론에 기반은 둔 정교한 대답을 제시할 수 있는 결과를 가져올 것으로 기대된다.

■ 베이즈주의란?

베이즈주의는 인식론, 통계학, 과학철학, 심리학 등 믿음이나 지식을 다루는 분야에서 나타나는 견해로 18세기 영국의 수학자인 토마스 베이즈가 증명한 확률 이론, 특히 베이즈 정리에 기반을 두고 있다. 베이즈주의의 기본 아이디어는 신념이나 지식은 ‘맞거나 틀리거나’가 아니라 정도로 나타나는 현상이며, 믿음의 정도는 확률론의 공리체계와 관련된 규제를 준수한다는 점이다. 베이즈주의는 특정 진술에 대한 믿음의 정도에 양의 실수를 부여하는 것을 확률적 판단으로 보고 이를 확률론의 공리체계를 이용해 처리한다. 예를 들어 “2018년 러시아 월드컵에서 독일이 우승할 것이다”라는 가설의 확률은 월드컵에 참여하는 국가들의 실력을 담은 증거가 주어지면 베이즈 정리를 이용해 구할 수 있다. 이처럼 베이즈주의는 가설과 증거 간의 관계를 다루는 입증 이론을 중심으로 발전해 왔다. 연역논리학이 연역적으로 타당한 논증들에 대한 추리 원리와 규칙을 제공하는 것과 마찬가지로 베이즈주의는 귀납적으로 건전한 확률 추리 및 귀납 논증에 대한 원리와 규칙을 제공한다.

이영의 강원대 HK교수·과학철학

뉴욕주립대(빙헴톤)에서 박사학위를 받았다. 한국과학철학회와 한국철학상담치료학회 회장으로 있다. 베이즈주의 인식론, 인지과학철학, 체화인지이론, 철학 및 인문치료에 관심을 갖고 있다.

이영의 강원대 HK교수·과학철학 다른기사 보기