KKV의 반향이 낳은 또 다른 결과는 사회과학 연구자들이 질적방법론을 다른 방법론과 결합해 보다 완성도 높은 인과추론을 산출하는 작업에 많은 관심을 기울이게 됐다는 것이다. 이를 다방법 연구(Multi-Method Research)라고 부른다. 실제로 이는 오늘날 가장 급속히 발전하고 있는 방법론의 하나다. 앤드류 베넷을 필두로 앨런제이콥스(Alan Jacobs), 타샤 페어필드(Tasha Fairfield)와 같은 연구자들이 이러한 베이지안 과정추적(Bayesian process tracing) 기법을 발전시키는 데 기여하고 있다. 다방법 연구와 관련된 수많은 논점들 가운데, 여기서는 두 가지만을 간략히 다루고자 한다.

(1) 두 문화에서 협업으로, 다시 ‘공유된 기준(a shared standard)’으로

다방법 연구에 관한 관심이 완전히 새로운 현상인 것은 아니다. 예컨대, 일찍이 시드니 태로우(Sidney Tarrow)가 주창한 ‘트라이앵귤레이션(triangulation)’은 이 분야의 대표적 패러다임 중 하나다.

하지만 이와 달리 최근에는 양자의 ‘인테그레이션(integration)’을 추구하는 새로운 패러다임이 주목을 받고 있다. 이러한 패러다임은 지난 1편에서 언급한 저작 Rethinking Social Inquiry에서 이미 발견된다. 이 책의 필진이었던 제이슨 시라이트와 사드 더닝(ThadDunning)의 작업이 대표적이다.

2016년에 그는 단행본 『Multi-Method Social Science:Combining Qualitative and Quantitative Tools』를 출간했다. 많은 측면에서 이 책은 오늘날 다방법 연구 분야의 가장 최신 성과들을 반영하고 있다. 무엇보다 이 책의 특징은 두 가지 이상의 방법론이 결합해서 하나의 단일한(a single, unified) 인과 추론을 뒷받침할 수 있다는 그의 주장에 있다. 이러한 연구설계 하에서는, 한 방법이 추론을 산출하는 분석을 설계하고 검정하거나 다듬는 데 사용되는 반면, 다른 방법은 그러한 작업에 근거해 최종적(final) 추론을 산출한다.

하나의 사례로서, 내전의 발생과 지리적 특성의 관계를 연구한다고 가정하자. 여기서 통계분석은 국가 별 지리적 특징의 차이(예컨대, 산악지대의 유무)가 주어졌을 때 그와 연관된 내전의 조건부 확률의 차이를 추정하는 데 활용될 수 있다. 한편 영토적 특징들이 특수한 내전의 요인들을 발생시키거나 억지한다는 가설을 상정해보자.

그에 부합하는 사례 내 증거들이 존재하는지 확인하기 위해서는 사례연구가 동원될 수 있다. 요컨대, 다방법 연구의 설계 하에서 양적방법론과 질적 방법론은 서로 다른 질문을 다룬다. 하지만 그럼에도 불구하고 양자의 협업에 의한 최종적 추론의 질은 각자가 산출한 것보다 더 높아진다. 따라서 이는 양적 방법론과 질적 방법론의 고유한 차이(따라서 양자의‘통약불가능성’)를 강조하는 A Tale of TwoCultures의 주장과도, 다른 방법론이 같은 질문을 다루는 트라이앵귤레이션의 주장과도 다르다.

더 나아가 시라이트는 양적 방법론과 질적 방법론이 공유하는 근본적 인과 관념으로 잠재적 결과 모델(Potential OutcomeModel, 이하 POM)를 제안한다. POM은 오늘날 양적 연구의 지배적인 인과모델로 수용되고 있다. 따라서 그는 질적 방법론의 인과모델 역시 POM으로 번역될 수 있다는 점을 보여주고자 한다. 한 가지 간단한 사례를 들어보자. 그에 따르면, 필연적 인과(necessary causation)는 각 사례에 대한 두 가지 잠재적 결과 가운데 한 가지를 구체화한 것으로 이해할 수 있다. 따라서 처치(treatment)는 통제집단에 속한 모든 관찰된 사례들이 주어진 결과를 얻지 못했을 경우에만 그 결과에 대한 필요조건이 된다. 이러한 정식화에서 주목할 대목은 이러한 번역이 갖는 함의다. 예컨대 그는 처치를 필연조건으로 지칭하는 것은 더 많은 것을 의미한다고 주장한다. 반사실적 추론의 정의상, 처치집단에 속한 사례들 역시 만약 처치에 노출되지 않았더라면 해당 결과를 얻지 못했을 것이기 때문이다. 따라서 POM에 근거한 필요조건의 정의는 그간의 논의들이‘hoop test’를 스모킹 건 테스트와 혼동해왔다는 점을 드러내준다. 양적 방법론과 질적 방법론이 공유하는 추론의 논리를 제안하고 있다는 점에서, 그의 작업은 이반 리버먼(Evan Lieberman)이 제시한 초기의 다방법 연구 모델(nested analysis)보다 진일보한 주장으로 평가할 수 있다.

(2) 다방법 연구에서 과정추적의 역할

다방법 연구에서 주목받고 있는 또 다른 지점은 자연실험(natural experiment)의 설계 하에서 질적 증거가 수행하는 역할이다. 2012년에 사드 더닝이 출간한 책『Natural Experimentsin the Social Sciences: A Design-Based Approach』는 이 점을 특히 잘 보여주는 저작이다. 이와 공명하는 다른 글(「Improving process tracing: The case of multi-methodresearch」)에서 그는 인과추론에 있어 과정추적의 기여를 두 가지 측면에서 좀 더 자세히 분석하고 있다. 첫째, 과정추적은 처치를 할당하는 과정이 적합하게 이뤄졌는지
확인해주는 역할을 한다. 여기서 중요한 것은 분석단위가 처치집단과 통제집단에 할당되는 과정에 대한 정보의 획득 여부다. 가장 대표적인 자연실험의 사례로 제시되는 것은 19세기 중엽 런던에서 발생한 콜레라의 원인 규명에 관한 존 스노우의 역학 연구다. 그에 따르면 A 회사는 1853~54년에 콜레라가 발생하기 이전에 템스 강 상류로 수원을 옮긴 반면, 경쟁업체인 B회사는 템스 강 하류 쪽에 여전히 수원을 가지고 있었다. 이는 어떤 의도적 선택이나 관련 정보없이 용수를 공급받는 거주민을 두 집단으로 나눴다는 점에서 자연실험으로 간주할 수 있다. 콜레라에 따른 사망률은 두 집단에서 큰 차이를 보였다. 전자에서는 1만 명 당 37명이 사망한 데 그쳤지만, 후자에서는 315명이 사망했기 때문이다.

해석에 주의를 해야 할 지점이 있다. 1852년에 제정된 법은 좀 더 깨끗한 물의 공급을 위해 1855년 8월 31일 이후부터는 용수공급 회사들이 템스 강 감조구간의 물을 사용하는 것을 불법으로 금지했다. 이를 감안하면, A 회사가 법적 요구보다 일찍 용수 공급처를 옮긴데 반해 B 회사는 해당기간까지 남아 있었다고 볼 수 있다. 이 경우 용수공급이라는 처치는 자기선택적(self-selected)이 되며, 이는 원칙상 교란변수가 존재할 수 있다는 것을 함축한다. 예컨대, 거주민들 일부는 이러한 움직임을 미리 알고 용수공급 회사를 바꿨을 가능성이 있다.

이 문제의 해결 여부를 판단하기 위해서는 당대 지역 거주자에 대한 질적 정보가 중요하다. 스노우는 용수공급 회사의 선택은 회사간 경쟁이 활발했던 시기에 소유주에 의해 이뤄졌으며, 자신이 분석한 런던 지역의 거주자들은 대부분 세입자였다는 점을 강조한다. 이는 거주자들의 상당수가 회사를 변경할 선택권을 가지고 있지 않았다는 의미로 해석할 수 있다. 요컨대, 그의 자연실험 설계에서 거주자 정보에 관한 질적 증거는 처치의 할당이‘마치 무작위처럼(as-ifrandom)’이뤄졌는지를 확인하는 데 결정적이다.

둘째, 과정추적은 인과모델의 작동 여부를 검증하는 데도 기여할 수 있다. 여기서 중요한 것은 인과모델의 핵심 전제들을 지지하거나 무효로 만드는 인과적 과정에 대한 정보의 획득 여부다. 자연실험의 또 다른 유명한 사례는 아르헨티나의 토지개혁 실험에 관한 연구다. 1981년에 가톨릭교회가 조직한 일군의 사람들이 부에노스아이레스 근교의 황무지를 점거했다.

교회는 이 땅을 비슷한 크기로 나눠 개별 가족들에게 분할했다. 아르헨티나에서 민주주의가 회복된 이후 1984년에 제정된 법은 이들 점거자들에게 정식 소유권을 부여할 목적으로 이 토지를 일단 몰수할 것을 명령했다. 몰수된 토지 중 일부는 곧장 점거자들에게 소유권이 이양됐지만, 원소유주 중 일부가 이러한 조치에 저항하면서 다른 일부 토지는 소유권 이양에는 시간이 오래 걸렸다. 그렇다면 우리는 1984년 법에 따른 조치가 처치집단과 통제집단을 만들어냈다고 해석할 수 있을 것이다.

여기서 흥미로운 사실은 이후 주택투자나 가계구조, 자녀의 교육수준에 있어 두 집단 사이에 큰 차이가 발생했다는 것이다. 이로부터 한 가지 가능한 인과모델의 작업가설은 정식 토지 소유권의 부여(처치)가 청소년의 임신에 영향을 미쳤다는 것이다. 실제로 이 연구에 따르면, 토지 소유권이 부여된 지역 가정에서 임신한 청소년들이 더 적게 발견됐다. 그렇다면 이 가설에서 처치의 인과효과는 모든 가정에 소유권이 부여된 경우와 어떤 가정에도 소유권이 부여되지 않은 경우 사이의 청소년 평균 임신율의 차이로 해석될 것이다. 하지만 이러한 인과효과는 처치가 각 단위 별로 할당되는 과정에서 어떤 개입(interference)도 존재하지 않는다는 전제가 충족될 때에만 추정이 가능하다.

요컨대, 자연실험의 설계 하에서 과정추적은 인과모델의 핵심 전제들을 검증하는 질적 증거들을 발견하는 데 결정적 역할을 수행한다. 다방법 연구가 작동하는 한 가지 중요한 사례를 확인하는 지점 역시 여기다.

정웅기 존스홉킨스대 정치학과 박사과정

미국 정치와 비교정치 분야에서 사회정책과 정치제도의 상호작용에 관심을 가지고 있으며, 제도주의 이론과 질적 연구 및 다방법 연구 방법론을 통한 인과추론 역시 연구 분야다. ujung3@jhu.edu

정웅기 존스홉킨스대 정치학과 박사과정 다른기사 보기