이번 글에서는 <교수신문> 887호 두 번째 글에서 살펴본 인과모델의 차이점을 염두에 두면서, 방법론적 이슈들에 관한 개리 킹, 로버트 코헤인, 시드니 버바가 함께 쓴 Designing Social Inquiry(이하 KKV, 1994)의 주장에 질적 연구 및 다방법연구 방법론(이하 QMMR)이 어떻게 대응하는지 검토한다.

KKV에 대한 대응: 질적 연구 및 다방법 연구 방법론(QMMR)

(2) 방법론적 핵심 이슈들

1) 종속변수에 근거한 사례 선택이라는 쟁점
KKV가 제시한 두 가지 유명한 조언에서 출발하는 것이 좋겠다. 먼저 KKV는 종속변수에 근거해 사례를 선택해서는 안 된다고 지적한 바 있다. 예컨대 다양한 혁명의 원인을 연구하고자 할 때, 혁명이 발생한 사례들만을 연구대상으로 삼을 경우 종속변수의 변이는 존재하지 않는다. KKV는 이러한 연구를 통해서는 과학적 추론이 불가능하다고 비판한다. 따라서 KKV는 주요 설명변수에 따른 사례 선택을 권장한다.

이러한 권고는 의도적 사례 선택의 경우에도 마찬가지로 적용된다. 바바라 게디스(Barbara Geddes)의 유명한 연구를 사례로 이 논점을 좀 더 검토해보자. 동아시아 발전국가 연구에 따르면, 높은 경제성장률을 설명하기 위해서 규율된 노동력을 창출할 수 있는 정부의 역할(노동억압)이 강조된다.

하지만 게디스는 발전국가 연구자들이 오직 높은 경제성장률을 보인 극단적 사례들에 근거해서만 사례를 선택하기 때문에, 이에 근거한 발견은 선택편향(selection bias)에 빠질 가능성이
높다고 지적한다. 32개국을 대상으로 한 그녀의 회귀분석은 노동억압과 경제성장 간에는 어떤 관계도 존재하지 않는다는 점을 보여준다.

그러나 집합이론적 관점에서 본다면, 노동억압은 고도성장의 필요조건으로 이해돼야 한다. 즉 전자의 부재는 반드시 후자의 부재로 이어지지만, 전자가 존재한다고 해서 반드시 후자가 발
생하는 것은 아니다. 실제로 게디스의 데이터에서, 낮은 수준의 노동억압을 기록한 국가 가운데 높은 경제성장을 보인 국가는 존재하지 않는다. 역으로, 많은 고도성장 사례들이 최소한 중간 수준의 노동억압을 기록했지만, 멕시코는 예외에 해당했다.

끝으로, 제이슨 시라이트(Jason Seawright)와 존 게링(John Gerring)은 목적적인 사례 선택을 체계적으로 진행할 수 있는 연구절차를 제안한 바 있다. 예컨대 이들이 제시하는 총 일곱 가지의 사례 가운데, 극단적 사례는 한 측면에 관해 독립변수 또는 종속변수가 극단적인 값을 갖는 경우를 가리킨다. 물론 극단적 값을 갖는 종속변수에 근거한 사례 선택은 KKV의 조언과는 배치되는 것이다. 그러나 연구자가 관심을 갖고 있는 한 측면에 관해 종속변수의 변이를 극대화시키면 기존의 추론을 강화(약화)하거나 새로운 가설을 발생시킬 수 있다.

이러한 ‘탐색적 방법(exploratory method)’의 유용성은 다음과 같은 것이다. 예컨대 1995년의 Polity Ⅳ 데이터 셋을 통해 민주주의 점수를 산출할 경우, 카타르와 사우디아라비아는 –10을 기록하는 가장 극단적인 사례에 속한다. 만약 연구자의 관심사가 경제성장과 민주주의의 인과관계에 있다면, 이 사례들은 경제성장에 대한 레짐유형(regime type)의 효과를 설명하는 기존의 민주주의 이론을 반박하거나 새롭게 정식화하는 단초를 제공할 수 있다.

2) 인과추론의 레버리지: 상이한 정보유형과 추론기법
KKV의 또 다른 핵심조언은 질적 연구에서 독립변수의 효과를 추정하기 위해서는 관찰들의 수를 늘리는 것이 무엇보다 중요하다는 것이다. 즉 이들에 따르면, 적은 사례들(cases)을 대상으로 하는 질적 연구들은 사례들에 대한 더 많은 관찰을 통해 인과추론의 레버리지를 높일 수 있다. 하지만 QMMR의 입장에서 본다면, 이러한 조언은 양적 방법론의 논리를 질적 방법론에 강제한 오류다. 양적방법론이 사례 간(cross-case) 분석에 부합하는 데 비해, 질적 방법론은 사례 내 분석에 부합하기 때문이다. 이 주장을 좀 더 자세히 파악하기 위해서는 두 방법론이 활용하는 정보유형에 관한 두 가지 개념적 구분이 필요하다.

첫 번째 유형은 DSO(Data Set Observation)로 불린다. 이는 일반적으로 “행렬 형태로 주어지는 데이터 셋의 열(row), 즉 측정된 모든 변수들이 한 사례에 대해 갖는 값(점수)”을 의미한다. 반면 두 번째 유형은 CPO(Causal Process Observation)로 통칭된다. 이는 한 사례 내의 “맥락이나 과정, 또는 메커니즘에 관한 정보를 제공함으로써 인과추론의 레버리지를 높이는 데 기여하는 통찰이나 데이터의 일부”를 뜻한다. 이렇게 인과추론을 위한 정보유형이 구분된다면, 그 정보를 활용할 수 있는 분석기법에도 차이가 있을 수밖에 없다.

QMMR에 의하면, 양적 연구에서 인과추론의 핵심이 DSO를 활용해 인과효과를 추정하는 것이라면, 질적 연구에서 인과추론의 핵심은 CPO를 활용해 인과 메커니즘(causal mechanism)을 설명하는 것이다. 여기서 인과 메커니즘은 한 사례의 원인과 결과 사이에 존재하는 ‘사건들의 과정, 시퀀스, 결합’을 지칭한다. 그러한 인과 메커니즘에 대한 가설을 발전시키거나 검증하는 기법이 과정추적(process tracing)이다. 네 가지의 과정추적 기법 중 가장 기본적 형식은 ‘hoop test’와 ‘smoking gun test’로 구성된다. 전자는 결과가 발생하기 위한 필요조건의 존재 여부를 검정하는 데 사용되는 반면, 후자는 결과의 충분조건 유무를 검정하는데 활용된다.

제임스 마호니(James Mahoney)와 앤드류 베넷(Andrew Bennett)이 활용하는 한 가지 사례를 통해 이상의 논의를 구체적으로 살펴보자. 국제안보 분야에서 유명한 니나 타넨월드(Nina
Tannenwald)의 연구는, ‘핵에 대한 터부(nuclear taboo)’─핵무기는 용납할 수 없는 대량살상무기로 인지돼 왔다는 규범적 금지─가 2차 세계대전 이후 미국이 핵무기를 사용하지 않은 원인이라고 주장한 바 있다. 저명한 방법론 연구자인 내서니엘 벡(Nathaniel Beck)은 그녀의 연구가 단지 네 가지 역사적 사례에 근거하고 있으며, 이는 추론을 위한 관찰의 수로는 너무 적다고 비판했다.

하지만 QMMR의 관점에서 본다면, 그녀가 동원하는 추론의 레버리지는 네 가지 사례(즉 네 개의 DSO)가 아니라 이 사례들에서 발견되는 결정적인 질적 증거들(즉 CPO)에서 나오는 것이다. 예컨대 그녀는 고위급 의사결정자들이 나눈 구체적 회의록의 분석을 통해, 핵에 대한 터부로 인해 실제로 핵무기의 사용이 저지된 경우를 발견했다.

이 같은 증거의 발견이 갖는 함의를 두 가지 경로로 세분화해서 검토할 수 있다. 먼저 ‘hoop test’를 살펴보자. 회의에서 핵무기 사용에 대해 규범적 우려가 제기되었다는 경험적 증거가 존재하지 않는다면, 규범적 금지의 작동이 핵무기 사용을 억지했다는 터부 가설은 유지되기 어렵다. 물론 필요조건의 정의가 말해주듯이, 이 테스트를 통과하지 못할 경우 해당 가설은 크게 약화되지만, 이를 통과한다고 해서 그 가설이 확정되지는 않는다. 다시 말해서, 규범적 우려의 존재를 발견했다고 해서 터부 가설이 곧장 승인되는 것은 아니다.

이상의 논의를 살펴본다면, 과정추적에 기반한 인과추론은 KKV가 제시한 논리와 다른 방식으로 이뤄진다는 점을 파악할 수 있다. 이 연재의 마지막 편에서는 KKV의 또 다른 중요한 반향이라 할 수 있는 다방법 연구(Multi-Method Research)의 발전을 다룬다.

정웅기 미국 존스홉킨스대·박사과정

정웅기 미국 존스홉킨스대·박사과정 다른기사 보기