수학이나 물리학 논리학에서 19세기 말부터 20세기 초까지의 정상급 수학자였던 다비드 힐베르트(1862~1943, 사진)라는 이름을 피하기는 쉽지 않다. 그만큼 다양한 분야에서 업적을 냈다는 뜻이어서 간략히 소개한다는 것은 도무지 불가능하다. 다행히도 힐베르트의 전기가 우리말로 번역돼 나와 있기 때문에, 적어도 힐베르트의 삶의 궤적을 하나하나 설명할 수고는 덜 수 있을 것 같다. 힐베르트가 젊은 나이에 수학계에 이름을 알리게 된 것은 ‘고르단의 불변식 문제’를 해결하면서부터다. 어떤 대수적 구조가 보존하는 ‘불변식’을 찾아낼 수 있다는 것을 처음으로 증명한 것이다. 수학에서는 증명이 모든 것이어서 누구도 증명된 정리와 명제에는 토를 달 수 없는데, 힐베르트의 증명은 상당한 논란을 낳았다.

증명이 틀려서가 아니라, ‘구성적 증명’이 아니라는 것이 문제였다. 불변식을 찾아내는 방법은 전혀 제시하지 않고, 귀류법을 써서 불변식의 존재성을 증명한다는 점이다. 범인은 이 방 안에 있음에 틀림없다고 선언은 했지만, 범인이 누군지는 모르는 탐정쯤에 비유할 수 있겠다. 다행이라면 범인의 혈액형이나, 지문처럼 불변하는 것에 대한 정보는 알고 있으니, 어리숙한 탐정이라고만 매도하는 것은 맞지 않겠지만 말이다. 힐베르트는 형식주의자? 불변식의 제왕이었던 고르단은 힐베르트의 증명에 혀를 내두르면서도 “이건 수학이 아니라 신학이다”라고 말했을 정도다. 귀류법 혹은 배중률을 사용한 증명을 극단적으로 배격한 ‘직관주의자’ 브라우베르 파와의 기나긴 수리 철학 논쟁의 시작이기도 했다.

더구나 이 시기 수학계는 혼란 및 도약의 시기를 겪는 중이었다. 수학계 최대의 성공작이라 할 수 있는 미적분의 이론을 비로소 탄탄한 논리적 바탕 위에 세우는 등 성공한 성공시대였던 반면, 무한에 대한 서투른 인식이나 집합론의 모순 등으로 촉발된 수학 및 논리 자체에 대한 인식의 재고가 요청되던 혼란과 위기의 시대이기도 했다. 상대성 이론과 양자 역학 등에서 세계관의 변화가 꿈틀대는 시기였기도 하다.

그런 시절 수학의 기초는 물론이고, 수리 물리학을 포함한 첨단 분야에도 늘 힐베르트가 있었다. 힐베르트는 흔히 ‘형식주의자’ 혹은 ‘공리주의자’로 알려져 있다. 여러 가지 면에서 해석할 수 있는데, 다음과 같은 선언에 집약돼 있다. “모든 기하학적 명제에서 점, 직선, 평면이라는 용어를 탁자, 의자, 찻잔으로 바꾸어 놓을 수 있어야 한다.” 이러한 견해를 과도하게 해석한다면, 수학은 현실을 반영하지 않더라도 (모순만 일으키지 않는다면) 공리 체계로부터 연역할 수 있는 명제와 정리를 찾아내는 ‘놀이’로 폄하하기 쉽다.

힐베르트의 이런 선언은 유클리드의 원론을 비롯한 전 시대의 기하학을 보다 정확한 논리적 기반 위에 세우려는 데서 나왔다는 전후 맥락을 이해하지 못하면, 형식주의라는 말이 주는 어감은 과히 좋은 편은 아니라 하겠다. 하지만 힐베르트가 남긴 저술이나, 수학계에 제시한 23대 문제나, 길러낸 후학들만 보더라도 그렇게 단순하게 접근할 문제는 아니다. 뛰어난 연구자였으면서도 강연에도 능했고 명쾌한 저술가였던 힐베르트가 만년에 2년에 걸쳐 괴팅겐 대학에서 강의한 내용을, 그 강연을 들었던 제자 겸 동료 교수였던 콘-포센이 상당 부분 보충해 펴낸 책이 『기하학과 상상력』이다.

콘-포센의 기여도 무시할 수는 없지만 기본적으로는 힐베르트의 강의가 주축이 된 저술이다. 사실 힐베르트는 수학에 재미를 못 느껴 시인이 되겠다고 한 제자에게 ‘상상력이 부족한 자’라고 혹평했을 만큼 수학에서 상상력의 중요성을 평소 강조했던 수학자다. 이 책을 통해서, 무엇보다도 수학의 근본은 직관과 상상력임을 보여주고 있다. 요즘 수학은 추상적인 경향이 너무 강해, 직관과 상상력을 기대하기가 점차 힘들어지고 있다는 점에서 현대에 던져주는 시사점이 자못 크다. ‘제2의 유클리드’가 선택한 과감한 방식 이 책은 당시에도 이미 한참 고전 축에 속하던 원뿔 곡선에 대한 논의로부터 시작해 떠오르는 첨단 분야였던 미분기하학과 위상수학까지 하나의 흐름으로 조리 있게 엮어내고 있다.

흉내 내기 힘든 솜씨다. 또한 데카르트 이후 수학계의 표준처럼 자리 잡은 해석기하학의 방법론을 가능한 한 배제하고, 그림과 직관을 최대한 활용했다는 점은 특기할 만하다. 형식주의자의 전형이었다면, 유클리드가 이미 모범을 보인 대로 공리부터 나열하고, 명제, 정리를 이끌어내는 전개를 채택했으리라 짐작하겠지만, 그런 모습은 거의 찾아볼 수 없다. 당시 수학은 물론이고 현대 수학이 거의 대부분 따르는 방식을 과감히 탈피한 것이다. 물론 수학적으로만 보자면 엄밀한 증명을 기대할 수는 없다.

하지만 이렇게 잘 쓰인 책이라면 엄밀하고 형식적인 수학을 버리는 대신 얻을 수 있는 대가가 훨씬 크다. 책이 출간된 이후 현재까지도 ‘고전’의 자리에 끼는 것은 이 때문이다. 이 책이 우리말로 번역되는 데는 70년의 세월이 걸렸다. 일본에서는 오래 전에 (편역이지만) 번역본이 나왔는데, 그만큼 우리 수학이 뒤쳐져 있다는 증거라 봐도 무방하다. 전문 서적에 가까워 시장성이 적은 데다, 번역을 업적으로 인정하지 않는 풍토 탓도 있다. 물론 수학을 전공한 전문 번역자가 부족했던 때문도 있다. 다행히도 교양 수학책을 중심으로 최근 변화의 바람이 불고는 있다. 하지만, 아직까지도 많은 저서가 비전공자에 의해 번역되고 있다. 개중에는 수준급의 번역도 있지만, 용어 및 개념에서부터 혼란을 보이는 번역도 상당수 눈에 띈다.

정착된 번역어가 없어 번역본마다 다른 용어를 사용하는 실정도 여전하다. 필자를 비롯한 이들의 노력이 더해져, 차츰 나아지리라 기대해 본다. 힐베르트는 누구인가? 1862년 쾨니히스베르크에서 태어났다. 어린 시절부터 수학에 두각을 나타냈으며, 26세 때인 1888년에 ‘고르단(Paul Gordan)의 문제’를 해결하면서부터 수학계에 본격적으로 이름을 알리게 된다. 1895년부터 괴팅겐에 자리를 잡은 힐베르트는 대수적 정수론의 순수 수학에서 업적을 내기 시작했다. 또한 그는 1900년 8월 8일 국제수학자대회에서 다가올 20세기 수학계가 해결해야 할 23개의 수학 문제들을 제시했는데, 이 문제들은 20세기 수학의 진행 방향에도 커다란 영향을 미쳤다. 1902년에는 『기하학의 기초』를 출판해 기하학의 공리적 기초를 마련했다.

이런 의미에서 그를 가리켜 ‘제2의 유클리드’라 부르기도 했다. 출간 이후 베를린대에 임용돼 폰 노이만, 노르트하임 등과 함께 양자역학의 수학적 공리화를 시도했으며, 1924년에는 그의 수제자인 쿠랑과 함께 『수리물리학의 방법』이라는 20세기 수리물리학 분야의 고전을 출판했다.

이 책은 슈뢰딩거의 파동역학이 나오기 직전에 출판돼 과학자들이 파동역학에 나오는 난해한 수학적 방법을 쉽게 이해할 수 있게 도와 현대물리학의 보급에도 결정적인 역할을 했다. 1915년 11월 아인슈타인의 일반상대성이론과 거의 같은 시기에 「물리학의 기초」라는 논문으로 같은 결론을 얻기도 했다. 제 1차 세계대전 후에는 브로베르(Brouwer) 등이 주창한 직관주의에 대항해 형식주의를 주장했다. 1930년 봄 괴팅겐에서 정년퇴임했다. 80세에 길에서 넘어져 다친 뒤 쇠약해져 전쟁이 한창이던 1943년 2월 14일 81세로 일기로 세상을 떠났다.

정경훈 서울대 기초교육원·수학
필자는 서울대에서 박사 학위를 받았다. 포항공대, 연세대, 위스콘신 대 박사후 연구원 등을 거쳐 현재 서울대 기초교육원 강의 교수로 있다.

정경훈 서울대 기초교육원·수학 다른기사 보기