UPDATED. 2024-03-29 22:45 (금)
[통찰의 재미] 불확실성의 시대, 현명한 선택은 예측력에 달려있다.
[통찰의 재미] 불확실성의 시대, 현명한 선택은 예측력에 달려있다.
  • 교수신문
  • 승인 2020.01.10 17:49
  • 댓글 0
이 기사를 공유합니다

신호와 소음 |네이트 실버 저/이경식 역 |더퀘스트 |페이지 764

새해가 되면 사람들은 한번쯤 자신의 신년 운세를 알아보고 싶어 한다. 누구든 미래에 어떤 일이 벌어질지 확인하고 싶은 마음은 인지상정일 것이다. 점쟁이처럼 미래를 알 수 있는 방법이 있다면 사람들은 얼마나 솔깃할까. 요즘 같은 정보의 과잉시대, 복잡도가 높아지는 불확실성의 시대에 미래를 알 순 없겠지만 최소한 비슷하게 예측이라도 할 수 있으면 좋을 것이다.  네이트 실버의 『신호와 소음(The Signal and The Noise)』은 그런 욕구를 어느 정도 해결해줄 수 있는 책으로 추천할 만하다. 이 책은 최근 4차 산업혁명의 선도기술로 얘기되는 인공지능, 그와 함께 불가결의 요소인 빅데이터라는 기술 변화를 이해하기 위해서도 매우 유용한 지식을 제공한다. 책의 분량은 7백 페이지가 넘을 정도로 방대하지만 미국 대통령 선거 결과를 정확히 예측한 통계학 분야의 다양한 현장 경험을 가진 전문성과 현실의 사례로 이야기를 풀어가는 탁월한 스토리텔링 재능은 분명 독자들을 매료시키기에 충분하다.

저자는 2012년 미국 대통령 선거 결과를 정확히 예측해 명성을 얻은 통계학자로 경제, 정치, 야구, 기상, 지진, 전염병, 체스, 포커, 지구 온난화, 테러, 주식 등 13개 영역에 걸쳐 풍부한 사례를 담아 ‘예측’ 문제를 탐구한다. 저자는 미래에 대한 예측력을 높이기 위해서는 방대한 정보로부터 진실에 도달하게 하는 ‘신호’와 그것을 방해하는 ‘소음’을 구별해야 한다고 역설한다. 그는 인류 역사상 인쇄술이 등장한 이래로 책을 편찬하는 비용이 획기적으로 줄어들면서 정보량이 증가했지만 세상은 혼돈에 빠졌다고 설명한다. 수많은 정보들로부터 유용한 정보를 가려내는 역량의 증가는 정보량의 증가를 따라가지 못했던 것이다. 이제 인터넷 시대가 시작되고 빅데이터 시대가 도래하면서 정보량은 더 폭발적으로 증가했지만 여전히 가치 있는 정보(신호)는 적은 대신 이를 왜곡하는 정보(소음)가 더 빠르게 늘어난 게 문제였다. 

저자는 ‘우리가 아는 것’과 ‘안다고 생각하는 것’ 사이의 간극을 좁힘으로써 신호와 소음을 구별할 수 있다고 주장하면서 구체적 해결방법으로 ‘베이즈 정리(Bayes' theorem)’에 기반한 통계 확률적 사고방식을 제안하고 있다. 베이즈 통계는 표본에 의해 모집단의 특성을 추정하는 전통적 방식의 연역적 통계가 아니라 추가되는 정보를 통해 편견과 오류를 계속 제거하는 작업을 반복함으로써 진실에 접근하는 귀납적, 경험적인 통계 방식을 활용하고 있어 표본이 아닌 모집단 데이터 자체를 활용할 수 있는 요즘 같은 빅데이터 환경에 더 적합한 통계 추론 방식이라고 할 수 있다. 또한 비유적으로 얘기하자면 기존의 통계학이 멈춰 있는 과녁을 맞히는 것이라면 베이즈 통계학은 움직이는 과녁을 맞추는 데 유용하다. 간단히 얘기하자면 베이즈 통계는 불확실성이 높은 상황에서 정보의 가치를 발생가능성이란 개념에 의해 확률적으로 평가함으로써 앞으로 일어날 일들에 대한 예측력을 높이는 실용적인 방법이라고 할 수 있다.  이런 유용성으로 인해 베이즈 통계는 실제로 인공지능의 머신러닝에서도 활용되고 있다.

기존의 통계적 예측 방식이 정확도가 낮았던 이유는 과거의 고정적 시점의 데이터를 기초로 끊임없이 변화하는 미래를 예측하려고 했던 것에서 기인된다. 지금같이 변화가 빠르고 불확실성이 높은 시대 상황에서는 더더욱 그럴 수밖에 없다. 베이즈 추론은 그에 반해 과거의 경험에서 시작하지만 세상에 대해 우리가 갖고 있는 주관적 인식이 진리에 대한 어림짐작에 지나지 않음을 인정하고, 미래를 선택할 때 불확실성을 고려해 추가되는 정보를 통해 좀 더 나은 판단을 할 수 있도록 업데이트하는 태도를 견지함으로써 미래를 좀 더 정확히 예측할 수 있다는 것이다. 신호와 소음을 구별하는 과정에서 우리는 일반적으로 새로운 정보를 너무 무시하거나 반대로 과대평가하는 경향이 있다. 따라서 추가적인 정보를 받아들이고 올바른 방향으로 판단을 수정하는 데 유용한 베이즈 사고는 예측 방법론으로서뿐 아니라 불확실성의 시대를 살아가는 현대인들에게 현명한 의사결정 방법이 될 수도 있다.

이 책은 미래를 예측하는 내용을 알려주는 책이 아니다. 미래를 정확히 예측할 수 있는 방법을 알려주는 책도 아니다. 다만, 우리가 미래를 예측할 때 내리는 실수를 어떻게 피하고 신호와 소음을 어떻게 효과적으로 구별할 것인지를 돕는 책이라고 할 수 있다. 결론적으로 이 책은 신호를 방해하는 진정한 ‘소음’은 잘못된 데이터가 아니라 바로 인간의 편견과 고정관념이라는 사실을 깨닫게 해 준다.

김선진 경성대학교 디지털미디어학부 교수


관련기사

댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.