SW와 로봇의 진화로 인해 일자리가 점점 사라질 것이라는 예측은 사실일까. 최근 <월스트리트저널>은 ‘당신은 정말 로봇과 증권 애널리스트를 구분할 수 있는가?(Can You Tell the Difference Between a Robot and a Stock Analyst, 7월 9일자)’를 통해 이에 대한 분석을 내놓았다. 로봇은 보통의 경우가 아닌 데이터가 나오면 뉴스의 가치가 있는 것으로 판단한다. 통계적 일탈 지표에 반응하는 것이다.

‘로봇 저널리즘’, ‘내러티브 사이언스’ 등으로 불리는 이러한 조류는 정말 가능한 것일까. 여기서 ‘로봇’은 SW화 한 일종의 프로그램이자 알고리즘이다. 이미 모든 뉴스생산이나 보급이 SW화 했다고 해도 과언이 아니다. 원고지에 기사를 써서 우편으로 보내거나 전화로 낭독하던 시대는 지난 것이다. 컴퓨터와 SW에 기반 하지 않고서는 한 줄도 쓸 수 없는 현 상황에서 로봇기자의 등장은 과연 어떤 의미를 갖는가.

로봇 저널리즘에 일자리 뺏길까

<LA타임즈>의 ‘퀘이크봇’은 지진에 대한 속보를 전한다. 평상시와 다른 데이터가 감지되면 신속히 알리는 것이다. 그 기준은 진도 3.0 이상이다. 또한 로봇 기자 ‘워드스미스(Wordsmith)’는 수백만 개에 달하는 기사를 써내는 능력을 과시한다. 워드스미스는 미국의 벤처기업 오토메이티드 인사이트(Automated Insights, 로봇 저널리즘의 대표적 전문기업으로서 인공지능 소프트웨어 개발업체)라는 곳에서 개발한 프로그램이다.

관건은 정말 기자들이 쓰는 기사와 유사한, 부자연스럽지 않은 기사를 쓸 수 있냐는 것이다. 이를 극복하기 위해선 자연언어처리(natural language processing)가 필요하다. 자연언어처리는 우리가 평상시에 쓰는 언어로 전환하는 과정이라 생각하면 쉽다. 기계어를 일상어로 바꿔 읽을 수 있도록 하는 것이다. 자연언어처리에 인공지능은 필수다. 그런데 과연 인공지능이 인간의 언어가 지닌 복잡성과 엄밀성, 중의성 혹은 모순성(?) 등을 이해하고 극복할 수 있을지는 의문이다.

국내에도 로봇 저널리즘에 대한 활용과 연구가 활발하다. ‘테크봇’은 <테크홀릭>이라는 IT전문매체에서 개발한 자동 기사 작성 SW다. 매주 인기 있던 기사를 모아 기사 형태로 발행한다. 0.1초에 1건의 기사를 써내는 테크봇은 조회수 등을 집계하고 공란에 채워진 단어를 분석하는 알고리즘을 이용한다.

이준환 서울대 교수(언론정보학과) 연구팀(hci+d랩, human-computer interaction+design랩)이 개발한 ‘뉴스로봇’은 스포츠 뉴스를 공략한다. 기존의 데이터 수집 단계를 넘어 내러티브를 담아 기사화 하는 것이다. 이준환 교수는 한 언론과 인터뷰에서 알고리즘이 인공지능이 아니라 일종의 산술적인 규칙이라며 해석이나 판단은 힘들다고 밝힌 바 있다.

매일 <월스트리트>는 수백만 단어들을 쏟아내며 투자자들이 주식과 증권, 투자 상품을 사도록 유도한다. 미래엔 그러한 단어들을 사람들이 작성하지 않을 것이다. 금융 서비스 분야에서 자동화가 성장함과 동시에 컴퓨터와 알고리즘이 전통적인 주식 트레이더, 점원, 금융 컨설턴트를 대체하고 있다. 다수의 스타트업들은 인공지능을 이용해 새로운 이야기와 보고서를 작성한다. 그들은 은행과 금융 서비스 기업들에 대한 분석을 목표로 삼고 있다.

내러티브 사이언스사는 2010년에 컴퓨터가 생산하는 기사, 즉 로봇 저널리즘을 시작했다. 이 회사는 ‘퀼’이라는 로봇기자를 선보였다. 2013년엔 금융 서비스 사업에 필요한 보고서 등의 상품을 추가했다. 금융회사들이 내러티브 사이언스사 고객의 60%를 차지한다. 지난해 오토메이티드 인사이츠는 미국 보험회사인 올스테이트(Allstate Corp)를 고객으로 확보했다. 오토메이티드 인사이츠는 고객사로 야후나 언론사 AP 등을 보유하고 있다. 이러한 방식의 금융 서비스를 제공하는 스타트업들은 이지옵(Yseop)과 캐피탈규브, 골드만삭스가 출자한 켄쇼 등이 있다.

<가디언> ‘결코 잠들지 않는 기자들(The journalists who never sleep. 2014년 9월 12일자)’ 보도에 따르면, 미국 노스웨스턴대 인공지능 전문가인 래리 번바움(Larry Birnbaum. 지능정보연구실 공동소장) 교수는 로봇 저널리즘 기술 개발에 기여했다. 그는 퀼 시스템을 개발한 사람 중 한 명이다. 퀼 시스템은 리눅스 체계 하에 일반 PC에서도 탁월한 성능을 구현한다. 로봇 저널리즘 기술을 설명하기 위해 4단계를 구분한다. 실제로는 각 단계가 겹친다.

우선 퀼은 테이블, 리스트, 그래프 등 다른 소프트웨어에 의해 구조화된 데이터들을 수집한다. 번바움 교수는 “오늘날 많은 정보들은 회사 회계 관련 스프레드시트(회계 프로그램)부터 축구 경기를 묘사하는 블로그까지 사람들에 의해 발생한다”고 말했다. 또다른 지능 시스템인 ‘업스트림(Upstream)’은 기계에 의해서 사용될 수 있도록 데이터를 구조화 해준다. 즉 텍스트를 포함한 다양한 형태의 포맷들로 전환시켜주는 것이다. 이런 방식으로 로봇 기자는 잠재적으로 인간의 모든 지식에 접근할 수 있다.

퀼의 다음 단계는 내러티브 분석이다. 번바움 교수는 “내러티브 구조화하는데 초집중하는 방법을 사용해 데이터가 분류·등급화 된다”면서 “퀼은 사실들을 선별하고 특정 행동과 수치를 강조한다”고 설명했다.

셋째, 가장 혁신적인 작업은 내러티브를 생성하는 것이다. 번바움 교수는 “알고리즘들은 수집된 사실들의 리스트를 통해 (어떤 내러티비를 생성할지) 계획을 정의한다”며 “그런 후에 모델링 프로세스 덕분에 알고리즘은 적절한 편집의 관점을 선택한다. 그 결과는 언어들과, 프로그램 코드라인들, 그래프들 - 오직 기계만 이해할 수 있는 구현의 혼합이다”고 말했다.

그 다음은 원고 작성이다. “문장을 작성하기 위해 퀼은 언어들과 언어 규칙의 집합, 다양한 관용구를 일상 영어로부터 획득해서 갖고 있을 뿐 아니라 전문용어 전문가다”라면서 “컴퓨터는 지난 수년 동안 영어 작문하는 방법을 알고 있었지만 실용화할 수 없었던 이유는 충분한 양의 정보에 접근하기 어려웠기 때문”이라고 번바움 교수는 밝혔다. 이제 컴퓨터는 충분히 흥미로운 이야기들을 인간에게 들려줄 수 있다.

한편, 금융 서비스 산업에서 로봇 저널리즘 관련 기술이 좀 더 정교화하면서 은행들은 비용을 줄이고 효율성을 높이기 위한 수단을 찾고 있다. 내러티브 사이언스사의 프로그램들은 회사 내부 문서나 DB에서 데이터를 추출한 후, 알고리즘을 이용해 그 회사 상품 소개나 프리젠테이션을 위한 정보를 종합한다. 자동화된 보고서 작성 알고리즘을 사용하는 은행이나 대부분의 사기업들은 프로그램 사용료가 얼마인지 밝히기를 꺼려한다. 하지만 내러티브 사이언스사의 SW는 정보들을 더 신속하고 값싸게 요약할 수 있도록 해주며, 더 많은 보고서와 마케팅 자료들을 발간해 사업이 가능케 한다. 금융회사들은 다양한 주식시장 전략을 통해 펀드가 어떻게 투자되는지 고객들에게 알려주기 위해 자동화 보고서 작성 기술을 시험 중이다.

그러나 애널리스트 업무 중에 가장 핵심인 질적 정보를 처리하는 부분에서 로봇 저널리즘은 한계가 있다. 애널리스트들은 기업의 담당자와 고객 사이를 돈독히 하기 위해 말의 뉘앙스를 이해하려고 한다. 하지만 알고리즘이 그런 일을 하긴 쉽지 않다. 일각에선 무슨 일이 일어나는지에 대한 리포트가 아니라 고객의 생각을 연구해 발전시켜야 한다고 조언한다.

정보 수집부터 원고 작성까지

한편에선 컴퓨터와 알고리즘이 그러한 역할을 충분히 수행할 날이 멀지 않았다고 예측한다. 투자자들의 돈을 얼마나 잘 분산 투자하고 있는지 알려주고, 주식의 상대적인 가치를 발견하게 해줄 때가 올 것이라는 믿음이다. 리서치&컨설팅업체 셀런트(Celent)의 수석 애널리스트 윌리엄 트라우트는 “알고리즘에 의해 금융 애널리스트 집단이 와해될는지는 의견이 분분하다”면서 “지금은 문제가 아닐지 모르지만 와해되기 시작하면 순식간일 것”이라고 말했다.

로봇에 의해 일자리가 사라질지 모른다는 불안감은 뜨거운 감자다. 2013년 옥스퍼드대의 두 교수가 미래에 사라질 가능성과 관련해 700개의 직업의 순위를 정해봤다. 그들은 금융 애널리스트들이 약 70%의 직업들에 비교해선 안정적이지만, 테크니컬 라이터(technical writers)들은 좀 더 불안정적이며, 25%의 직업들과 대비해서만 안정적일 것으로 전망했다.

일부 대형 증권사들은 최근 수년간 애널리스트들의 숫자를 줄였다. 코넬대의 연구진은 자동화를 바탕으로 대형 증권사에서 애널리스트들의 숫자가 계속해서 감소할 것으로 내다봤다. 월가에 기술을 제공하는 스타트업들은 애널리스트를 대체하는 것이 목적은 아니라고 주장한다. “애널리스트들은 일상적으로 해야 하는 일에 치여있으며 자동화는 이들이 더 부가가치가 높은 일을 하도록 도울 것”이라고 내러티브사이언스의 스튜어트 프랭클 CEO는 말했다.

반면 일부 대형 증권 회사들은 최근 그들이 고용하는 애널리스트들의 숫자를 줄였지만 중소 회사들은 계속 고용하고 있는 것으로 드러났다. 케네스 메클리 코넬대 교수는 대형 회사들은 자동화에 대한 압박 때문에 애널리스트들이 줄어들 것이라고 예측했다. 그는 “유용한 것을 창출하지 못하는 사람들은 누구든 대체될 것”이라고 덧붙였다.

한편 내러티브 사이언스사 CEO 스튜어트 프랭켈은 자동화 기술로 일자리를 대체하는 게 목표가 아니라고 강조한다. 그는 “애널리스트들이 매일 처리해야 하는 일에 치여 있다. 이들이 가치 있는 일을 할 수 있도록 여건을 만들어주는 게 자동화”라고 말했다.

로봇 저널리즘 시대, 과연 기자나 금융 애널리스트는 살아남을까. 분명한 사실은 여전히 자동화 소프트웨어가 개발되고 진화하고 있다는 것이다. 기술의 진화와 양극화 속에 사람이 설자리는 과연 어디일까. 깊은 고민에 빠진다.

 김재호 학술객원기자 kimyital@empas.com

김재호 학술객원기자