가톨릭대(총장 원종철) 데이터사이언스학과(인공지능학과 겸무) 김강민 교수 연구팀이 사람처럼 상식을 기반으로 사고하는 멀티모달(Multi-Modal) AI 개발에 성공했다. 연구팀은 사회관계망서비스(이하 SNS)에서 게시글의 텍스트, 이미지와 더불어 지식베이스를 통해 획득한 인간의 지식도 활용해 게시글에 적합한 해시태그를 추천하는 트랜스포머 기반의 ‘멀티모달 해시태그 추천 시스템(이하 EXTRA)’을 개발했다. 

  SNS에서 해시태그(#)는 수많은 정보들을 하나로 묶어 분류하며 사회적 이슈나 트렌드를 조성하는 중요한 마케팅 수단이다. 하지만 그동안 인스타그램, 페이스북 등 SNS 플랫폼에서 활용된 해시태그 추천 모델은 대체로 게시글의 텍스트와 이미지 내용만을 활용해 해시태그를 추천하다보니, 제공된 정보 이상의 배경지식을 반영하지 못한다는 한계가 있었다.

  예를 들어 반려동물 훈련소 수료 인증 사진에서 사람은 해당 이미지의 핵심 주제가 ‘반려동물 훈련’, ‘훈련 수료’임을 알 수 있지만, 기존의 해시태그 추천 모델들은 ‘수료증을 받은 개는 일반적으로 훈련 받았다’는 지식이 없기에 ‘반려동물’, ‘수료증’ 등 단순 정보를 담은 해시태그만을 추천할 뿐 훈련과 관련된 해시태그는 거의 추천하지 못했다.

  이에 김강민 교수 연구팀은 해시태그 추천 시스템에 인간의 지식까지 고려하는 새로운 접근법을 모색했다. 이번에 개발한 멀티모달 해시태그 시스템에는 이미지에서 외부 지식을 추출하여 게시물의 내용을 효과적으로 이해하는 방법론이 적용됐다.

  웹 디렉토리 계층 구조 지식베이스인 오픈 디렉토리 프로젝트를 학습한 분류기를 활용해, 이미지에 내재된 지식을 추출하고 이를 바탕으로 명시돼있지 않은 문맥까지 이해하도록 했다. 이 과정에서 인코더-디코더 구조의 어텐션 메커니즘(Attention Mechanism, 문장 내 단어 간 의존성과 관련성을 파악하는 방식) 활용 능력이 탁월한 구글의 딥러닝 모델 ‘트랜스포머’를 활용했다.

  연구 결과, 외부 지식을 게시글의 텍스트, 이미지와 함께 멀티모달 트랜스포머 모델에 입력하니 기존 해시태그 추천 시스템보다 해시태그 추천 성능이 눈에 띄게 개선됐다. 해시태그 추천 성능을 평가하는 지표인 F1-score 평균이 39.86% 향상된 것이다.

  가톨릭대 데이터사이언스학과 및 인공지능학과 소속 김강민 교수는 “이번 연구로 지식베이스 형태로 표현된 인간 지식체계가 멀티모달 인공지능 모델의 SNS 게시글 이해에 도움이 된다는 사실을 확인했다”며 “연구 결과가 멀티모달 인공지능 모델 분야의 외부 지식 추출 방법론의 발전 및 실제 SNS 서비스에 해시태그 추천 시스템으로 적용되는 등 다방면으로 활용될 수 있길 기대한다”고 말했다. 

  한편, 이번 연구는 가톨릭대 데이터사이언스학과(인공지능학과 겸무) 김강민 교수와 석사과정 원현식·노수민 학생 등으로 구성된 연구팀이 한국연구재단이 추진하는 우수신진연구자지원사업의 연구비를 지원받아 진행됐다. 또한, 이번 연구 성과는 한국연구재단이 선정한 컴퓨터 과학 분야 우수 국제 학술대회인 ‘IEEE International Conference on Web Services(ICWS) 2023’의 구두 발표 논문으로 선정돼, 지난 7월 초 미국 시카고에서 진행된 학회에서 제1저자인 원현식 학생이 참석해 구두 발표를 진행했다. 

방완재 다른기사 보기