성균관대학교(총장 유지범) 전자전기공학부 박은병, 고종환 교수 연구팀은 뉴럴 네트워크와 전통적인 자료구조인 그리드 방식의 표현 방법을 융합하는 새로운 3차원 미디어 표현 방법론을 제안하였다.

3차원 이미지 혹은 비디오 등을 표현하는데 있어서 일반적으로 그리드에서 특징벡터를 추출한뒤 뉴럴 네트워크가 이를 처리하는 방식이 사용되는데, 본 연구에서 제안하는 방식은 뉴럴 네트워크의 각 레이어 마다 모듈레이션 방식으로 특징 벡터를 융합하였다.

연구팀이 새로 개발한 방식을 이미지, 비디오, 3차원 모델, 3차원 비디오 등 다양한 미디어 데이터에 적용한 결과 그 성능이 매우 우수하며 또한 매우 적응 네트워크의 크기로 우수한 신호 복원 능력을 보여주었다.

성균관대 박은병 교수는 “기존의 방식에서 벗어나 두 가지 표현방법을 융합한 새로운 방법론이며, 전통적인 그리드 자료구조를 활용해 뉴럴 네트워크를 적절히 제어할 수 있는 방식으로, 최근 각광받고 있는 NeRF나 생성 모델 등에 매우 효과적으로 사용될 수 있을 것”이라고 말했다.

연구팀의 이번 연구 결과는 NeurIPS, ICML과 더불어 기계학습 분야 최우수학술대회로 꼽히는 ICLR 2024 (International Conference on Learning Representations)에 게재 승인되었다. 또한 제출된 논문의 상위 6%에 해당하는 spotlight에 선정되었다.

하영 기자 다른기사 보기