▲사진 출처 : ETRI

국내 연구진이 인간의 행동과 감정을 이해하는 인공지능(AI) 개발을 목적으로 축적한 데이터를 일반에 공개하고, 이를 활용한 논문경진대회를 개최하여 성공리에 마쳤다. 

한국전자통신연구원(ETRI)은 AI 기술개발에 필요한 라이프로그 및 멀티모달 감정 데이터셋을 공개하고, 이를 활용한 창의적 연구 발굴·확산을 위해 과학기술정보통신부와 국가과학기술연구회의 후원을 받아 「2022 ETRI 휴먼이해 인공지능 논문경진대회」를 개최했다고 밝혔다. 

연구진은 인공지능 기술 개발을 위해 그간 라이프로그와 멀티모달 감정 데이터를 축적해왔다. 축적된 데이터는 인공지능을 연구하는 연구자들이 자유롭게 활용할 수 있도록 올해 초, ‘ETRI AI 나눔’ 플랫폼에 공개했다.

ETRI는 공개한 데이터를 기반으로, 창의적인 인공지능 연구의 발굴과 확산을 목표로 이번 「2022 ETRI 휴먼이해 인공지능 논문경진대회」를 개최했다. 대학과 대학원 및 기업 등을 대상으로 열린 본 대회는 지난 6월 30일까지 약 3개월간 진행되었으며, 총 36개 팀이 참가했다. 참가자들은 ETRI가 축적한 라이프로그와 멀티모달 감정 데이터 2가지 분야의 데이터 중 하나를 택해 논문을 작성했다. 

라이프로그 데이터는 스마트폰과 손목밴드 등 센서와 사용자가 직접 입력한 행동·환경·감정 정보를 활용하여 일상생활 중의 다양한 경험과 상황을 이해하기 위해 구축되었다. ETRI는 2018년부터 70여 명의 실험자를 통해 14,000시간이 넘는 데이터를 구축했다. 이는 현재까지 공개된 라이프로그 데이터 중에선 국내 최대 규모다. 

참가자들은 라이프로그 데이터를 활용하여 행동, 의미장소, 이동 수단을 인식하거나, 일상·비일상의 라이프 패턴 등 인간의 경험을 이해할 수 있는 인공지능 기술 분야의 논문을 작성했다.

멀티모달 감정 데이터는 40명의 성우를 통한 상황극과 80명에 달하는 일반인의 자유 발화를 통해 구축됐다. 발화 및 텍스트뿐만 아니라, 7가지의 감정 레이블과 신체 반응 등의 데이터를 모두 포함하고 있다. 

이 멀티모달 감정 데이터를 활용하여 참가자들은 감정 데이터의 불균형 완화 방법, 멀티모달 특징 혼합 방법 등 딥러닝 기반의 멀티모달 감정 인식 기술과 관련된 논문을 작성하였다.

ETRI는 대회 주관사인 인공지능팩토리와 함께 5월까지 접수된 논문을 1차 평가하여 총 7팀을 선정했다. 또한 6월 30일 열린 발표 심사에서 대상 1팀과, 우수상  2팀, 그리고 장려상 4팀을 최종 선정했다.

대상 1팀과 우수상 2팀은 과학기술정보통신부 장관상을 받았으며, 장려상 4개 팀은 한국전자통신연구원 원장상이 수여됐다. 이번 대회 대상은 서강대 Sogang-ISDS팀에서 차지했다. 

Sogang-ISDS팀은 한국어 기반 멀티모달 감정 데이터셋의 발화 음성 및 문맥적 의미 데이터를 결합하여 학습하는 MLP-Mixer 구조를 활용한 대화에서의 멀티모달 감정 인식 방법을 제안하였으며 그 우수성을 인정받아 대상 수상의 영예를 안았다.

KAIST에서 출전한 도래미솔팀은 라이프로그 분야에서 오디오와 텍스트 정보를 혼합하여 감정을 예측하는 모델을 제안하여 우수상을 수여받았다. 

또한, 성균관대에서 출전한 디비디비딥팀은 각성도 및 긍부정도의 싱글모달 사전학습 예측 모델 기반 멀티모달 감정인식 모델을 제시하여 우수상을 수상했다. 

ETRI 이윤근 인공지능연구소장은 “오늘날 AI는 영상 인식, 음성인식을 넘어 인간을 이해하고, 교감하는 기술로 진화하고 있다. 이번 대회는 그간 ETRI가 쌓아 온 AI 데이터를 기반으로, 연구자들의 다양하고 창의적인 아이디어를 엿볼 수 있었던 귀중한 시간이었다. 앞으로도 정기적인 대회 개최를 통해 AI 관련 연구가 활기를 띨 수 있도록 노력하겠다”고 말했다.

ETRI는 그동안 인공지능, 특히 사람의 감정을 이해하고 행동을 인식하는 ‘휴먼이해 인공지능’ 기술을 연구해오면서 이번 대회를 개최할 수 있었다. 이번 대회는 국내 연구진의 참여를 독려하고 학술적인 완성도를 확보할 수 있도록 한국정보과학회와의 협력 하에 2022 한국컴퓨터종합학술대회(KCC2022) 행사의 일환으로 진행했다. 

ETRI는 앞으로도 행동·감정 인식도를 제고하는 휴먼이해 인공지능 기술의 완성도를 높이는 한편, 기술의 확산과 발굴을 위해 정기적으로 대회를 이어 나갈 예정이라고 밝혔다.