시각 인공지능 기술이란 기존 사람만을 인식하는 기술에서 사람이 물건을 내려놓거나, 던지는 행위 등을 정밀하게 인식하는 기술이다.

기존 학계에서 사람의 ‘행동 이해 연구’는 스포츠 영상이나 유튜브 영상과 같이 범용 데이터를 활용해 개발됐기 때문에 실제 CCTV 영상에서 나타나는 행동을 인식하는데 어려움이 많았다.

ETRI는 이러한 어려움을 해소하고자 지방자치단체와 필요한 기능, 요구사항, 데이터 등 긴밀한 협력을 통해 실제 환경에서 동작할 수 있는 행동 이해 기술 개발에 초점을 맞췄다.

ETRI는 시각지능 기술을 CCTV 환경에 적용키 위해 사람의 행동 인식 중 자주 일어나고, 탐지 수요가 많은 도심의 불법 투기 행위 탐지를 목표로 했다.

연구진은 딥 러닝 기반 인식 기술을 활용, 사람 관절의 위치와 사람이 들고 가는 물체를 탐지하고 사람과 물체의 관계를 모델링하는 방법으로 투기 행위를 탐지하는 방법을 개발했다.

ETR 관계자는 “이 기술의 핵심은 사람 관절 포인트를 갖고 행동을 인식하는 기술과 사물을 인지하고 추적하는 것”이라고 설명했다.

아울러 쓰레기 더미를 검출하고 투기 시에 사람의 관절 포인트와 행동을 인식해 관계를 추적하고 추론도 하게 된다.

또한 일정거리 이상 떨어져 있는지, 쓰레기를 던졌는지, 완전히 버렸는지 등의 다양한 쓰레기 투기 행동의 패턴들이 기계 학습 방법으로 검출된다.

이와 함게 실제 CCTV 환경에 접목이 가능하도록 각 구성 알고리즘들을 스트리밍 방식의 영상에 맞게 구성하고 인식 지연시간을 최소화하기 위한 효율적 알고리즘 설계에 집중했다.

실제 ETRI의 실험에서는 사람이 쓰레기를 무단으로 버리자 ‘찰칵’소리가 나며 “사진이 촬영되었습니다. 투기물을 가져가지 않으면 관련법에 따라 처벌 받게 됩니다”라는 경고 메시지가 방송됐다.

ETRI 관계자는 “본 기술은 향후 기술개발을 통해 상점에서 사용자의 행동 분석, 교량에서의 자살행위 감지, 공장 근로자의 위험 행동 경고 등 다양하게 활용될 수 있다”고 밝혔다.

연구진은 본 기술이 세종특별자치시와 서울시 은평구와의 실증을 통해 기술 검증 후 영상관제, 영상검색, 패션AI 관련 업체 등에 기술이전이 가능할 것으로 보고 있다.

또 본 기술이 과학기술정보통신부의 ‘시각인공지능 플랫폼 기술개발’사업으로 추진되고 있으며 오는 2024년까지 연구를 계속할 계획이다.

본 기술은 현재 주요 인공지능 관련 논문 등에 접수된 상태이며 SCI급 저널에도 소개될 예정이다. 관련 연구자들은 본 기술이 획기적인 발상이며 사람과 물체의 관계 모델링을 통해 실세계 CCTV 환경에 적용 가능한 유망한 기술이라고 리뷰를 남기기도 했다.

한도원 ETRI SW콘텐츠연구소장은 “ETRI가 보유하고 있는 다양한 시각 인공지능 기술을 실제 현장에 적용하여 국민생활과 밀접한 사회문제를 해결하고 국민 삶의 질을 향상시키는데 기여할 수 있도록 노력할 것이다”라고 밝혔다.