비디오검색 시스템(VSS, Video Search System)

개요

• 비디오검색 시스템은  비디오의 모든 프레임에 대하여  특정얼굴을 인공지능으로 인식하고 특정얼굴이 포함된 프레임으로 비디오클립으로 생성하여 출력한다. 즉 특정인물이 포함된 장면만을 인공지능으로 검출하는 프로그램이다.
• 하나의 비디오에서  특정 인물을 검출하기 위해서 다음과 같이 사전준비가 필요하다.
• 사전 준비 
  • 비디오파일  준비:  Youjo72.mp4
  • 인물(성명)  특정한다:  비디오에 포함된 인물
  • 인물의 안면 이미지집합을 준비한다.
    • 정면, 좌우측 등 인물의 대표 이미지를 준비한다.
  • 작업폴더 구조 생성
    • 다음은 비디오 Youjo72.mp4에서 특정 인물 [유재석]을 검출하기 위하여
      작업폴더 [work_folder]를 생성하고, 인물의 이름으로 하위폴더 [유재석]를 만들고, 다음 안면이미지 [faces]와 비디오 저장 폴더 [videos]를 만든 예이다.
    • 실행전후의 폴더구조인다. out폴더는 처리가 완료되면 자동으로 생성되고 결과 비디오클립이 저장되는 폴더이다.
    • 비디오글립 파일 [Youjo72_0-2.mp4]에서 접미사 0-2는 비디오의 0초부터 2초사이에 특정 인물이 포함되어 있음을 의미한다.
      • 

프로그램 실행 절차

1. 프로그램을 실행한다. (그림1)
2. 프로그램을 초기화한다. (그림2)
3. [얼굴영역 검출 및 인식]처리 (그림3)
4. [비디오클립 생성] 처리 (그림4)

• 처리결과 검토방법
   
• 프로그램을 실행한다. (그림1)
  • 
    그림 1. 실행(준비) 화면
     
• 프로그램을 초기화한다. (그림2)
  • 작업폴더 설정         : work_folder
  • 인물(성명)폴더 설정  : /유재석
  • 안면이미지폴더 설정 : /유재석/faces        [안면이미지창]에 이미지리스트가 출력된다.(그림2)
  • 비디오파일 설정       : /유재석/videos/Youjo72.jpg

  • 
    그림 2. 실행을 위한 초기화가 수행된 화면

• [얼굴영역 검출 및 인식]처리 (그림3)
  • 비디오의 모든 프레임 별로 얼굴을 인식하여 출력한다. 해당 인물의 얼굴은 흰색박스로 다른 얼굴들은 적색박스로 표시한다.
    
    그림 3. [얼굴영역 검출 및 인식]처리 화면
     
• [비디오클립 생성] 처리 (그림4)
  • 5단계로 일무어진다.
  • 1단계, 모든 프레임에 대하여 [얼굴영역 검출 및 인식]처리여부를 검증하고 미인식되경우에는 처리한다.
  • 2단계, 대상인물에서 연속프레임을 검출한다.
  • 3단계, 연속프레임별로 처리한다.
    • 4단계, 연속프레임들로 비디오 트랙을 생성하고
    • 5단계 비디오 트랙과 오디오 트랙을 결합한하여 비디오클립을 저장한다.
      완성된 비디오클립들은 [비디오클립창]에 출력된다.(그림4)
  • 
    그림 4. 비디오클립 생성] 처리가 완료된 화면
     
• 처리결과 검토방법
  • 안면이미지 확인방법 :  
        [안면이미지창]의 이미지를 클릭하면 모든 안면이미지들이 출력된다. (그림5)
  • 완성된 비디오클립 검토방법 :
    • [비디오클립창]의 비디오클립을 클릭하면 모든 비디오크립들이 출력된다. (그림6)
    • 탐색기 창에서 비디오클립을 클릭하면 동영상의 재생된다.(그림7)
      대상인물을 제외한 모든 얼굴은 흐리게 가려진다.

  • 
    그림 5. 안면이미지

  • 
    그림6. 처리가 완료된 비디오클립들

  •  
    그림7.  완성된 비디오클립 재생화면