최소 오류 경계를 활용한 동적 물체 기반 동영상 정합 방안

Method of Video Stitching based on Minimal Error Seam

Abstract

기존 방송 콘텐츠 대비 더욱 생생한 현장감을 주는 초고해상도 콘텐츠에 대한 관심이 증가하고 있다. 하지만 기존의 방송 서비스에서 초고해상도 콘텐츠를 제공하기 위해서는 영상 획득 장치의 화각 및 개별 해상도 한계가 있다. 이러한 문제를 해결하기 위해 여러대의 입력 장치를 통한 영상합성 방법인 스티칭에 대한 연구가 다수 진행되고 있다. 본 논문에서는 기존 스티칭 연구에서의 단점 중 하나인 수평방향으로 촬영된 영상들 정합과정에서 이동하는 물체의 시불변성 훼손을 극복하기 위해, 최소 오류 경계를 활용한 동적 물체 기반 동영상 정합 방안을 제안한다.

There is growing interest in ultra-high-resolution content that gives a more realistic sense of presence than existing broadcast content. However, in order to provide ultra-high-resolution contents in existing broadcast services, there are limitations in view angle and resolution of the image acquisition device. In order to solve this problem, many researches on stitching, which is an image synthesis method using a plurality of input devices, have been conducted. In this paper, we propose method of dynamic object based video stitching using minimal error seam in order to overcome the temporal invariance degradation of moving objects in the stitching process of horizontally oriented videos.

그림 1. 미니멀 에러 심 추출 예시 Fig. 1. Example of minimal error seam extracting

그림 2. 미니멀 에러 심 기반 스티칭 시스템 Fig. 2. Stitching systems based on minimal error seam

그림 3. 기존 미니멀 에러 심 기술의 문제 Fig. 3. Problem of minimal error seam

그림 4. 23번째 좌영상의 스티칭 영역 Fig. 4. 23th stitching region of left frame

그림 6. 사물 검출 모듈 Fig. 6. Object detection module

그림 7. 경계선 검출 결과 Fig. 7. Result of edge detection

그림 8. 가우시안 필터 적용한 경계선 검출 결과 Fig. 8. Result of edge detection with Gaussian filter

그림 9. 92번째 영상 스티칭 결과 Fig. 9. 92th frame stitching result

그림 11. 92번째 영상 미니멀 에러 심 Fig. 11. 92th minimal error seam

그림 10. 93번째 영상 스티칭 결과 Fig. 10. 93th frame stitching result

그림 12. 93번째 영상 미니멀 에러 심 Fig. 12. 93th minimal error seam

그림 13. Horizontal Variance Weight 생성 방법 Fig. 13. Method of generating Horizontal Variance Weight

그림 14. 기존 미니멀 에러 심 기술과 HSV 기반 에러 심 기술 스티칭 결과 Fig. 14. Existing minimal error seam Technology and HSV-based error seam Technology Stitching Results

그림 15. 라벨링 결과 Fig. 15. Result of labeling

그림 16. 경계선 검출 결과 Fig. 16. Result of edge detection

그림 17. 20번째 영상 스티칭 결과 Fig. 17. Result of stitching (20th frame)

그림 18. 21번째 영상 스티칭 결과 Fig. 18. Result of stitching (21th frame)

그림 19. HVW가 적용된 20번째 영상 스티칭 결과 Fig. 19. Result of stitching with HVW(20th frame)

그림 20. HVW가 적용된 21번째 영상 스티칭 결과 Fig. 20. Result of stitching with HVW(21th frame)

그림 5. 23번째 우영상의 스티칭 영역 Fig. 5. 23th stitching region of right frame