확장적 블록 정합 방법과 영역 보상법을 이용한 비디오 문자 영역 복원 방법

A Method for Recovering Text Regions in Video using Extended Block Matching and Region Compensation

  • 전병태 (한국전자통신연구원 컴퓨터·소프트웨어연구소) ;
  • 배영래 (충북대학교 전자상거래학과)
  • 발행 : 2002.12.01

초록

기존의 원영상 복원 기술은 주로 신호 처리 분야에서 영상의 형성(formation), 저장 및 통신상에서 발생되는 왜곡 현상을 복원하는 연구가 많이 이루어 졌다. 원 영상 복원과 관련된 기존의 연구는 블록 정합(block matching algorithm)을 이용한 원영상 복원 방법이 있다. 이 방법은 오 정합(incorrect matching)이 발생하기 쉽고, 오 정합 시 에러가 전파되는 문제점이 있다. 그리고 장면 전환이 2회 이상 발생될 경우 장면 전환 지점과 지점 사이의 복원이 불가능하다는 문제점이 있다. 본 논문에서는 기존의 문제점들을 해결하기 위하여 확장적 블록 정합 방법(EBMA: Extended Block Matching Algorithm)과 영역 보상법(Region compensation method)을 이용한 원영상 복원 방법을 제안하고자 한다. 원영상 복원에 사용하기 위하여 비디오 사전 정보(장면 전환 정보, 카메라 모션 정보, 캡션 영역 정보)를 추출한다. 추출된 캡션 영역 정보를 이용하여 캡션 문자의 구성 요소 정보를 추출한다. 추출된 비디오 사전 정보를 이용하여 복원의 방향성을 결정하고, 복원의 방향성에 따라 문자의 구성 요소 단위로 확장적 블록 정합 방법과 영역 보상법을 이용하여 원영상 복원을 수행한다. 실험결과 확장적 블록 정합 방법은 빠른 물체의 움직임이나 복잡한 배경에 영향을 받지 않고 복원이 잘 되는 것을 알 수 있었다. 참조할 원영상이 없이 원영상 복원을 수행하는 영역 보상법의 복원 결과 또한 좋음을 볼 수 있었다.

Conventional research on image restoration has focused on restoring degraded images resulting from image formation, storage and communication, mainly in the signal processing field. Related research on recovering original image information of caption regions includes a method using BMA(block matching algorithm). The method has problem with frequent incorrect matching and propagating the errors by incorrect matching. Moreover, it is impossible to recover the frames between two scene changes when scene changes occur more than twice. In this paper, we propose a method for recovering original images using EBMA(Extended Block Matching Algorithm) and a region compensation method. To use it in original image recovery, the method extracts a priori knowledge such as information about scene changes, camera motion and caption regions. The method decides the direction of recovery using the extracted caption information(the start and end frames of a caption) and scene change information. According to the direction of recovery, the recovery is performed in units of character components using EBMA and the region compensation method. Experimental results show that EBMA results in good recovery regardless of the speed of moving object and complexity of background in video. The region compensation method recovered original images successfully, when there is no information about the original image to refer to.

키워드

참고문헌

  1. 오원근, 유병문, 이인동 외2인, '영상처리 처리 기술을 이용한 조사당 벽화의 복원', 한국과학기술연구원/시스템공학연구소 연구보고서(E21131), 1992
  2. 전병태, 이재연, 배영래, '블록 정합을 이용한 비디오 자막 영역의 원 영상 복원 방법', 방송공학회논문지, Vol.5, No.1, pp.l13-122, 2000
  3. 정기철, 남수진, 한정현, 'Automatic Text Detection and Removal in Digital Videos', 컴퓨터비젼 및 패턴인식 추계워크샵(CVPR'2001), pp.l67~168, Nov., 2001
  4. Chun, Byung Tae, Younglae Bae, Tai-Yun Kim, 'Recovering original images forr video caption areas using camera motion and video information', Machine Graphics & Vision Journal, Vol.9, Nos.1/2, pp. 187~200, 2000
  5. 정기철, 남수진, 한정현,'Automatic Text detection and removal in digital videos,' 2001년 컴퓨터 비젼 및 패턴인식 연구회 추계 워크샵, pp.167-168, 연세대, 2001
  6. 이미숙, 설상훈, 양윤모, 이성환, '셧 경계 검출 및 카메라 동작 분석을 통한 비디오 자동 파싱 방법', 정보과학회논문지(B), Vol.25, No.8, pp.1249-1257, 1998
  7. J. S. Boreczky and L. A. Rowe, 'Comparison of Video Shot Boundary Detection Techniques', IS&T/SPIE, Vol. 2670, pp.170-179, Feb. 1996 https://doi.org/10.1117/12.234794
  8. 이재현, 장옥배, '움직임 벡터를 사용한 점진적 장면 전환 검출', 정보과학회논문지(C), 제3권, 제2호, pp.207-215, 1997
  9. 한규서,이재연, 정세윤, 배영래, '평균값을 이용한 통합형 카메라 동작 추출 시스템 개발', 한국정보처리학회 추계학술대회논문집(상), Vo1.8, No.2, .pp 777-780, 2001
  10. J.L.Barron, et.all, 'Systems and Experiment : Performance of Optical Flow Techniques', Int'l J. of Computer Vision, Vol. 12, 1994 pp.43-77 https://doi.org/10.1007/BF01420984
  11. P.Jolly, H.K.Kim, 'Efficient automatic analysis of camera work and microsegmentation of video using spatiotemporal images', Image Commu. Vol. 8, 1996, pp.295-307 https://doi.org/10.1016/0923-5965(95)00054-2
  12. Kim, Hae-Kwang, 'Efficient automatic text location method and content-based indexing and structuring of video database', Journal of Visual Communication and Image Representation, Vol.7, No.4, pp.336-344, Dec. 1996 https://doi.org/10.1006/jvci.1996.0029
  13. Lienhart, Rainer and Frank Stuber, 'Automatic text recognition in digital videos', Proc. of the SPIE, Image and Video Processing IV, Vol. SPIE2666, pp.180-188, San Jose, 1996 https://doi.org/10.1117/12.234741
  14. 전병태,배영래,김태윤, '일반화된 문자 및 비디오 자막 영역 추출 방법', 정보과학회논문지 : 소프트웨어 및 응용, Vo1.27, No.6, 2000
  15. Furht, Borko, Joshua Greenberg and Raymond Westwater, Motion Estimation Algorithm for Video Compression, Kluwer Academic Press, 1997
  16. 장석우, '카메라의 동작을 보정한 장면전환 검출', 숭실대학교 박사학위청구논문, 2000
  17. Jang, Seok-Woo, Kyu-Jung Kim and Hyung-Il Choi, 'Accurate Estimation of Motion Vectors using Active Block Matching', Inter. Conference on RSCTC'2000, Spriger-Verlag in Lecture Notes, pp. 489 - 493 , 2000