• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2000년도 ITC-CSCC -2
• /
• pp.906-909
• /
• 2000

Conventional caption extraction methods use the difference between frames or color segmentation methods from the whole image. Because these methods depend heavily on heuristics, we should have a priori knowledge of the captions to be extracted. Also they are difficult to implement. In this paper, we propose a method that uses little heuristics and simplified algorithm. We use topographical features of characters to extract the character points and use KMST(Kruskal minimum spanning tree) to extract the candidate regions for captions. Character regions are determined by testing several conditions and verifying those candidate regions. Experimental results show that the candidate region extraction rate is 100%, and the character region extraction rate is 98.2%. And then we can see the results that caption area in complex images is well extracted.

• 한국음향학회지
• /
• 제20권2호
• /
• pp.16-20
• /
• 2001

비디오 프로그램 색인 및 검색에 있어서 비디오 프로그램을 의미 있는 부분으로 분할하는 것, 즉 내용기반 비디오 프로그램 분할은 중요하다. 본 논문에서는 내용기반 비디오 프로그램 분할을 위해 음성인식기술을 이용하는 새로운 방법을 제안한다. 제안한 방법은 음성신호와 캡션 (Closed Caption)의 정확한 동기를 위해 음성인식 기법을 사용한다. 실험을 통하여 내용기반 비디오 프로그램 분할을 위해 제안한 방법의 가능성을 확인하였다.

• 한국정보처리학회논문지
• /
• 제6권5호
• /
• pp.1410-1417
• /
• 1999

In this paper, we propose the method of extracting the caption regions from news video and the method of recognizing the captions that can be used mainly for content-based indexing and retrieving the MPEG-2 compressed news for NOD(News On Demand). The proposed method can reduce the searching time on detecting caption frames with minimum MPEG-2 decoding, and effectively eliminate the noise in caption regions by deliberately devised preprocessing. Because the kind of fonts that are used for captions is not various in the news video, an enhanced template matching method is used for recognizing characters. We could obtain good recognition result in the experiment of sports news video by the proposed methods.

• 한국산학기술학회논문지
• /
• 제21권4호
• /
• pp.362-373
• /
• 2020

본 연구는 영어 자막 활용의 순서가 국내 항공 대학 학생들의 영어 학습에 대한 자신감, 흥미, 및 동기에 미치는 영향을 조사한 것으로, 국내 한 대학의 항공서비스학과 재학생을 대상으로 하여 영어 자막 활용 순서에 따라 그들의 영어 학습에 대한 태도에 변화가 있는지 파악하는 것을 목적으로 한다. 본 연구에는 충청남도 소재의 한 대학에서 영어 수업을 수강하고 있는 60명의 대학생이 참여하였으며, 모든 참가자들은 항공서비스학과의 재학생들이었다. 총 16주 동안 일주일에 한번씩 2시간동안 영어 수업이 진행되었고, 모든 실험 및 자료 수집은 해당 수업시간 내에 이루어졌다. 영어 자막 활용의 순서에 따라 영어 학습에 대한 태도의 변화가 있는지 알아보기 위해 모든 실험이 끝난 후, 영어에 대한 자신감, 흥미, 그리고 동기와 관련한 설문이 진행되었다. 통계적으로 유의미한 결과를 보인 주 연구 결과는 다음과 같다. 설문 결과, 먼저 영어 자막을 먼저 보는 것이 국내 항공 대학 학생들의 영어에 대한 자신감과 흥미를 더욱 이끌어 낸다는 사실이 밝혀졌다. 하지만 영어 학습에 대한 동기 부여를 위해서는 영어 자막을 나중에 보는 것이 더욱 효과적이라는 것이 드러났다. 본 연구는 수업 목표에 따라 국내 영어 학습자들에게 영어 자막을 언제 제공해야 하는지에 대한 통찰력을 제공한다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제6권4호
• /
• pp.203-210
• /
• 2017

본 논문에서는 이미지 캡션 생성과 모델 전이에 효과적인 심층 신경망 모델을 제시한다. 본 모델은 멀티 모달 순환 신경망 모델의 하나로서, 이미지로부터 시각 정보를 추출하는 컨볼루션 신경망 층, 각 단어를 저차원의 특징으로 변환하는 임베딩 층, 캡션 문장 구조를 학습하는 순환 신경망 층, 시각 정보와 언어 정보를 결합하는 멀티 모달 층 등 총 5 개의 계층들로 구성된다. 특히 본 모델에서는 시퀀스 패턴 학습과 모델 전이에 우수한 LSTM 유닛을 이용하여 순환 신경망 층을 구성하며, 캡션 문장 생성을 위한 매 순환 단계마다 이미지의 시각 정보를 이용할 수 있도록 컨볼루션 신경망 층의 출력을 순환 신경망 층의 초기 상태뿐만 아니라 멀티 모달 층의 입력에도 연결하는 구조를 가진다. Flickr8k, Flickr30k, MSCOCO 등의 공개 데이터 집합들을 이용한 다양한 비교 실험들을 통해, 캡션의 정확도와 모델 전이의 효과 면에서 본 논문에서 제시한 멀티 모달 순환 신경망 모델의 높은 성능을 확인할 수 있었다.

• 방송공학회논문지
• /
• 제5권1호
• /
• pp.113-122
• /
• 2000

이미 방송된 비디오 영상으로부터 자막 영역을 제거하고 원 영상으로 복원할 필요가 종종 발생한다. 복원될 영상의 량이 적을 경우 수 작업에 의한 복원이 가능하나, 비디오 영상과 같이 복원할 영상이 많아질 경우에는 수 작업에 복원은 어렵다고 볼 수 있다. 따라서 자동으로 자막 영역을 원 영상으로 복원할 수 있는 방법이 필요하게 된다. 기존의 영상 복원에 관한 연구는 주로 블러링(blurring)된 영상을 주파수 필터를 사용하여 선명하게 복원하거나, 영상 통신을 위한 비디오 코딩 방법에 대한 연구가 많이 이루어졌다. 본 논문에서는 블록 정합 알고리즘(Block Matching Algorithm)을 이용하여 자막 영역을 복원하는 방법을 제안하고자한다. 자막 복원을 위한 사전 정보로 자막 영역 정보와 장면 전환 정보를 추출한다. 추출된 자막 정보로부터 자막의 시작 프레임, 끝 프레임, 자막 문자의 구성 요소 정보를 얻을 수 있다. 자막 정보(자막의 시작 프레임, 끝 프레임)와 장면 전환 정보를 이용하여 복원의 방향성 및 복원의 종점을 결정한다. 복원의 방향성에 따라 각 프레임마다 문자의 구성 요소에 대한 블록 정합을 수행하여 원 영상을 복원한다. 실험결과 비교적 움직임이 적은 영상에서는 복원이 잘 됨을 볼 수 있었으며, 복잡한 배경을 갖고 있는 영상의 경우도 복원됨을 볼 수 있었다.

• ETRI Journal
• /
• 제30권5호
• /
• pp.750-752
• /
• 2008

This paper provides a novel method of detecting key captions containing player information in golf videos. We use the color pattern of captions and its repetition property to determine the key captions. The experimental results show that the proposed method achieves a much higher accuracy than existing methods.

• 대한전기학회논문지:시스템및제어부문D
• /
• 제53권8호
• /
• pp.606-610
• /
• 2004

A noble caption text detection and recognition algorithm using the temporal nature of video is proposed in this paper. A text registration technique is used to locate the temporal and spatial positions of captions in video from the accumulated frame difference information. Experimental results show that the proposed method is effective and robust. Also, a high processing speed is achieved since no time consuming operation is included.

• 정보와 통신
• /
• 제13권7호
• /
• pp.51-58
• /
• 1996

• 한국멀티미디어학회논문지
• /
• 제2권3호
• /
• pp.231-242
• /
• 1999

일반적으로 동영상에 대한 정보 검색에는 주석 기반 검색이나 내용 기반 검색을 사용한다. 그러나, 주석 기반 검색은 사용자의 주관이 개입되어 일관성을 잃기 쉽고 내용 기반 검색은 동영상 데이터가 담고 있는 일반적인 의미 추출이 어렵다는 단점을 가지고 있다 그래서, 본 논문에서는 이 두 검색 기법을 상호 보완하여 검색의 효율성과 정확성을 높일 수 있도록 하는 통합 동영상 데이터 모델(IVDM)을 제안한다. 이 모텔은 동영상 데이터를 분석하여 계층적으로 구조화한다. 상위 수준에서는 주제별로 부여된 메타 정보로 주석 기반 검색을 지원하고, 하위 수준에서는 동영상 데이터에서 색깔, 모양, 움직임, 질감 등의 특정 데이터를 추출하여 내용 기반 검색올 지원한다. 그리고 이 IVDM의 타당성을 입증하기 위해 동영상의 대표격인 뉴스 동영상올 객체 지향 데이타베이스 스키마 형태로 설계하고, 이에 맞는 질의 유형 4가지와 그 처리 알고리즘도 제공한다.