• Proceedings of the Korean Information Science Society Conference
• /
• 2005.11b
• /
• pp.658-660
• /
• 2005

실세계의 시각정보로부터 식별된 물체정보를 이용하여 장면에 대해 설명하는 컨텍스트를 추론하는 시각 기반 장면 이해 문제에서는 변화가 많고 불확실한 환경을 극복해야 할 뿐만 아니라, 사용자의 요구 사항을 잘 반영해야 하고 궁극적으로는 지도(teaching)가 가능해야 한다. 본 논문에서는 불확실성 극복을 위해 확률적 접근 방법을 사용하고, 사용자의 요구를 실시간으로 반영하기 위해 논리 네트워크를 이용한 상호 작용 학습 방법을 제안한다. 몇 가지 테스트 환경에서 사용자에 의해 제공되는 논리적, 부분적, 실시간 정보를 이용하여 제안하는 상호작용 학습을 수행한 결과, 장면인식 에이전트의 기능 장 및 적응이 가능하고 새로운 기능의 지도가 가능함을 알 수 있었다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2016.01a
• /
• pp.347-348
• /
• 2016

스토리에 의해서 콘텐츠 산업의 경쟁력이 결정되고 콘텐츠에 대한 흥행과 보급에 핵심 요소가 된다. 현재까지의 스토리에 대한 연구는 대부분 인문학의 분야에서 이루어지고 있다. 인문학에서는 스토리를 창작하는 방법과 스토리에 대한 해석에 주로 초점이 맞추어져서 연구가 이루어지고 있다. 콘텐츠 산업의 핵심요소인 스토리를 창작하거나 해석하기 위해서는 스토리를 한눈에 보고 이해하거나 설명하기 위한 다양한 해석 방법과 시각화 방법이 필요하다. 따라서 본 논문에서는 스토리의 무대가 되는 공간 정보와 인물 정보가 함게 고려된 장면 그래프에 대한 연구를 제시하고 설명한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2005.07b
• /
• pp.634-636
• /
• 2005

지능형 로봇 기술이 발전하면서 영상에서 장면을 이해하는 연구가 많은 관심을 받고 있으며, 최근에는 불확실한 환경에서도 좋은 성능을 발휘할 수 있는 확률적 접근 방법이 많이 연구되고 있다. 본 논문에서는 확률적 모델링이 가능한 베이지안 네트워크(BN)를 이용해서 장면 인식 추론 모듈을 설계하고, 실제 환경에서 얻어진 증거 및 베이지안 추론 결과를 결합하여 분류 성능을 향상시키기 위한 방법을 제안한다. 영상 정보는 시간에 대해 연속성을 가지고 있기 때문에, 증거 정보와 베이지안 추론 결과들을 적절히 결합하면 더 좋은 결과를 예상할 수 있으며, 본 논문에서는 확신 요소(Certainty Factor: CF) 분석에 의한 결합 방법을 사용하였다. 성능 평가 실험을 위해서 SET (Scale Invariant Feature Transform) 기법을 이용하여 물체 인식 처리를 수행하고, 여기서 얻어진 데이터를 베이지안 추론의 증거로 사용하였으며, 전문가의 CF 값 정의에 의한 베이지안 네트워크 설계 방법을 이용하였다.

• Journal of the Korea Society of Computer and Information
• /
• v.11 no.2 s.40
• /
• pp.111-119
• /
• 2006

Video viewers can not understand enough entire video contents because most video is long length data of large capacity. This paper propose efficient scene change detection and video abstracting using new shot clustering to solve this problem. Scene change detection is extracted by method that was merged color histogram with $\chi2$ histogram. Clustering is performed by similarity measure using difference of local histogram and new shot merge algorithm. Furthermore, experimental result is represented by using Real TV broadcast program.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2001.11b
• /
• pp.91-94
• /
• 2001

MPEG-4 시스템은 장면 자체를 하나의 구성 요소로 여기는 기존의 시스템과는 달리, 그 장면을 구성하는 부호화 또는 복호화된 A/V 객체(Audio/visual Objects)들을 하나의 단위로 인식하여, 다양한 멀티미디어 컨텐츠의 장면을 구성(Scene Composition)하고 표현 하는 것에 그 특징이 있다. 이러한 MPEG-4 시스템의 객체 기반 특징은 다양한 사용자와의 대화성(Interactivity)을 가능하게 하며 , 또한 편리한 컨텐츠 편집 및 재사용 등이 가능하기에 차세대 디지털 방송 컨텐츠 제작에 중요하게 활용될 전망이다. 객체 기반 A/V 편집 도구는 MPEG-4를 기반으로 차세대 디지털 방송 컨텐츠 제작을 용이하게 하기 위한 제작/편집 도구로써 , 장면을 표현하기 위하여 BIFS(Binary Format for Scene description)와 XMT(eXtensible MPEG-4 Textual format) 포맷을 모두 사용하고 있다. BIFS 포맷은 저작된 결과물을 바이너리 형태로 표현하기 때문에, 저작된 결과물을 전송하는 데에는 용이하나, 중간에 저작된 결과물을 확인하기 어렵고, 또한 기존의 다른 어플리케이션과의 상호 작용(Interoperability)과 교환(Exchange)에도 어려움이 따른다. 이에 반해, XMT는 차세대 마크업 언어로 각광 받고 있는 XML 에 그 기반을 두고 있기에 저작된 결과물을 제작자가 쉽게 저작물을 이해할 수 있으며, SMIL 과 X3D 같은 다른 어플리케이션과의 상호작용과 교환 또한 용이하게 한다 XMT는 기술 방법에 따라 XMT-A 와 XMT-0 두 가지 형태가 있으며, XMT-A 포맷은 VRML에서 발전한 X3D(extensible 3D)를 바탕으로 MPEG-4 시스템의 특징들을 수용하여 구성되고 BIFS와 일대일로 대응된다. 반면에 XMT-0는 멀티미디어 문서를 웹문서로 표현하는 SMIL 2.0 을 그 기반으로 하였기에 MPEG-4 시스템의 특징보다는 컨텐츠를 저작하는 제작자의 초점에 맞추어 개발된 형태이다. XMT를 이용하여 컨텐츠를 저작하기 위해서는 사용자 인터페이스를 통해 입력되는 저작 정보들을 손쉽게 저장하고 조작할 수 있으며, 또한 XMT 파일 형태로 출력하기 위한 API 가 필요하다. 이에, 본 논문에서는 XMT 형태의 중간 자료형으로의 저장 및 조작을 위하여 XML 에서 표준 인터페이스로 사용하고 있는 DOM(Document Object Model)을 기반으로 하여 XMT 문법에 적합하게 API를 정의하였으며, 또한, XMT 파일을 생성하기 위한 API를 구현하였다. 본 논문에서 제공된 API는 객체기반 제작/편집 도구에 응용되어 다양한 멀티미디어 컨텐츠 제작에 사용되었다.

• KIPS Transactions on Software and Data Engineering
• /
• v.7 no.2
• /
• pp.69-76
• /
• 2018

Referring expressions are natural language constructions used to identify particular objects within a scene. In this paper, we propose a new deep neural network model for referring expression comprehension. The proposed model finds out the region of the referred object in the given image by making use of the rich information about the referred object itself, the context object, and the relationship with the context object mentioned in the referring expression. In the proposed model, the object matching score and the relationship matching score are combined to compute the fitness score of each candidate region according to the structure of the referring expression sentence. Therefore, the proposed model consists of four different sub-networks: Language Representation Network(LRN), Object Matching Network (OMN), Relationship Matching Network(RMN), and Weighted Composition Network(WCN). We demonstrate that our model achieves state-of-the-art results for comprehension on three referring expression datasets.

• KSCI Review
• /
• v.14 no.1
• /
• pp.255-264
• /
• 2006

Video viewers can not understand enough entire video contents because most video is long length data of large capacity. This paper propose efficient scene change detection and video abstracting using new shot clustering to solve this problem. Scene change detection is extracted by method that was merged color histogram with ${\chi}^2$ histogram. Clustering is performed by similarity measure using difference of local histogram and new shot merge algorithm. Furthermore, experimental result is represented by using Real TV broadcast program.

• Archives of design research
• /
• v.18 no.2 s.60
• /
• pp.37-46
• /
• 2005

Today's advertisement is dominated by visual images, which deliver messages in the most efficient and engaging way. Vivid and live images, through multimedia, attract the viewer to consume the products being advertised. In this course, the effect of 'Verfremdung' or alienation is often detected. This terminology was at first used in a epic play of Bertolt Brecht to signify a specific effect to block the empathy of the audience by reminding them of their position as the audience separate from the play. 'Verfremdung' helps them to have a sense of objectivity and critical attitude toward the performance. Multimedia commercials nowadays exhibit such a quality together with 'viewer participation:' criticism on reality: and 'speed.' In an advertisement for Shinsegi Communications' mobile system titled <017-I-Touch series, the hand transformed into a web>, the copy, 'my blood type is 'i', ' is accompanied by six unrelated fictitious scenes in which the same ocean appears as a common denominator. Because there is no connection between the scenes, free imagination of the viewer has to be involved and thus plays a significant role in making them into a context. This fact dearly exhibit some characteristics of post- modern advertisement. Momentary 'Gap' and 'Difference' between scenes contribute to 'Verfremdung' or alienation' that makes it hard for the consumers to comprehend the content on the spot. Such an uneasy situation, however, keeps the viewers thinking about the advertisement itself. While repeatedly exposed to the alienated images, the viewers come to get involved in the advertisement, trying to make the fragmented images into a coherent context. In addition, the leaps between the scenes produce a sense of 'speed' in a context, which adds more impact to the way of delivering messages using multimedia. With the help of multimedia, 'Verfremdung: which was originally intended to bring about objective and critical altitude of the audience in a play, plays a crucial role in attracting the viewer's attention and conveying a specific message in a moment in contemporary advertisement.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2017.06a
• /
• pp.127-130
• /
• 2017

본 논문은 UWV 서비스의 다양한 시나리오들을 소개하고 UWV서비스의 제공측 구성과 소비측 재생에 따라 개시되는 멀티미디어 콘텐츠 파일 전송의 형태를 검토한다. UWV 서비스의 전송 개시에 따라 적어도 하나 이상의 서비스 구성요소(멀티미디어 콘텐츠 파일)가 전송될 때 수신측에서의 엄밀한 동기화가 수행되지 못하면 전체 장면의 일부를 표시하는 View간의 일치가 이루어지지 않으며 이로 인해 사용자의 경험 측면에서 임장감이 낮아지거나 또는 불일치의 정도가 심한 경우 전체 장면을 이해하는데 어려움이 발생한다. 이에 본 논문에서는 기존의 전송 방식인 TS와 최근 MPEG에서 완료된 MMT를 사용해 UWV 서비스를 구성하는 콘텐츠의 전송시, 소비측에서의 동기화된 View 콘텐츠 재생을 달성하기 위한 전송 방법을 알아본다. 또한 시스템 구성을 통해 실제 전송시 요구사항의 달성여부와 함께 추가로 고려해야 할 사항들을 알아본다.

• Annual Conference of KIPS
• /
• 2018.05a
• /
• pp.424-427
• /
• 2018

영상이나 비디오에 담긴 장면을 이해하는 것은 컴퓨터 비전의 궁극적인 목표 중 하나이다. 본 논문에서는 입력 영상으로부터 장면을 구성하는 각 물체들과 그들 간의 공간 관계, 개별 물체들의 다양한 속성들을 탐지해, 지식 그래프를 생성해주는 심층 신경망 기반의 물체 속성 및 공간 관계 탐지 모델을 제안한다. 본 논문에서는 이러한 다양한 복합 시각 인식 작업을 동시에 수행하는 탐지 모델의 구성에 대해 설명하고, 대규모 벤치마크 데이터 집합인 CLEVR을 이용한 탐지 모델의 성능 분석 실험 결과를 소개한다.