• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.38C no.10
• /
• pp.920-927
• /
• 2013

Chroma key technique which composes images by separating an object from its background in specific color has restrictions on color and space. Especially, unlike general chroma key technique, image composition for stereo 3D display requires natural image composition method in 3D space. The thesis attempted to compose images in 3D space using depth keying method which uses high resolution depth information. High resolution depth map was obtained through camera calibration between the DSLR and Kinect sensor. 3D mesh model was created by the high resolution depth information and mapped with RGB color value. Object was converted into point cloud type in 3D space after separating it from its background according to depth information. The image in which 3D virtual background and object are composed obtained and played stereo 3D images using a virtual camera.

• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.24 no.9A
• /
• pp.1442-1450
• /
• 1999

In this paper, we present an efficient hardware architecture for the frame memory of the MPEG-2 video encoder. Both the total size of internal buffers and the number of logic gates are reduced by the proposed memory map which can provide an effective interface between MPEG-2 video encoder and the external DRAM. Furthermore, the proposed scheme can reduce the DRAM access time. To realize the frame memory hardware,$0.5\mu\textrm{m}$, VTI, vemn5a3 standard cell library is used. VHDL simulator and logic synthesis tool are used for hardware design and RTL (register transfer level) function verification. The frame memory hardware emulator of the proposed architecture is designed for gate-level function verification. It is expected that the proposed frame memory hardware using VHDL can achieve suitable performance for MPEG-2 MP@ML.

• Journal of the Korea Society of Computer and Information
• /
• v.11 no.4 s.42
• /
• pp.147-154
• /
• 2006

Effective and efficient representation of color features of multiple video frames is an important vet challenging task for visual information management systems. This paper Proposes a Video Browsing Service(VBS) that provides both the video content retrieval and the video browsing by the real-time user interface on Web. For the scene segmentation and key frame extraction of video sequence, we proposes an efficient scene change detection method that combine the RGB color histogram with the X2 (Chi Square) histogram. Resulting key frames are linked by both physical and logical indexing. This system involves the video editing and retrieval function of a VCR's. Three elements that are the date, the need and the subject are used for video browsing. A Video Browsing Service is implemented with MySQL, PHP and JMF under Apache Web Server.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.253-257
• /
• 2023

최근 다양한 대화 시스템이 스마트폰 어시스턴트, 자동 차 내비게이션, 음성 제어 스피커, 인간 중심 로봇 등의 실세계 인간-기계 인터페이스에 적용되고 있다. 하지만 대부분의 대화 시스템은 텍스트 기반으로 작동해 다중 모달리티 입력을 처리할 수 없다. 이 문제를 해결하기 위해서는 비디오와 같은 다중 모달리티 장면 인식을 통합한 대화 시스템이 필요하다. 기존의 비디오 기반 대화 시스템은 주로 시각, 이미지, 오디오 등의 다양한 자질을 합성하거나 사전 학습을 통해 이미지와 텍스트를 잘 정렬하는 데에만 집중하여 중요한 행동 단서와 소리 단서를 놓치고 있다는 한계가 존재한다. 본 논문은 이미지-텍스트 정렬의 사전학습 임베딩과 행동 단서, 소리 단서를 활용해 비디오 기반 대화 시스템을 개선한다. 제안한 모델은 텍스트와 이미지, 그리고 오디오 임베딩을 인코딩하고, 이를 바탕으로 관련 프레임과 행동 단서를 추출하여 발화를 생성하는 과정을 거친다. AVSD 데이터셋에서의 실험 결과, 제안한 모델이 기존의 모델보다 높은 성능을 보였으며, 대표적인 이미지-텍스트 자질들을 비디오 기반 대화시스템에서 비교 분석하였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2003.04c
• /
• pp.190-192
• /
• 2003

본 논문은 캘리브레이션 정보를 모르는 카메라로부터 얻은 시퀀스 영상에서 공간상에서 평면인 물체의영상 정보를 이용하여 카메라 내부 및 외부 파라미터를 추정하고, 이를 이용하여 가상의 3D 그래픽을 시퀀스 영상에 정합하는 방법을 제안한다. 제안된 방법은 기존의 방법에 비해 손쉽게 이미지에 가상의 3D 그래픽 오브젝트를 정합할 수 있으며, 눈에 보이는 정합오차를 최소화하며 DirectX와 같은 3D 그래픽 툴과 쉽게 연동이 되는 장정이 있다. 본 연구는 비디오와 같은 영상에 3D 영상을 합성하는 대화형 비디오 컨텐트 개발에 활용할 수 있을 것으로 기대된다.

• Smart Media Journal
• /
• v.1 no.3
• /
• pp.36-42
• /
• 2012

Recently, the smart applications, such as smart phone and smart TV, become a hot issue in IT consumer markets. In particular, the smart TV provides 3D video services, hence efficient coding methods for 3D video data are required. Three-dimensional (3D) video involves stereoscopic or multi-view images to provide depth experience through 3D display systems. Binocular cues are perceived by rendering proper viewpoint images obtained at slightly different view angles. Since the number of viewpoints of the multi-view video is limited, 3D display devices should generate arbitrary viewpoint images using available adjacent view images. In this paper, after we explain a view synthesis method briefly, we propose a new algorithm to compensate view synthesis errors around object boundaries. We describe a 3D warping technique exploiting the depth map for viewpoint shifting and a hole filling method using multi-view images. Then, we propose an algorithm to remove boundary noises that are generated due to mismatches of object edges in the color and depth images. The proposed method reduces annoying boundary noises near object edges by replacing erroneous textures with alternative textures from the other reference image. Using the proposed method, we can generate perceptually inproved images for 3D video systems.

• The Magazine of the IEIE
• /
• v.40 no.3
• /
• pp.72-79
• /
• 2013

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2005.11a
• /
• pp.29-32
• /
• 2005

3차원 비디오는 차세대 정보 통신 서비스 분야의 하나로, 사용자에게 시각적으로 고차원적인 서비스를 제공하는 것을 목적으로 한다. 이 가운데 다시점 비디오는 같은 시간, 여러 시점에서 영상 정보를 획득하여 사용자에게 원하는 시점의 영상 정보를 제공하는 3차원 비디오이며, 현재 방송 관련 연구 기관에서 차세대 실감방송 멀티미디어 서비스 개발을 목적으로 하는 연구가 활발히 진행되고 있다. 최근 MPEG 표준화 그룹에서는 다시점 비디오 부호화 (multi-view video coding, MVC) 방법에 관한 표준화 작업이 진행 중이며, 최신 비디오 압축 표준인 H.264를 이용한 여러 가지 방법들이 제안되었다. 현재 MVC 표준화 작업의 평가 기준이 되는 방법은 각 시점을 H.264로 부호화하는 방법인데, 이는 다시점 비디오 영상의 중요한 특성인 인접시점들 사이의 공간적 상관도를 전혀 고려하지 않았다. 본 논문에서는 시점 보간법을 이용하여 얻어진 중간 영상과 원영상과의 차분 영상을 부호화하는 알고리즘을 제안하고자 한다. 여기서 시점 보간법이란 좌우 두 시점 영상으로부터 변이값을 얻은 다음, 이를 이용하여 중간 시점 영상을 합성하는 방법을 말한다. 예를 들면,다시점 비디오의 홀수 번째 시점의 영상은 기존의 방법을 따르고, 짝수 번째 시점의 영상은 이미 부호화된 홀수 번째 시점의 영상을 이용하여 보간적으로 예측하여 원래 영상과 차분 영상을 구하여 부호화한다. 차분 영상은 영상의 복잡도가 많이 감소되어 원영상에 비해 보다 나은 부호화 효율을 보인다. 그러나 합성 영상이 각 장면마다 독립적으로 생성되므로 원영상에 비해 차분 영상의 시간적인 상관도가 줄어들어 I장면의 경우 부호화 효율이 크게 향상되었으나, 시간적인 상관도를 이용하는 P장면과 B장면에서는 오히려 좋지 않은 결과를 보였다. 통계는 전 국민에 대한 패널자료이기 때문에 통계적 활용의 범위가 방대하다. 특히 개인, 가구, 사업체 등 사회 활동의 주체들이 어떻게 변화하는지를 추적할 수 있는 자료를 생산함으로써 다양한 인과적 통계분석을 할 수 있다. 행정자료를 활용한 인구센서스의 이러한 특징은 국가의 교육정책, 노동정책, 복지정책 등 다양한 정책을 정확한 자료를 근거로 수립할 수 있는 기반을 제공한다(Gaasemyr, 1999). 이와 더불어 행정자료 기반의 인구센서스는 비용이 적게 드는 장점이 있다. 예를 들어 덴마크나 핀란드에서는 조사로 자료를 생산하던 때의 1/20 정도 비용으로 행정자료로 인구센서스의 모든 자료를 생산하고 있다. 특히, 최근 모든 행정자료들이 정보통신기술에 의해 데이터베이스 형태로 바뀌고, 인터넷을 근간으로 한 컴퓨터네트워크가 발달함에 따라 각 부처별로 행정을 위해 축적한 자료를 정보통신기술로 연계${cdot}$통합하면 막대한 조사비용을 들이지 않더라도 인구센서스자료를 적은 비용으로 생산할 수 있는 근간이 마련되었다. 이렇듯 행정자료 기반의 인구센서스가 많은 장점을 가졌지만, 그렇다고 모든 국가가 당장 행정자료로 인구센서스를 대체할 수 있는 것은 아니다. 행정자료로 인구센서스통계를 생산하기 위해서는 각 행정부서별로 사용하는 행정자료들을 연계${cdot}$통합할 수 있도록 국가사회전반에 걸쳐 행정 체제가 갖추어져야 하기 때문이다. 특히 모든 국민 개개인에 관한 기본정보, 개인들이 거주하며 생활하는 단위인 개별 주거단위에 관한 정보가 행정부에 등록되어 있고, 잘 정비되어 있어야 하며, 정보의 형태 또한 서로 연계가 가능하도록 표준화되어있어야 한다. 이와 더불어, 현재 인구센서스에서 표본조사를 통해 부가적으로 생산하는 경제활동통계를 생산하기 위해서는 개인이

• Journal of Broadcast Engineering
• /
• v.21 no.6
• /
• pp.878-888
• /
• 2016

This paper proposes an efficient method to remove the boundary artifacts of rendered views caused by damaged depth maps in the 3D video system. First, characteristics of boundary artifacts with the compression noise in depth maps are carefully studied. Then, the artifacts suppression method is proposed by the iterative projection onto convex sets (POCS) algorithm with setting the convex set in pixel and frequency domain. The proposed method is applied to both texture and depth maps separately during view rendering. The simulation results show the boundary artifacts are greatly reduced with improving the quality of synthesized views.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.07a
• /
• pp.305-307
• /
• 2020

이머시브 비디오 서비스를 위해 MPEG-I Visual 그룹에서는 3DoF+ 기술과 관련하여 MIV(Metadata for Immersive video)의 표준화를 진행하고 있으며, 이를 위해 다시점 영상 및 전방위 장면을 촬영한 ERP 규격의 영상들이 주어진 경우에 운동시차를 제공할 수 있는 영상 합성 레퍼런스 소프트웨어인 TMIV SW를 제공한다. TMIV는 기본적으로 송신부인 인코더와 수신부인 디코더로 구성이 되어있으며, 인코더에서 가장 중요한 기능은 다수의 입력 시점영상 간의 중복된 데이터를 찾아내서 제거하는 프루닝 과정이다. 프루닝 방법에 따라 데이터 전송량과 디코더에서의 합성 품질이 달라지기 때문에 인코더에서 핵심이라고 할 수 있다. 본 논문은 인코더의 프루닝의 효율을 높이기 위해 전체 흐름도에서 프루닝 순서 변경 과정을 추가하고 그 과정에서 시점 영상간 중첩 영역을 계산하여 이를 토대로 프루닝 순서를 결정하는 방법을 제안하였고 이를 통해 데이터 압축률이 향상됨을 확인할 수 있었고, 또한 수신부에서 영상 합성의 품질이 달라짐을 확인할 수 있었다.