• 방송공학회논문지
• /
• 제25권7호
• /
• pp.1073-1080
• /
• 2020

360-degree video streaming technologies have been widely developed to provide immersive virtual reality (VR) experiences. However, high computational power and bandwidth are required to transmit and render high-quality 360-degree video through a head-mounted display (HMD). One way to overcome this problem is by transmitting high-quality viewport areas. This paper therefore proposes a motion-constrained tile set (MCTS)-based tile extractor for versatile video coding (VVC). The proposed extractor extracts high-quality viewport tiles, which are simulcasted with low-quality whole video to respond to unexpected movements by the user. The experimental results demonstrate a savings of 24.81% in the bjøntegaard delta rate (BD-rate) saving for the luma peak signal-to-noise ratio (PSNR) compared to the rate obtained using a VVC anchor without tiled streaming.

• 대한전자공학회논문지SP
• /
• 제48권2호
• /
• pp.11-23
• /
• 2011

본 논문에서 우리는 실시간 성능이 요구되는 비디오 화상회의 시스템을 위해 사전정보 없이 정확하면서도 완전히 자동으로 비디오 객체를 추출하는 방법을 제안한다. 제안하는 방법은 두 단계로 이루어진다: 1) 초기 프레임에서의 정확한 객체 추출, 2) 객체 추출 결과를 이용한 그 이후 프레임에서의 실시간 객체 추출. 초기 프레임에서의 객체 추출은 초기 프레임들의 차영상으로부터 구한 에지들을 누적시킨 누적 에지맵 생성으로부터 시작된다. 즉, 객체의 초기 움직임의 누적으로부터 객체의 형상을 추측하고자 하는 것이다. 이 추측된 형상은 그래프 컷(Graph-Cut) 영상 분할을 위한 객체 씨드(seeds)와 배경 씨드를 할당하는데 이용된다. 그래프 컷 기반 객체 추출 이후 프레임부터는 객체 추출 결과와 연속된 프레임의 차영상의 에지맵을 이용하여 실시간 객체 추출이 수행된다. 실험결과를 통해 제안하는 방법이 이전 연구들과 달리 VGA 크기의 비디오에 대해서도 실시간으로 동작함을 보이고, 따라서 몰입적인 비디오 화상회의 시스템의 개발을 위한 유용한 도구임을 보이고자 한다.

• 한국멀티미디어학회논문지
• /
• 제9권9호
• /
• pp.1139-1149
• /
• 2006

본 논문은 낮은 피사계 심도 영상(low depth-of-field image)에 대해 사용자의 도움 없이 포커스 된 관심 영역을 고속으로 추출하는 효율적인 방법을 제안한다. 우리는 입력 영상에 존재하는 고주파 성분을 HOS(higher order statistics) 계산을 함으로써 영상의 포커스 된 영역을 찾아내는 중요한 지표로 활용한다. 본 논문에서 제안하는 방법은 크게 4가지 단계로 구분할 수 있다. 첫 번째 단계에서는 기존 연구[1] 방법과 동일하게 모든 화소에 관해 HOS 지도를 계산하고 블록화한다. 두 번째 단계에서는 블록화 된 HOS를 이용하여 포커스 된 물체가 존재하는 후보 관심 영역을 대략적으로 구한다. 이후 관심 영역 내부에 존재하는 구멍(hole)을 제거하기 위해 구멍(hole) 추적 및 제거 연산을 수행한다. 마지막으로 최종 관심 후보 영역에서 배경 부분의 화소만 제거하여 포커스 된 관심 물체만을 섬세하게 추출한다. 제안하는 방법은 기존 방법[1]에 비해 정지 영상에서 고속으로 관심 영역을 추출하므로 추후 알고리즘의 변형 없이 낮은 피사계 심도의 동영상에 확장 적용하여 관심 영역을 실시간으로 추출할 수 있다. 본 논문에서 제안하는 방법은 가상 현실(VR)이나 실감 방송, 비디오 인덱싱 시스템과 같은 여러 응용 분야에 효과적으로 적용될 수 있고, 이러한 유용성은 실험 결과를 통해 보였다.

• International journal of advanced smart convergence
• /
• 제11권2호
• /
• pp.108-117
• /
• 2022

The recent development of information and communication technology has a great impact on the audio/video industry. In particular, IP-based AoIP transmission technology and AVB technology are making changes in the audio/video market. Video signal transmission technology has been introduced to the market through a network, but it has not replaced the video switcher function. Video signals in the conference room or classroom are still controlled by the switching device. In order to switch input/output video devices, a cable that is not limited by distance must be connected to the switcher. In addition, the control of the switching device must be performed by a person who has received professional training. In this paper, it is a technology that can be operated even by non-experts by replacing complex video cables (RGB, DVI, HDMI, DP) with LAN cables and enabling IP-based video switching and transmission (Video Mirroring over IP: VMoIP) to replace video switcher equipment. We are going to do this study, I/O videos were controlled in the form of matrix and high-definition videos were transmitted without distortion, and VMoIP is expected to become the standard for video switching systems in the future.

• International journal of advanced smart convergence
• /
• 제11권4호
• /
• pp.1-9
• /
• 2022

The recent development of information and communication technology is also affecting audio/video systems used in industry. The audio/video device configuration system changes from analog to digital, and the network-based audio/video system control has the advantage of reducing costs in accordance with system operation. However, audio/video systems released on the market have limitations in that they can only control their own products or can only be performed on specific platforms (Windows, Mac, Linux). This paper is a study on a device (Network Audio Video Integrated Control: NAVICS) that can integrate and control multiple audio / video devices with different functions, and can control digitalized audio / video devices through network and serial communication. As a result of the study, it was confirmed that individual control and integrated control were possible through the protocol provided by each audio/video device by NAVICS, and that even non-experts could easily control the audio/video system. In the future, it is expected that network-based audio/video integrated control technology will become the technical standard for complex audio/video system control.

• 인터넷정보학회논문지
• /
• 제20권1호
• /
• pp.47-55
• /
• 2019

Free-viewpoint video (FVV) service provides multi viewpoints of contents and synthesizes intermediate video files which are not captured on some view angles so that enables users to watch as they choose wherever they want. Synthesizing video is necessary technique to provide FVV video service, because every video of the FVV contents for different view angles cannot be stored to the content server physically. For the reason, fast view synthesis can improve the quality of video service and increase user's satisfaction. One of the studies for FVV service, a method was proposed to transmit FVV service based on DASH (Dynamic Adaptive Streaming over HTTP). There is big advantage on using DASH that it is commonly used to transport video service. However, the method was only a conceptual proposal, so it is difficult to implement the system using the proposal. In this paper, we propose an implementation method to provide real-time FVV service smoothly. We suggest a system structure and operation method on the server and client side in detail, which is to be applicable to synthesize video quickly. Also, we suggest generating FVV service map additionally which controls a FVV service overall. We manage real-time information of the whole service through the service map. The service can be controlled by reducing the possible delay from network situation.

• 방송공학회논문지
• /
• 제25권6호
• /
• pp.1004-1012
• /
• 2020

본 논문은 실시간 고해상도 비디오 스티칭을 위한 새로운 콘텐츠 보존 시접선 추정 알고리즘을 제안한다. 시접선 추정은 영상 스티칭 후 중첩 영역에서의 시각적 왜곡을 최소화하기 위한 요소 기술 중 하나이다. 기존 시접선 추정 알고리즘들은 요구되는 연산량과 메모리 사용량이 높은 최적화 알고리즘에 기반을 두고 있음에도 불구하고, 추정된 시접선이 객체를 피하지 못해 객체를 자르거나 반복하는 현상을 유발한다. 또한, 프레임 간의 추정된 시접선의 시간적 일관성이 부족하여 불필요한 잦은 변동이 발생한다. 따라서, 본 논문에서는 직선의 시접선을 활용하여 효율적이고 시간적 일관성이 있으며, 심층신경망 기반 객체 세그먼테이션 알고리즘을 활용하여 객체를 피하여 시접선을 형성하는 시접선 추정 알고리즘을 제안하고자 한다. 고해상도 360° 다중 시점 동영상을 사용한 실험을 통해 제안하는 알고리즘이 기존 알고리즘보다 짧은 시간에 시각적으로 유사한 360VR 동영상을 생성하는 시접선을 추정함을 확인하였다.

• 전기전자학회논문지
• /
• 제24권2호
• /
• pp.419-425
• /
• 2020

4차 산업의 주요 기술로 주목받고 있는 실감형 360 동영상 콘텐츠의 시장 규모는 매년 증가하고 있다. 하지만 대부분의 영상이 DRM 해제 후 토렌트 등의 불법 유통망을 통해 유통되고 있어 불법복제로 인한 피해 또한 증가하고 있다. 이러한 이슈에 대응하는 기술로 필터링 기술을 사용하고 있으나 대부분의 불법 저작물 필터링 기술은 2D 영상의 불법 복제 여부를 판단하는 기술에 국한되고 있으며, 이를 실감형 360 동영상에 적용하기 위해서는 4K UHD 이상의 초고화질에 따른 특징 데이터량 증가와 이에 따른 처리 속도 문제와 같은 기술적 한계를 극복해야 하는 과제가 남는다. 본 논문에서는 이러한 문제를 해결하기 위하여 딥 러닝 기술을 이용한 실감형 360도 동영상 내 특징 데이터 인식률 개선 방법을 제안한다.

• 한국HCI학회논문지
• /
• 제3권1호
• /
• pp.27-32
• /
• 2008

사람과 로봇간 인터페이스 연구가 활발히 진행되어감에 따라 원격으로 로봇을 조종하고 그 로봇을 통해 환경 정보를 제공받는 텔레프레전스 시스템에 관심이 증가하고 있다. 로봇이 움직임 따라 자연스러운 텔레프레전스 서비스를 제공하기 위해서는 사용자 행동인식이 매우 중요하다. 이전에 제안되었던 텔레프레전스의 사용자의 이동 인식시스템은 개발이 어려우며 많은 비용이 요구되고 사용자와 로봇간의 상호작용에 많은 한계를 보여왔다. 본논문에서는 닌텐도의 게임기 WII의 적외선 리모콘을 이용하여 사용자의 이동 및 시선을 파악하고 그 정보를 바탕으로 원거리의 로봇(Sony의 AIBO)을 움직여 사용자가 원하는 정보를 HMD를 통해 수신할 수 있는 시스템을 제안한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 하계학술대회
• /
• pp.305-307
• /
• 2020

이머시브 비디오 서비스를 위해 MPEG-I Visual 그룹에서는 3DoF+ 기술과 관련하여 MIV(Metadata for Immersive video)의 표준화를 진행하고 있으며, 이를 위해 다시점 영상 및 전방위 장면을 촬영한 ERP 규격의 영상들이 주어진 경우에 운동시차를 제공할 수 있는 영상 합성 레퍼런스 소프트웨어인 TMIV SW를 제공한다. TMIV는 기본적으로 송신부인 인코더와 수신부인 디코더로 구성이 되어있으며, 인코더에서 가장 중요한 기능은 다수의 입력 시점영상 간의 중복된 데이터를 찾아내서 제거하는 프루닝 과정이다. 프루닝 방법에 따라 데이터 전송량과 디코더에서의 합성 품질이 달라지기 때문에 인코더에서 핵심이라고 할 수 있다. 본 논문은 인코더의 프루닝의 효율을 높이기 위해 전체 흐름도에서 프루닝 순서 변경 과정을 추가하고 그 과정에서 시점 영상간 중첩 영역을 계산하여 이를 토대로 프루닝 순서를 결정하는 방법을 제안하였고 이를 통해 데이터 압축률이 향상됨을 확인할 수 있었고, 또한 수신부에서 영상 합성의 품질이 달라짐을 확인할 수 있었다.