• 방송공학회논문지
• /
• 제24권5호
• /
• pp.755-764
• /
• 2019

현재 사용 가능한 상용 라이트필드 카메라는 정지 영상만을 취득하거나 가격이 매우 높은 단점으로 인하여 5차원 라이트필드 비디오 취득에 어려움이 있다. 이러한 문제점을 해결하기 위해 본 논문에서는 단안 비디오로부터 라이트필드 비디오를 합성하기 위한 딥러닝 기반 기법을 제안한다. 라이트필드 비디오 학습 데이터를 취득하기 어려운 문제를 해결하기 위하여 UnrealCV를 활용하여 3차원 그래픽 장면의 사실적 렌더링에 의한 합성 라이트필드 데이터를 취득하고 이를 학습에 사용한다. 제안하는 딥러닝 프레임워크는 입력 단안 비디오에서 $9{\times}9$의 각 SAI(sub-aperture image)를 갖는 라이트필드 비디오를 합성한다. 제안하는 네트워크는 밝기 영상으로 변환된 입력 영상으로부터 appearance flow를 추정하는 네트워크, appearance flow로부터 얻어진 인접한 라이트필드 비디오 프레임간의 optical flow를 추정하는 네트워크로 구성되어 있다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2014년도 추계학술대회
• /
• pp.822-823
• /
• 2014

다시점 디스플레이용 영상은 주로 레퍼런스가 되는 컬러 카메라와 깊이 카메라의 영상을 입력 받아 DIBR (Depth Image Based Rendering) 기법을 활용, 3차원 점 구름 형태로 재구성 한 후 가상 카메라를 여러 시점에서 배치하여 중간 영상을 생성하여 조합하였다. 이렇게 다시점 중간 영상을 생성하면 원래의 시점에서는 구멍이 없었지만 다른 시점에서는 구멍(Hole)이 보이는 현상이 발생한다. 기존에는 틈새 영역을 채우는 알고리즘을 개발하거나 깊이 영상을 보정하여 개선시키는 방법을 연구하였으나 본 논문에서는 점 구름을 메시(Mesh)화 시키는 알고리즘 중 한 가지인 볼 피봇팅(Ball Pivoting) 방법을 적용시켜 중간 영상의 화질 개선 방법을 설명하고 있다. 마이크로소프트사의 발레와 브레이크 댄서 영상에 개발된 개선 방법을 적용시켜 보았고 PSNR로 비교할 때 약 0.18~1.19정도의 향상을 보임을 확인하였다. 본 논문을 통해 개선 방법과 실험방법, 그리고 결과에 대해 설명한다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제22권3호
• /
• pp.89-99
• /
• 2016

혼합현실 응용의 제작에 있어 중요한 요소 중의 하나는 현실 세계에서의 주변광 정보를 분석하여 효과적으로 영상 합성에 적용하는 것이다. 특히 대화식 응용을 구현하기 위해서는 동적으로 변화하는 주변광을 실시간 처리를 통하여 빠르게 렌더링 결과에 반영하는 것이 중요하다. 기존의 관련 방법들은 주로 사실적인 영상생성을 목표로 하기 때문에 너무 많은, 예를 들어, 2의 거듭제곱 수로 증가하는, 광원지점을 찾거나 대화식 응용에 적합하지 않은 복잡도를 가져 이에 적용하기가 적합하지 않다. 본 논문에서는 어안 렌즈를 장착한 카메라로부터 실시간으로 입력되는 동영상 이미지를 분석하여 주요 광원을 고속으로 찾아주는 광원 추정 방법을 제안한다. 기존의 방법과는 달리 사용자가 지정한 개수 정도의 주요 광원을 고속을 찾아주어, 퐁의 조명모델 기반의 직접 조명효과 생성뿐만 아니라, 면적 광원에 대한 광원 샘플링을 통한 부드러운 그림자 생성에도 활용할 수 있다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제2권1호
• /
• pp.24-30
• /
• 1996

광추적표현(ray tracing rendering) 기법은 컴퓨터를 이용하여 현실감 있는 영상을 얻기 위한 음영처리 방법의 하나로 오랜 컴퓨터 처리시간을 필요로 한다. 병렬처리 기법을 적용함으로서 컴퓨터 처리시간을 효과적으로 줄일 수 있어, 본 논문에서는 광추적 기법을 위한 병렬 알고리듬을 구현하고 트랜스퓨터시스템 상에서 실험하였다. 또한 알고리듬의 확장성과 부하균형을 위하여 프로세서 farm 모델을 응용하였다. 전체의 영상을 균일한 크기로 분할하고 각각의 프로세서 farm에 분배하는 방식을 사용하였기 때문에 제안된 알고리듬에서는 병렬시스템의 확장성과 부하의 균형문제를 자연스럽게 해결하였다. 구현된 병렬 알고리듬은 가변의 일꾼을 가지는 트랜스퓨터에서 실행하였으며 효율은 9개의 프로세서를 사용하였을 때 65% 이상으로 나타났다. 가장 우수한 성능을 가지는 경우는 작업의 분할 크기가 256~1024개의 화소를 가질 때인 것으로 측정되었다. 이와 같은 높은 효율과 우수한 확장성 이외에도 트랜스퓨터시스템이 지니고 있는 가격 대 성능비의 우수성으로 인하여, 트랜스퓨터는 확장성 있는 병렬시스템으로 적합한 것을 알 수 있다.

• 대한원격탐사학회지
• /
• 제28권2호
• /
• pp.245-253
• /
• 2012

스마트폰 등과 같은 모바일 단말에서 3차원 지형정보 처리 기술에 대한 민간과 공공 수요는 계속 증가하고 있으나 실제 개발 및 활용 사례는 많지 않다. 이 연구에서는 HTML5의 OpenGL ES 2.0을 기반으로 한 웹 기반의 그래픽 라이브러리인 WebGL을 적용하여 위성영상자료와 DEM 자료를 이용한 3차원 지형정보 가시화기능을 프로토타입으로 구현하고 시험 적용한 결과를 제시하고자 한다. WebGL을 사용함으로써 웹 환경 뿐만 아니라 뿐 모바일 브라우저에서도 별도의 추가 프로그램 없이 브라우저 만으로 구동이 가능하다. 실험 결과로 HTML5 WebGL을 지원하는 개인용 컴퓨터나 스마트폰에서 구동되는 서로 다른 운영체제와 브라우저에서 위성영상정보와 DEM 자료의 중첩에 따른 3차원 지형의 가시화 결과가 동일함을 확인하였다. 또한 적용된 자료는 각각 공간 메타데이터를 검색하고 확인할 수 있도록 하여 실무적인 활용 가능성을 증가 시킬 수 있도록 하였다.

• International Journal of Internet, Broadcasting and Communication
• /
• 제15권2호
• /
• pp.157-167
• /
• 2023

As a new trend in the development of urban public spaces, the use of right-angle LED screens perfectly combines building facades with naked-eye 3D visual effects, providing designers with a brand-new creative platform. How to create a realistic naked-eye 3D effect on a right-angle LED screen and bring an immersive visual experience to the audience has become a question worth exploring. So far, production companies have yet to announce the relevant design ideas and complete production methods. In order to explore the production principle and production process of the naked-eye 3D effect of the right-angle LED screen, we summarize the basic production principle of the naked-eye 3D impact of the right-angle LED screen through case analysis. Based on understanding the production principle, the actual case production test was carried out, and a complete production process of the naked eye 3D visual effect of the right-angle led screen was tried to be provided by off-line rendering. For the problem of how to deal with image deformation, we provide two production methods: post-production software correction and UV mapping. Among them, the UV mapping method is more efficient and convenient. Referring to this paper can help designers quickly understand the production principle of the naked eye 3D effect of right-angle LED screens. The production process proposed in this paper can provide a reference for production method for related project producers.

• 도시과학
• /
• 제7권2호
• /
• pp.53-60
• /
• 2018

Digital Twin is a technology that creates a photocopy of real-world objects on a computer and analyzes the past and present operational status by fusing the structure, context, and operation of various physical systems with property information, and predicts the future society's countermeasures. In particular, 3D rendering technology (UAS, LiDAR, GNSS, etc.) is a core technology in digital twin. so, the research and application are actively performed in the industry in recent years. However, UAS (Unmanned Aerial System) and LiDAR (Light Detection And Ranging) have to be solved by compensating blind spot which is not reconstructed according to the object shape. In addition, the terrestrial LiDAR can acquire the point cloud of the object more precisely and quickly at a short distance, but a blind spot is generated at the upper part of the object, thereby imposing restrictions on the forward digital twin modeling. The UAS is capable of modeling a specific range of objects with high accuracy by using high resolution images at low altitudes, and has the advantage of generating a high density point group based on SfM (Structure-from-Motion) image analysis technology. However, It is relatively far from the target LiDAR than the terrestrial LiDAR, and it takes time to analyze the image. In particular, it is necessary to reduce the accuracy of the side part and compensate the blind spot. By re-optimizing it after fusion with UAS and Terrestrial LiDAR, the residual error of each modeling method was compensated and the mutual correction result was obtained. The accuracy of fusion-based 3D model is less than 1cm and it is expected to be useful for digital twin construction.

• 한국컴퓨터그래픽스학회논문지
• /
• 제14권2호
• /
• pp.1-8
• /
• 2008

본 논문은 사용자가 카메라와 트래커가 부착된 HMD를 착용하고, 햅틱 장비를 사용하여 혼합현실 환경 상에서 기계적 상황훈련을 수행하는 시스템에 대하여 설명한다. 본 시스템은 발달장애인들의 시지각 협응능력 향상을 위해 도출된 기계적 상황훈련에 대한 시나리오를 기반으로 한다. 사용자는 HMD를 통해 보여 지는 가상의 핀을 햅틱으로 제어하여 작업판에 꽃는 상황훈련을 수행하고, 시스템은 FSM(Finite State Machine)기반으로 사용자의 행동에 맞는 피드백을 전달한다. 또한, 상황훈련에 대한 현실감을 높여 훈련 효과를 증대시키기 위해 가상 환경에 실제 사용자의 손을 삽입하고, 햅틱을 통해 촉감을 전달한다.

• 한국정보통신학회논문지
• /
• 제17권2호
• /
• pp.438-446
• /
• 2013

본 논문에서는 컬러 영상에서 추정된 움직임 벡터를 이용하여 움직이는 객체와 움직이지 않는 객체로 영상을 분리하여 깊이 영상의 시간적 일관성을 보상하는 기법을 제안한다. 제안하는 기법에서는 광류(optical flow) 추정 기법을 이용하여 연속되는 컬러 영상의 움직임 벡터를 추정하고 초기 움직임 객체 영역을 생성한다. 이를 바탕으로 그랩컷(grabcut) 기법을 통해 움직임이 있는 객체와 움직임이 없는 객체 영역을 분리한다. 그리고 움직임이 없는 객체 영역의 깊이 값을 이전 프레임의 깊이 지도와 정합 창 기반 절대평균오차(sum of absolute differences)를 통해 비교하여 일정 임계값보다 클 경우 이전 프레임의 깊이 값으로 현재 프레임의 깊이 값을 대체함으로써 시간적 상관성을 보상한다. 움직임이 있는 객체 영역의 경우 시간 축으로 확장된 결합형 양방향 필터링을 수행하여 시간적 상관성을 보상한다. 제안하는 기법으로 보상된 깊이 지도를 이용하여 가상 시점을 합성할 시 화질 향상 뿐 아니라 최근 표준화가 진행 중인 HEVC에서도 부호화 효율 또한 증가한다는 것을 실험을 통하여 확인하였다.

• 한국통신학회논문지
• /
• 제40권6호
• /
• pp.1175-1184
• /
• 2015

3D 영상의 획득을 위해 이용하는 깊이 지도는 영상의 깊이 정보를 가지고 있다. 그러나 일반적으로 고해상도이며 잡음이 제거된 고화질의 깊이 지도를 카메라로부터 직접 획득하는 것은 어렵다. 그래서 저해상도의 깊이 지도를 획득하고 업샘플링 및 전/후 영상처리를 통해 높은 품질의 고해상도 깊이 지도를 획득하는 기법들이 연구되고 있다. 하지만 기존의 연구는 영상의 질에 큰 변수로 작용하는 에지 부분의 효과적 업샘플링이 미흡하다. 그래서 본 논문은 에지 부분을 차별적으로 고려하는 인지적인 특성을 반영한 영상품질향상 연구에 초점을 맞춰 결합 양방향 필터의 가중치를 적응적으로 조절함으로써 깊이 지도와 합성 영상을 개선한 고해상도의 깊이 지도를 얻는 업샘플링 방법을 제안하였다. 제안 방식을 기존의 방식과 비교하였을 때 PSNR 측면과 주관적 품질에서 이득이 있음을 보였다.