• 방송공학회논문지
• /
• 제23권6호
• /
• pp.896-913
• /
• 2018

360 VR 영상을 구성하는 과정에서 합성되는 영상들 사이의 경계(seam)를 정확하고 효율적으로 추출하는 것은 스티칭된 영상의 화질에 매우 중요한 영향을 끼친다. 기존의 seam finding 기술들인 보로노이(Voronoi) 알고리즘, dynamic programming, graph cut 방법들은 시차(view disparity)가 존재하거나 이동하는 물체가 존재하는 상황에서는 ghost와 같은 왜곡을 발생시킨다. 본 논문에서는 기존 알고리즘들과 달리 물체를 가로지르지 않고, 물체를 피해 배경을 가로질러 접합선을 추출하는 '밝기 대비를 이용한 마스크 추출 방법'을 제안하였다. 이때, 배경과 물체와의 밝기차이를 이용하여, 물체의 형상을 따라 이어지는 접합선을 추출했다. 본 논문의 실험 결과를 통해, 제안하는 기술을 사용하면 왜곡을 감소시키는 위치에서 접합선이 생성되고, 스티칭된 영상의 화질이 개선되는 것을 확인하였다.

• 대한전자공학회논문지SP
• /
• 제45권3호
• /
• pp.55-63
• /
• 2008

본 논문은 전 방향을 감시할 수 있는 Pan-Tilt-Zoom(PTZ) 카메라를 이용한 파노라마 배경 생성과 객체 추적 방법을 제안한다. 제안된 방법은 연속되는 두 영상의 외곽 영역에서 미리 정한 지역만 위상정합(phase correlation)을 하여 카메라의 지역 움직임을 빠르게 추정하고 벡터 양자화를 통하여 움직임 추정 오차를 최소화 한다. 추정된 움직임 값을 이용하여 겹침 영역이 존재하는 영상들을 획득하여 실린더에 투영시키고 영상을 재 정렬함으로써 파노라마 배경 영상을 생성할 수 있다. 객체 추적은 미리 생성된 파노라마 배경과 입력 영상의 차분 방법을 이용하여 배경과 객체를 분리하고 객체의 움직임을 추적한다. 제안된 객체 추적 방법은 PTZ 카메라를 이용하여 빠르고 안정적인 배경 생성이 가능하고, 전방향의 객체를 지속적으로 추적하는 것이 가능하다. 제안된 방법은 실시간 처리가 가능하며 넓은 감시 지역에서 객체의 형태를 추적하거나 얼굴인식과 같은 분야에서 이용될 수 있을 것이다.

• 방송공학회논문지
• /
• 제27권4호
• /
• pp.487-498
• /
• 2022

깊이 영상은 3차원 공간상의 거리 정보를 2차원 평면에 나타낸 영상이며 다양한 3D 비전 연구에서 유용하게 사용된다. 기존의 많은 깊이 추정 연구는 주로 좁은 FoV (Field of View) 영상을 사용하여 전체 장면 중 상당 부분이 소실된 영상에 대한 깊이 정보를 추정한다. 본 논문에서는 소수의 좁은 FoV 영상으로부터 360° 전 방향 RGBD 영상을 동시에 생성하는 기법을 제안한다. 오버랩 되지 않는 4장의 소수 영상으로부터 전체 파노라마 영상에 대해서 상대적인 FoV를 추정하고 360° 컬러 영상과 깊이 영상을 동시에 생성하는 적대적 생성 신경망 기반의 영상 생성 모델을 제안하였으며, 두 모달리티의 특징을 공유하여 상호 보완된 결과를 확인한다. 또한 360° 영상의 구면 특성을 반영한 네트워크를 구성하여 개선된 성능을 보인다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2007년도 가을 학술발표논문집 Vol.34 No.2 (B)
• /
• pp.162-166
• /
• 2007

단일 영상의 시야각 한계를 극복하기 위해 다중 영상으로부터 하나의 파노라마 영상으로 만들 수 있다. 파노라마 영상은 좌우 360도까지의 시야각을 확보할 수 있어서 복잡한 실제 환경을 가상 환경에서의 배경으로 사용하고자 할 경우에 유용하다. 본 논문에서는 가상 환경에서의 배경으로 사용할 수 있는 파노라마 영상 생성 기법을 제안한다. 다중 영상들을 촬영하고 이를 사용하여 하나의 구형 파노라마 영상을 생성한다. 상하 시야각을 180도까지 확보하기 위한 제작 기법을 제시한다. 또한 생성된 구형 파노라마 영상으로부터 3차원 렌더링에 적합한 텍스쳐로의 변환과정을 제시한다 실제 환경을 가상화할 시에 파노라마 배경을 사용하면 조밀한 배경을3차원적으로 모델링하지 않고도 배경을 3차원적으로 표현할 수 있으므로 제안된 기법은 가상현실 응용에 유용하게 사용될 수 있다.

• 반도체디스플레이기술학회지
• /
• 제16권2호
• /
• pp.61-65
• /
• 2017

Recently, the interest and research on 360 camera and 360 image production are expanding. In this paper, we describe the feature extraction algorithm, alignment and image blending that make up the feature-based stitching system. And it deals with the theory of representative algorithm at each stage. In addition, the feature-based stitching system was implemented using OPENCV library. As a result of the implementation, the brightness of the two images is different, and it feels a sense of heterogeneity in the resulting image. We will study the proper preprocessing to adjust the brightness value to improve the accuracy and seamlessness of the feature-based stitching system.

• 한국지구과학회지
• /
• 제35권3호
• /
• pp.180-191
• /
• 2014

본 연구에서는 전라북도 부안군 채석강 지역에 대한 3D파노라마 가상 현실 지질 답사 투어 학습자료를 개발하였다. 개발된 프로그램은 $360^{\circ}{\times}180^{\circ}$ 파노라마로서 관측 지점의 모든 면을 볼 수 있고, 확대, 축소, 화면 돌리기 등의 상호작용이 가능하다. 이 프로그램의 교육적 효과를 얻기 위해 컴파스 활용하기, 지층의 경사 등을 측정하기 위한 이동 가능한 각도기 제공, 관찰 지점의 표본에 대한 3D 관찰하기 등을 제공하였다. 또 주요 관찰 포인트에는 확대된 사진, 팝업창, 전문가 설명 등으로 학습을 도왔다. 이 프로그램의 교육적 효과를 알아보기 위하여 중학교 과학 영재반 학생 35명에게 적용해본 결과 약 85% 이상의 긍정적인 반응을 보여주었다. 따라서 이 프로그램은 중학교 과학과 지질학 수업 시 간접적 상황학습이 될 수 있고, 시간문제, 비용문제, 안전문제 등을 줄일 수 있는 하나의 보충적인 지질 답사 방법이 될 것이다.

• 방송공학회논문지
• /
• 제24권5호
• /
• pp.775-784
• /
• 2019

영상 스티칭은 다수의 영상을 합성하여 카메라의 좁은 시야각(Field of View) 문제를 해결하는 기술이다. 최근 동영상 기반 Panorama, Super Resolution, 360 VR(Virtual Reality) 등의 콘텐츠 사용이 증가함에 따라, 보다 빠르고 정확한 영상 스티칭 기술의 필요성이 커지고 있다. 또한, 지금까지 필요 성능을 만족시키기 위해 많은 알고리즘이 제안되고 있지만, 정확성을 측정하는 객관적 평가 방법은 표준화되지 않고 있다. 최근에서야 PSNR(Peak signal-to-noise ratio)과 SSIM(Structural similarity index method) 측정값을 제시하는 방법이 주를 이루고 있지만, 본 논문에서는 PSNR과 SSIM 측정 방식의 문제점을 밝히고, 해당 방법의 한계점을 극복하여 기하적 유사성과 광도 측정 정보를 포괄하는 지역 차분 픽셀 평가(LDPM: Local differential pixel mean)방법을 제안한다. 또한, 본 논문에서 제안하는 LDPM(Local differential pixel mean) 평가 방식을 테스트 영상을 통해 증명하고 SSIM과 비교를 통해 해당 평가 방법의 이점을 밝힌다.

• 방송공학회논문지
• /
• 제25권6호
• /
• pp.882-897
• /
• 2020

최근 Panorama와 360° 영상이 대표되는 몰입형 미디어 콘텐츠의 활용이 증가하고 있다. 일반적인 카메라 한 대를 통해서 해당 콘텐츠를 생성하기에는 시야각이 제한되기 때문에, 다수의 카메라로 촬영한 영상을 넓은 시야각을 갖는 하나의 영상으로 합성하는 영상 스티칭이 주로 사용되고 있다. 그러나 촬영하는 카메라 간의 시차(Parallax)가 크다면 스티칭 영상에서 시차 왜곡이 발생할 수 있고, 이는 사용자의 콘텐츠 몰입을 제한하기 때문에 시차 왜곡을 극복할 수 있는 영상 스티칭 기술이 필요하다. 시차 왜곡을 극복하기 위한 기존의 Seam Optimization 기반 영상 스티칭 방법은 사물의 위치 정보를 반영하기 위하여 에너지 함수나 객체 세그먼트 정보를 활용하고 있지만, 초기 Seam 생성 위치, 배경 정보, 사물 검출기의 성능 그리고 사물의 배치 등의 제한 사항으로 인해 기술의 적용이 제한될 수 있다. 이에 본 논문에서는 딥러닝 기반 사물 검출을 활용하여 사물의 종류에 따라 다르게 설정한 가중치 값을 시각적 인지 에너지 값에 더함으로써, 기존 기술의 제한 사항을 극복할 수 있는 영상 스티칭 방법을 제안하고자 한다.

• 반도체디스플레이기술학회지
• /
• 제15권4호
• /
• pp.97-102
• /
• 2016

Image stitching is a process of combining two or more images with overlapping area to create a panorama of input images, which is considered as an active research area in computer vision, especially in the field of augmented reality with 360 degree images. Image stitching techniques can be categorized into two general approaches: direct and feature based techniques. Direct techniques compare all the pixel intensities of the images with each other, while feature based approaches aim to determine a relationship between the images through distinct features extracted from the images. This paper proposes a novel image stitching method based on feature pixels with approximated clustering filter. When the features are extracted from input images, we calculate a meaning of the minutiae, and apply an effective feature extraction algorithm to improve the processing time. With the evaluation of the results, the proposed method is corresponding accurate and effective, compared to the previous approaches.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2017년도 춘계학술발표대회
• /
• pp.1069-1072
• /
• 2017

최근에 360도 파노라마(Panorama) 사진과 영상을 이용한 가상현실 콘텐츠 제작이 급격히 증가하고 있다. 본 연구에서는 지역문화유산의 360도 파노라마 VR 콘텐츠 속에 존재하는 3D 대상물들(Objects)을 실시간으로 출력하는 시스템에 대해 연구하였다. 본 논문에서 제안하는 시스템은 지역문화유산의 가상투어(Virtual tour)뿐만 아니라 가상투어상의 주요 대상물들을 3D 프린터로 실시간 인쇄하여 소유할 수 있다는 특징을 갖는다. 지역문화유산의 가상현실을 통한 학습효과에 추가하여 주요 문화유산의 3D 모형의 출력을 통해 지역문화유산의 형태를 좀 더 현실감 있게 학습할 수 있다는 장점과 가상투어와 디지털 생산(Digital Manufacturing)/가상 생산(Virtual Manufacturing) 기술이 결합하는 새로운 형태의 서비스가 가능할 것으로 생각된다.