• 한국컴퓨터정보학회논문지
• /
• 제24권1호
• /
• pp.85-92
• /
• 2019

In this paper, we propose a efficient feature point extraction method that can solve the problem of performance degradation by introducing a preprocessing process when extracting feature points by utilizing the characteristics of 360-degree realistic media. 360-degree realistic media is composed of images produced by two or more cameras and this image combining process is accomplished by extracting feature points at the edges of each image and combining them into one image if they cover the same area. In this production process, however, the stitching process where images are combined into one piece can lead to the distortion of non-seamlessness. Since the realistic media of 4K-class image has higher resolution than that of a general image, the feature point extraction and matching process takes much more time than general media cases.

• International Journal of Fuzzy Logic and Intelligent Systems
• /
• 제13권4호
• /
• pp.284-290
• /
• 2013

Feature detection is very important to image processing area. In this paper we compare and analyze some characteristics of image processing algorithms for corner and blob feature detection. We also analyze the simulation results through image matching process. We show that how these algorithms work and how fast they execute. The simulation results are shown for helping us to select an algorithm or several algorithms extracting corner and blob feature.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2022년도 추계학술대회
• /
• pp.256-257
• /
• 2022

본 논문에서는 단일 모바일 디바이스의 움직임을 통해 3차원 특징점을 추출하는 방법에 대해 소개한다. 단안 카메라를 이용해 카메라 움직임에 따라 2D 영상을 획득하고 Baseline을 추정한다. 특징점 기반의 스테레오 매칭을 진행한다. 특징점과 디스크립터를 획득하고 특징점을 매칭한다. 매칭된 특징점을 이용해 디스패리티를 계산하고 깊이값을 생성한다. 3차원 특징점은 카메라 움직임에 따라 업데이트 된다. 마지막으로 장면 전환 검출을 이용하여 장면 전환시 특징점을 리셋한다. 위 과정을 통해 특징점 데이터베이스에 평균 73.5%의 저장공간 추가 확보를 할 수 있다. TUM Dataset의 Depth Ground truth 값과 RGB 영상으로 제안한 알고리즘을 적용하여 3차원 특징점 결과와 비교하여 평균 26.88mm의 거리 차이가 나는것을 확인하였다.

• 대한원격탐사학회지
• /
• 제38권6_1호
• /
• pp.1057-1068
• /
• 2022

본 논문은 모바일 기반의 실시간 영상 측위 기술 개발을 목표로 사용자가 촬영한 사진과 가상의 텍스쳐 영상 간의 매칭 가능성 확인 연구로 특징점 기반의 매칭 알고리즘의 조합 성능을 비교했다. 특징점 기반의 매칭 알고리즘은 특징점(feature)을 추출하는 과정과 추출된 특징점을 설명하는 서술자(descriptor)를 계산하는 과정, 최종적으로 서로 다른 영상에서 추출된 서술자를 매칭하고, 잘못 매칭된 특징점을 제거하는 과정으로 이루어진다. 이때 매칭 알고리즘 조합을 위해, 특징점을 추출하는 과정과 서술자를 계산하는 과정을 각각 같거나 다르게 조합하여 매칭 성능을 비교하였다. 가상 실내 텍스쳐 영상을 위해 V-World 3D 데스크탑을 활용하였다. 현재 V-World 3D 데스크톱에서는 수직·수평적 돌출부 및 함몰부와 같은 디테일이 보강되었다. 또한, 실제 영상 텍스쳐가 입혀진 레벨로 구축되어 있어, 이를 활용하여 가상 실내 텍스쳐 데이터를 기준영상으로 구성하고, 동일한 위치에서 직접 촬영하여 실험 데이터셋을 구성하였다. 데이터셋 구축 후, 매칭 알고리즘들로 매칭 성공률과 처리 시간을 측정하였고, 이를 바탕으로 매칭 성능 향상을 위해 매칭 알고리즘 조합을 결정하였다. 본 연구에서는 매칭 기법마다 가진 특장점을 기반으로 매칭 알고리즘을 조합하여 구축한 데이터셋에 적용해 적용 가능성을 확인하였고, 추가적으로 회전요소가 고려되었을 때의 성능 비교도 함께 수행하였다. 연구 결과, Scale Invariant Feature Transform (SIFT)의 feature와 descriptor 조합이 가장 매칭 성공률이 좋았지만 처리 소요 시간이 가장 큰 것을 확인할 수 있었고, Features from Accelerated Segment Test (FAST)의 feature와 Oriented FAST and Rotated BRIEF (ORB)의 descriptor 조합의 경우, SIFT-SIFT 조합과 유사한 매칭 성공률을 가지면서 처리 소요 시간도 우수하였다. 나아가, FAST-ORB의 경우, 10°의 회전이 데이터셋에 적용되었을 때에도 매칭 성능이 우세함을 확인하였다. 따라서 종합적으로 가상 텍스쳐 영상과 실영상간 매칭을 위해서 FAST-ORB 조합의 매칭 알고리즘이 적합한 것을 확인할 수 있었다.

• 전기전자학회논문지
• /
• 제24권2호
• /
• pp.529-535
• /
• 2020

4차 산업의 주요 기술로 실감형 360도 영상 콘텐츠가 주목받고 있다. 전 세계 실감형 360도 영상 콘텐츠의 시장 규모는 2018년 67억 달러에서 2020년 약 700억 달러까지 증가될 것이라고 전망하고 있다. 하지만 대부분 실감형 360도 영상 콘텐츠가 웹하드, 토렌트 등의 불법 유통망을 통해 유통되고 있어 불법복제로 인한 피해가 증가하고 있다. 이러한 불법 유통을 막기 위하여 기존 2D 영상은 불법저작물 필터링 기술을 사용하고 있다. 그러나 초고화질을 지원하고 두 대 이상의 카메라를 통해 촬영된 영상을 하나의 영상에 담는 실감형 360도 영상 콘텐츠의 특징 때문에 왜곡 영역이 존재하여 기존 2D 영상에 적용된 기술을 그대로 사용하기엔 다소 무리가 있다. 또한, 초고화질에 따른 특징점 데이터량 증가와 이에 따른 처리 속도 문제와 같은 기술적 한계가 존재한다. 본 논문에서는 이러한 문제를 해결하기 위하여 왜곡이 심한 영역을 제외한 객체 식별 영역을 선정하고, 식별 영역에서 딥 러닝 기술을 이용하여 객체를 인식하고 인식된 객체의 정보를 이용하여 특징 벡터를 추출하는 특징점 추출 및 식별 방법을 제안한다. 제안한 방법은 기존에 제안 되었던 스티칭 영역을 이용한 실감형 콘텐츠 특징점 추출방법과 비교하여 성능의 우수성을 보였다.

• 전기전자학회논문지
• /
• 제24권2호
• /
• pp.419-425
• /
• 2020

4차 산업의 주요 기술로 주목받고 있는 실감형 360 동영상 콘텐츠의 시장 규모는 매년 증가하고 있다. 하지만 대부분의 영상이 DRM 해제 후 토렌트 등의 불법 유통망을 통해 유통되고 있어 불법복제로 인한 피해 또한 증가하고 있다. 이러한 이슈에 대응하는 기술로 필터링 기술을 사용하고 있으나 대부분의 불법 저작물 필터링 기술은 2D 영상의 불법 복제 여부를 판단하는 기술에 국한되고 있으며, 이를 실감형 360 동영상에 적용하기 위해서는 4K UHD 이상의 초고화질에 따른 특징 데이터량 증가와 이에 따른 처리 속도 문제와 같은 기술적 한계를 극복해야 하는 과제가 남는다. 본 논문에서는 이러한 문제를 해결하기 위하여 딥 러닝 기술을 이용한 실감형 360도 동영상 내 특징 데이터 인식률 개선 방법을 제안한다.

• 전자공학회논문지
• /
• 제51권4호
• /
• pp.144-159
• /
• 2014

다중의 영상을 이용하여 하나의 파노라마 영상을 제작하는 기법은 컴퓨터 비전, 컴퓨터 그래픽스 등과 같은 여러 분야에서 널리 연구되고 있다. 파노라마 영상은 하나의 카메라에서 얻을 수 있는 영상의 한계, 즉 예를 들어 화각, 화질, 정보량 등의 한계를 극복할 수 있는 좋은 방법으로서 가상현실, 로봇비전 등과 같이 광각의 영상이 요구되는 다양한 분야에서 응용될 수 있다. 파노라마 영상은 단일 영상과 비교하여 보다 큰 몰입감을 제공한다는 점에서 큰 의미를 갖는다. 현재 다양한 파노라마 영상 제작 기법들이 존재하지만, 대부분의 기법들이 공통적으로 파노라마 영상을 구성할 때 각 영상에 존재하는 특징점 및 대응점을 검출하는 방식을 사용하고 있다. 또한, 대응점을 이용한 RANSAC(RANdom SAmple Consensus) 알고리즘을 사용, Homography Matrix를 구하여 영상을 변환하는 방법을 사용한다. 본 논문에서 사용한 SURF(Speeded Up Robust Features) 알고리즘은 영상의 특징점을 검출할 때 영상의 흑백정보와 지역 공간 정보를 활용하는데, 영상의 크기 변화와 시점 검출에 강하며 SIFT(Scale Invariant Features Transform) 알고리즘에 비해 속도가 빠르다는 장점이 있어서 널리 사용되고 있다. SURF 알고리즘은 대응점 검출 시 잘못된 대응점을 검출하는 경우가 생긴다는 단점이 존재하는데 이는 RANSAC 알고리즘의 수행속도를 늦추며, 그로인해 CPU 사용 점유율을 높이기도 한다. 대응점 검출 오류는 파노라마 영상의 정확성 및 선명성을 떨어뜨리는 핵심 요인이 된다. 본 논문에서는 이러한 대응점 검출의 오류를 최소화하기 위하여 대응점 좌표 주변 $3{\times}3$ 영역의 RGB값을 사용하여 잘못된 대응점들을 제거하는 중간 필터링 과정을 수행하고, 문제해결을 시도하는 동시에 파노라마 이미지구성 처리 속도 및 CPU 사용 점유율 등의 성능 향상 결과와 추출된 대응점 감소율, 정확도 등과 관련한 분석 및 평가 결과를 제시하였다.

• 한국콘텐츠학회논문지
• /
• 제17권3호
• /
• pp.42-52
• /
• 2017

파노라마 영상은 여러 시점에서 촬영한 영상들을 대응점들의 정합을 통해 합성하여 얻은 단일 영상을 말한다. 기존의 파노라마 영상 생성 방법들은 대응점들을 구할 때 각 영상에서 지역적 불변 특징점을 추출하여 서술자를 생성하고 매칭 알고리즘을 사용한다. 동영상의 경우, 프레임 수가 많아 기존의 방법으로 파노라마 영상을 생성하는 것이 상당한 시간을 소비하고 불필요한 계산을 한다. 본 논문에서는 동영상을 입력 받아 구면 파노라마 영상을 효과적으로 생성하는 기법을 제안한다. 동영상의 프레임 간의 변화가 지역적으로 크지 않으며 연속적이라는 전제 조건으로 반복성 및 계산속도가 높은 FAST 알고리즘을 사용하여 특징점들을 추출하고, Lucas-Kanade 알고리즘을 통해 각 특징점들을 추적하여 그 주변에서 대응점을 찾는다. 모든 영상에 대해서 호모그래피를 계산하면 가운데 영상을 중심으로 호모그래피를 변경하고 영상을 와핑하여 평면 파노라마 영상을 얻는다. 마지막으로 구면 좌표계 역변환식을 통해 구면 파노라마 영상을 변환하여 얻는다. 실험을 통하여 제안하는 방법이 기존의 방법들보다 파노라마 영상을 빠르고 효과적으로 생성하는 것을 확인하였다.

• 전자공학회논문지SC
• /
• 제43권2호
• /
• pp.11-19
• /
• 2006

본 논문에서는 사영과 치환불변 점 특징을 기반으로 카메라의 외부인수를 산출하는 방법을 제안한다. 기존 연구에서의 특징 정보들은 카메라의 뷰 포인트에 따라 변화하기 때문에 대응점 산출이 어렵다. 따라서 본 논문에서는 카메라 위치에 무관한 불변 점 특징을 추출하고 시간 복잡도 감소와 정확한 대응점 산출을 위해 유사도 평가함수와 Graham 탐색 방법을 이용한 새로운 정합방법을 제안한다. 또한 카메라 외부인수 산출단계에서는 LM 알고리즘의 수렴도를 향상시키기 위해 2단계 카메라 동작인수 산출방법을 제안한다. 실험에서는 다양한 실내영상을 이용하여 기존방법과 비교, 분석함으로써 제안한 알고리즘의 우수성을 입증하였다.

• 디지털산업정보학회논문지
• /
• 제8권1호
• /
• pp.157-170
• /
• 2012

Recently, user-created video shows high increasing in production and consumption. Among these, videos records an identical subject in limited space with multi-view are coming out. Occurring main reason of this kind of video is popularization of portable camera and mobile web environment. Multi-view has studied in visually representation technique fields for point of view. Definition of multi-view has been expanded and applied to various contents authoring lately. To make user-created videos into multi-view contents can be a kind of suggestion as a user experience for new form of video consumption. In this paper, we show the possibility to make user-created videos into multi-view video content through analyzing multi-view video contents even there exist attribute differentiations. To understanding definition and attribution of multi-view classified and analyzed existing multi-view contents. To solve time axis arranging problem occurred in multi-view processing proposed audio matching method. Audio matching method organize feature extracting and comparing. To extract features is proposed MFCC that is most universally used. Comparing is proposed n by n. We proposed multi-view video contents that can consume arranged user-created video by user selection.