• 제목/요약/키워드: depth-map

검색결과 811건 처리시간 0.025초

Depth Up-Sampling via Pixel-Classifying and Joint Bilateral Filtering

  • Ren, Yannan;Liu, Ju;Yuan, Hui;Xiao, Yifan
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제12권7호
    • /
    • pp.3217-3238
    • /
    • 2018
  • In this paper, a depth image up-sampling method is put forward by using pixel classifying and jointed bilateral filtering. By analyzing the edge maps originated from the high-resolution color image and low-resolution depth map respectively, pixels in up-sampled depth maps can be classified into four categories: edge points, edge-neighbor points, texture points and smooth points. First, joint bilateral up-sampling (JBU) method is used to generate an initial up-sampling depth image. Then, for each pixel category, different refinement methods are employed to modify the initial up-sampling depth image. Experimental results show that the proposed algorithm can reduce the blurring artifact with lower bad pixel rate (BPR).

다시점 입체 영상 생성을 위한 깊이 지도 양자화 방법 연구 (A Study on Depth Map Quantization for Multiview Image Generation)

  • 최지영;천수민;조용주
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2013년도 추계학술대회
    • /
    • pp.635-636
    • /
    • 2013
  • 본 연구에서는 이러한 다시점 디스플레이용 중간 영상을 만드는 데 쓰이는 DIBR 기법을 이용할 때, 깊이 정보를 다르게 양자화해서 좀 더 나은 화질의 중간 영상을 생성하는 방법에 대해서 설명한다. 특히 깊이 영상 정보를 모두 일정한 간격으로 나누어서 할당하는 균등 분할 방식과 특정 영역에 대해 더 많은 정보를 할당함으로써 그 영역에 대해서는 좀 더 질 높은 영상을 만들 수 있도록 하는 비균등 깊이 정보 양자화 방법에 대해서 설명한다.

  • PDF

Deep Learning-based Depth Map Estimation: A Review

  • Abdullah, Jan;Safran, Khan;Suyoung, Seo
    • 대한원격탐사학회지
    • /
    • 제39권1호
    • /
    • pp.1-21
    • /
    • 2023
  • In this technically advanced era, we are surrounded by smartphones, computers, and cameras, which help us to store visual information in 2D image planes. However, such images lack 3D spatial information about the scene, which is very useful for scientists, surveyors, engineers, and even robots. To tackle such problems, depth maps are generated for respective image planes. Depth maps or depth images are single image metric which carries the information in three-dimensional axes, i.e., xyz coordinates, where z is the object's distance from camera axes. For many applications, including augmented reality, object tracking, segmentation, scene reconstruction, distance measurement, autonomous navigation, and autonomous driving, depth estimation is a fundamental task. Much of the work has been done to calculate depth maps. We reviewed the status of depth map estimation using different techniques from several papers, study areas, and models applied over the last 20 years. We surveyed different depth-mapping techniques based on traditional ways and newly developed deep-learning methods. The primary purpose of this study is to present a detailed review of the state-of-the-art traditional depth mapping techniques and recent deep learning methodologies. This study encompasses the critical points of each method from different perspectives, like datasets, procedures performed, types of algorithms, loss functions, and well-known evaluation metrics. Similarly, this paper also discusses the subdomains in each method, like supervised, unsupervised, and semi-supervised methods. We also elaborate on the challenges of different methods. At the conclusion of this study, we discussed new ideas for future research and studies in depth map research.

깊이맵 업샘플링 방법의 객관적 성능 측정과 3D 시각적 피로도의 관계 분석 (Analysis of Relationship between Objective Performance Measurement and 3D Visual Discomfort in Depth Map Upsampling)

  • 길종인;사이드마흐모드포어;김만배
    • 방송공학회논문지
    • /
    • 제19권1호
    • /
    • pp.31-43
    • /
    • 2014
  • 깊이맵은 3D 입체영상의 생성을 위해 중요한 요소이다. 하지만 깊이 카메라를 이용하여 획득한 깊이맵들은 낮은 해상도를 갖는 단점이 있기 때문에 이를 고해상도로 변환하는 연구들이 활발하게 진행되고 있다. 이러한 연구들은 일반적으로 PSNR, Sharpness Degree, Blur Metric 등과 같은 객관적인 평가방법으로 성능을 검증해왔다. 이러한 평가방법 이외에 DIBR로 가상시점(virtual view)을 생성하여 주관적으로 평가하는 연구도 있으나, 입체영상을 생성하여 깊이맵 업샘플링의 성능을 분석하는 것은 많지 않다. 본 논문에서는 다양한 깊이맵 업샘플링 방법들을 이용하여 생성된 입체영상의 주관적 평가와 업샘플링 방법의 객관적 평가 결과의 상관관계 및 선형회귀법을 이용하여 관련성을 분석한다. 실험결과에서는 에지 PSNR이 시각적 피로도와의 상관관계가 가장 높고, Blur Metric은 가장 낮다는 것을 보여준다. 또한 선형회귀에서는 최적의 입체영상을 얻을 수 있는 객관적 평가의 가중치를 구하고, 기존 또는 새로운 업샘플링 알고리즘의 3D성능을 예측할 수 있는 공식을 보여준다.

효율적인 보조 정보 생성을 통한 깊이지도 기반의 분산 다시점 비디오 코딩 기법 (Depth Map Based Distributed Multi-view Video Coding Scheme through an Efficient Side Information Generation)

  • 유지환;이동석;김태준;유지상
    • 한국통신학회논문지
    • /
    • 제34권10B호
    • /
    • pp.1093-1103
    • /
    • 2009
  • 본 논문에서는 효율적인 보조 정보 생성을 통한 새로운 분산 다시점 비디오 코딩 기법을 제안한다. 분산 비디오 코딩은 원영상과 디코더에서 생성한 보조 정보 간의 오차를 채널 코딩 기법으로 정정한다. 따라서 보조 정보를 정확히 만들수록 분산 비디오 코딩의 성능은 좋아지게 된다. 제안한 기법에서는 깊이지도를 기반으로 하는 다시점 비디오 코딩에 분산 비디오 코딩 기법을 적용한다. 또한 깊이지도를 이용한 3차원 워핑을 통해 인접한 시점의 영상으로부터 보조 정보를 생성하고, 3차원 워핑과 시간 축 상의 인접한 영상을 이용하는 MCTI(motion compensated temporal interpolation)를 효율적으로 혼합하여 사용한다. 실험 결과 제안한 기법으로 생성한 보조 정보는 MCTI와 3차원 위핑을 따로 사용한 방법보다 평균 0.97dB의 PSNR이 향상되었음을 알 수 있었다. 또한 R-D 곡선 상에서 동일 PSNR 대비 평균 8.01%의 비트율이 감소되었다.

깊이맵의 정보 분해와 경계 평탄 필터링을 이용한 다시점 영상 생성 방법 (Generation of Multi-view Images Using Depth Map Decomposition and Edge Smoothing)

  • 김성열;이상범;김유경;호요성
    • 방송공학회논문지
    • /
    • 제11권4호
    • /
    • pp.471-482
    • /
    • 2006
  • 본 논문은 깊이맵의 정보 분해(information decomposition)와 적응적 경계 평탄 필터링(adaptive edge smooth filtering)을 이용하여 다시점 영상을 생성하는 방법을 제안한다. 제안한 방법은 깊이맵의 경계 영역에 평탄 필터링을 수행한 후, 깊이맵을 네 가지 종류의 분해 영상, 즉, 규칙 메쉬 영상, 경계 영상, 특징점 영상, 계층의 수 영상으로 변환한다. 그런 다음, 네 가지의 분해 영상에 3차원 메쉬 표현법을 적용하여 3차원 장면을 생성하고, 3차원 공간에서 가상 카메라의 위치를 변경하여 생성한 3차원 장면으로부터 다시점 영상을 추출한다. 실험 결과는 제안한 방법이 rubber-sheet 문제를 최소화하여 다시점 영상을 성공적으로 생성할 수 있었고, 깊이맵의 정보 분해를 통해 실시간으로 3차원 장면을 렌더링할 수 있었음을 보여준다. 또한, 제안한 방법은 기존의 방법과 달리 깊이맵 정보를 보존하기 때문에, 깊이 키잉(depth keying)과 같이 깊이 정보를 이용하는 3차원 응용에 활용할 수 있다.

한반도지역의 현지응력장 분포 패턴 및 지질시대별 전이 추이 (Regional Distribution Pattern and Geo-historical Transition of In-situ Stress Fields in the Korean Peninsula)

  • 신중호;박찬;이병주
    • 터널과지하공간
    • /
    • 제23권6호
    • /
    • pp.457-469
    • /
    • 2013
  • 국내 100여개 지역에서 측정된 460개 현지응력자료를 종합 분석하여 국내의 광역적 현지응력 분포 패턴을 분석하고, 심도-응력 및 심도-측압계수 관계식을 제시하였다. 이와 함께 한반도의 지질시대별 고응력장 변화와 최근의 지진 메카니즘에 의한 응력장 추정 결과를 통합하여, 한반도지역의 응력장 분포 패턴인 한국응력지도(Korea Stress Map)를 작성하였다. 세계의 심도-응력 관계식들과 비교를 통해, 본 연구에서 도출된 관계식의 적합성과 수 km 심도에의 유추 적용성을 확인하였다. 그리고 세계응력지도(World Stress Map)과 함께 동북아시아지역의 응력장 패턴을 분석하였다.

깊이맵의 전처리와 깊이 정보의 기하학적 분석을 통한 최적의 스테레오스코픽 영상 자동 생성 기법 (Stereoscopic Image Generation with Optimal Disparity using Depth Map Preprocessing and Depth Information Analysis)

  • 이재호;김창익
    • 방송공학회논문지
    • /
    • 제14권2호
    • /
    • pp.164-177
    • /
    • 2009
  • DIBR(depth image-based rendering) 기법은 한 장의 칼라 영상과 그에 대응하는 깊이맵을 이용하여 수신측에서 가상의 좌우 영상을 생성하여 시청자에게 깊이감을 제공해주는 방법이다. 이 때 생성되는 좌우 영상의 화질과 깊이감은 좌우 영상의 시점에 해당하는 가상 카메라의 간격에 영향을 받게 된다. 본 논문에서는 가상 카메라의 간격 조절을 통해 양질의 깊이감을 제공하는 기법을 제안한다. 영상의 기하 분석에 따르면 스테레오스코픽 영상의 변이가 증가할수록 영상의 왜곡이 줄어들어 깊이감이 좋아지게 되나, 이 경우에는 그에 따른 영상의 열화가 고려되지 않았다. 실험결과에 따르면 영상열화나 시역형성의 제한 등으로 인해 변이의 증가폭에 제한이 있음을 알 수 있다. 변이 증가폭을 늘리기 위해서는 영상의 열화 현상을 줄여야 하므로 깊이맵의 전처리 과정을 추가하였다. 제안하는 방법은 시청자의 요구에 따라 카메라의 위치와 시점을 추가적으로 조절할 수 있게 하는 양방향 서비스를 추가로 제공하므로 3차원 TV 뿐만 아니라, DMB와 같은 이동형 방송 시스템에도 적용이 가능하다.

일반적 총변이를 이용한 깊이맵 업샘플링 방법 (Depth Upsampling Method Using Total Generalized Variation)

  • 홍수민;호요성
    • 방송공학회논문지
    • /
    • 제21권6호
    • /
    • pp.957-964
    • /
    • 2016
  • 요즘 들어, 3차원 콘텐츠의 수요는 지속적으로 증가하고 있다. 3차원 콘텐츠의 품질은 해당 장면의 깊이 정보에 큰 영향을 받기 때문에 정확한 깊이 정보를 얻는 것이 매우 중요하다. 카메라와 객체 사이의 깊이 정보는 적외선 센서를 이용한 계산을 통해 직접 얻을 수 있다. 최근 들어, KINECT 카메라와 같이 카메라와 물체 사이의 거리를 적외선이나 광신호를 이용하여 직접 측정하는 Time-of-flight (ToF) 기술을 사용하는 깊이 측정 방법이 널리 사용되고 있다. 이러한 방법은 카메라와 객체 사이의 깊이 정보를 실시간으로 획득할 수 있다는 장점을 갖지만, 획득된 깊이맵에 잡음이 발생하고, 깊이맵의 해상도가 낮다는 단점을 갖는다. 최근 들어, 이런 문제를 해결하기 위해서 양방향 결합 업샘플링 방법 (JBU) 이나 잡음 제거 업샘플링 방법 (NAFDU) 과 같은 필터 기반의 방법이 제안되었다. 그러나 이러한 필터 기반의 업샘플링 방법은 업샘플링된 깊이맵에 색상영상의 질감이 복사되는 문제가 발생한다. 이 논문에서는 이러한 문제점을 해결하기 위해 고차 정규화항을 이용하여 에너지 함수를 만들고, 이를 최적화하여 깊이맵을 업샘플링 한다. 또한, 색상과 깊이맵의 경계 정보를 고려한 경계 가중치항을 추가하여 질감 복사 문제를 해결한다. 실험 결과, 제안하는 깊이맵 업샘플링 방법이 기존의 방법에 비해 깊이 정보의 품질은 유지하면서, 질감 복사 문제를 효과적으로 해결할 수 있음을 확인했다.

고주파 성분을 이용한 깊이맵의 보간 (Depth Map Interpolation Using High Frequency Components)

  • 장성은;김성열;김만배
    • 방송공학회논문지
    • /
    • 제17권3호
    • /
    • pp.459-470
    • /
    • 2012
  • 본 논문은 영상 보간법을 이용하여 저해상도 깊이맵을 고해상도 깊이맵으로 변환하는 방법을 제안한다. 현재의 카메라 센서는 고해상도 색상 영상을 제공하는데 반해, 깊이 측정 장치는 저해상도의 깊이맵을 주로 제공한다. 본 논문은 기존의 양선형 보간법, 고등차수 보간법, 양측 보간법을 바탕으로 깊이맵에서 추출한 고주파 성분을 적용하여 깊이맵의 선명도를 증가한다. 이를 위해, 제안 방법은 고주파 성분 추출 단계, 고주파 성분 적용 단계, 및 영상 보간 단계를 거친다. 실험에서는 다양한 깊이맵 데이터에 제안 방법을 적용하였는데, 성능검증 방법으로 선명도(sharpness degree)와 블러 메트릭 (blur metric)의 두 객관적 측정을 통해서 제안 방법이 기존 방법에 비해 선명도가 약 2배 정도 증가했음을 보여준다. 또한 블러 메트릭은 평균 14%가 감소되었다.