• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2018년도 추계학술발표대회
• /
• pp.686-689
• /
• 2018

3D 손 포즈 추정(Hand Pose Estimation, HPE)은 스마트 인간 컴퓨터 인터페이스를 위해서 중요한 기술이다. 이 연구에서는 딥러닝 방법을 기반으로 하여 단일 RGB-Depth 카메라로 촬영한 양손의 3D 손 자세를 실시간으로 인식하는 손 포즈 추정 시스템을 제시한다. 손 포즈 추정 시스템은 4단계로 구성된다. 첫째, Skin Detection 및 Depth cutting 알고리즘을 사용하여 양손을 RGB와 깊이 영상에서 감지하고 추출한다. 둘째, Convolutional Neural Network(CNN) Classifier는 오른손과 왼손을 구별하는데 사용된다. CNN Classifier 는 3개의 convolution layer와 2개의 Fully-Connected Layer로 구성되어 있으며, 추출된 깊이 영상을 입력으로 사용한다. 셋째, 학습된 CNN regressor는 추출된 왼쪽 및 오른쪽 손의 깊이 영상에서 손 관절을 추정하기 위해 다수의 Convolutional Layers, Pooling Layers, Fully Connected Layers로 구성된다. CNN classifier와 regressor는 22,000개 깊이 영상 데이터셋으로 학습된다. 마지막으로, 각 손의 3D 손 자세는 추정된 손 관절 정보로부터 재구성된다. 테스트 결과, CNN classifier는 오른쪽 손과 왼쪽 손을 96.9%의 정확도로 구별할 수 있으며, CNN regressor는 형균 8.48mm의 오차 범위로 3D 손 관절 정보를 추정할 수 있다. 본 연구에서 제안하는 손 포즈 추정 시스템은 가상 현실(virtual reality, VR), 증강 현실(Augmented Reality, AR) 및 융합 현실 (Mixed Reality, MR) 응용 프로그램을 포함한 다양한 응용 분야에서 사용할 수 있다.

• 한국정보통신학회논문지
• /
• 제20권1호
• /
• pp.167-174
• /
• 2016

본 논문에서는 3D 깊이우선 집적영상(DPII) 디스플레이에서 키넥트(Kinect)를 이용하여 3D 물체에 대한 2D 요소영상들을 생성하는 방법을 제안한다. 먼저, 깊이우선 집적영상에서의 요소영상 생성원리를 기하광학적으로 분석하고 이 분석에 기초하여 키넥트의 RGB영상과 깊이영상으로부터 요소영상들을 생성한다. 3D 영상 복원을 위해서 집적영상에 기반한 컴퓨터적 시점재생 실험을 수행하고, 복원된 3D 영상에 대한 많은 시점영상들을 서로 비교한다. 제안하는 방식의 유용함을 보이기 위해서 기초적인 광학적 실험을 수행하였다. 그 결과, 제안하는 방식은 완전시차를 가지는 올바른 3D 영상을 제공함을 확인하였다.

• 한국멀티미디어학회논문지
• /
• 제19권9호
• /
• pp.1647-1658
• /
• 2016

RGB+D database has been widely used in object recognition, object tracking, robot control, to name a few. While rapid advance of active depth sensing technologies allows for the widespread of indoor RGB+D databases, there are only few outdoor RGB+D databases largely due to an inherent limitation of active depth cameras. In this paper, we propose a novel method used to build outdoor RGB+D databases. Instead of using active depth cameras such as Kinect or LIDAR, we acquire a pair of stereo image using high-resolution stereo camera and then obtain a depth map by applying stereo matching algorithm. To deal with estimation errors that inevitably exist in the depth map obtained from stereo matching methods, we develop an approach that estimates confidence of depth maps based on unsupervised learning. Unlike existing confidence estimation approaches, we explicitly consider a spatial correlation that may exist in the confidence map. Specifically, we focus on refining confidence feature with the assumption that the confidence feature and resultant confidence map are smoothly-varying in spatial domain and are highly correlated to each other. Experimental result shows that the proposed method outperforms existing confidence measure based approaches in various benchmark dataset.

• 한국멀티미디어학회논문지
• /
• 제4권2호
• /
• pp.108-115
• /
• 2001

본 연구에서는 RGB칼라영상에서 세 칼라 객체의 색상에 따라 정량적으로 분류하기 위하여 ML(Maximum Likelihood) 분류법 을 개선 시도하여 보았다. RGB 칼라 영상이라 하면 빨강, 초록, 파랑의 세 밴드로 이루어진다. 스펙트룸과 공간상의 요소를 고려한다면 3차원적인 구조를 갖게 된다. 이러한 3차원 구조의 voxel를 RGB cube에 투사하여 이로부터 ML분류법의 개선 방법론을 적용하여 보았다. 전례적으로 쉽게 사용되어지는 Box 분류법과 비교 검토하여 보았으며 Bayesian decision 이론을 기반으로한 통계학적인 ML 분류법을 사용하였다. 유방암 항체조직영상에 이 방법론을 응용하며 양성 세포핵 음성 세포핵 그리고 배경을 분류하는데 좋은 결과를 얻어 임상에서 유방암 환자의 예후 및 진단에 사용할 수 있도록 연구하였다.

• 한국항행학회논문지
• /
• 제20권6호
• /
• pp.625-630
• /
• 2016

최근 다양한 형태의 영상 콘텐츠가 제작되고 있고, 이를 위한 저작권 보호기술에 대한 관심이 높아지고 있다. 본 논문에서는 컬러 영상을 위한 영상암호화 기술을 제안한다. 이 기술은 영상을 RGB 색차성분으로 분할한 후, 윤곽선을 기준으로 쿼드트리 분할을 수행한다. 쿼드트리 분할 후, 선정된 블록들을 대상으로 암호화를 수행한다. 색차성분을 대상으로 암호화를 수행하여 암호화 효율을 측정하고, 컬러 영상으로 재구성한 후에도 암호화 효율을 측정한다. 암호화 효율은 시각적인 측정방식과 객관적인 화질평가 방식을 이용한다. 실험결과 PSNR 수치는 색차성분의 경우 7~10[dB], 컬러 영상의 경우 16~19[dB]로 측정되었다. 본 논문에서 제안한 영상암호화 기술은 향후 다양한 디지털 영상 콘텐츠의 저작권 보호에 사용될 것으로 보인다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2021년도 제64차 하계학술대회논문집 29권2호
• /
• pp.15-16
• /
• 2021

본 논문에서는 RGB 영상 데이터를 입력으로 하여 mediapipe의 손 포즈 추정 알고리즘을 적용해 손가락 관절 및 주요 부위의 위치를 얻고 이를 기반으로 딥러닝 모델에 학습 후 손동작 인식 방법을 제안한다. 연속된 프레임에서 한 손의 손가락 주요 부위 간 좌표를 얻고 차분 벡터의 x, y좌표를 저장한 후 Conv1D, Bidirectional GRU, Transformer를 결합한 딥러닝 모델에 학습 후 손동작 인식 분류를 하였다. IC4You Gesture Dataset 의 한 손 동적 데이터 9개 클래스에 적용한 결과 99.63%의 손동작 인식 정확도를 얻었다.

• 디지털콘텐츠학회 논문지
• /
• 제19권9호
• /
• pp.1787-1793
• /
• 2018

그림자는 자연 경관에서 관찰되는 일반적인 현상이지만 물체 인식, 특징 검출 및 장면 분석등과 같은 영상 분석에 부정적인 영향을 미치는 요소이므로 디지털 영상에 포함된 그림자 처리는 디지털 영상 분석 과정에서 필수적으로 고려되어야 한다. 본 논문에서는 단일 자연 영상에 포함된 그림자를 검출하고 제거하기 위한 특징 요소 중의 하나인 1D 불변 영상의 획득을 위한 기존 방법들에 대해 기술하고, 선형 회귀 기반의 1D 불변 영상 획득 방법을 제안하였다. 제안하는 방법은 RGB 칼라 영상의 각 채널 간의 밴드 비의 로그를 계산한 후 선형 회귀를 통해 그레이스케일 영상 라인을 획득하고, 최종 1D 불변 영상은 밴드 비의 로그 영상들을 추정된 그레이스케일 영상 라인으로 투영시켜 획득하였다. 실험 결과, 제안하는 방법이 기존의 엔트로피 최소화 기반의 투영 각도를 계산하는 방법보다 계산 복잡도가 낮았으며, 1D 불변 영상을 이용한 그림자가 검출 및 제거가 효과적으로 수행됨을 보였다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제4권4호
• /
• pp.187-194
• /
• 2015

본 논문에서는 RGB-D 입력 영상들로부터 3차원 공간을 움직이는 카메라의 실시간 포즈를 효과적으로 추적할 수 있는 시각 주행 거리측정기를 제안한다. 본 논문에서 제안하는 시각 주행 거리 측정기에서는 컬러 영상과 깊이 영상의 풍부한 정보를 충분히 활용하면서도 실시간 계산량을 줄이기 위해, 특징 기반의 저밀도 주행 거리 계산 방법을 사용한다. 본 시스템에서는 보다 정확한 주행 거리 추정치를 얻기 위해, 카메라 이동 이전과 이동 이후의 영상에서 추출한 특징들을 정합한 뒤, 정합된 특징들에 대한 추가적인 정상 집합 정제 과정과 주행 거리 정제 작업을 반복한다. 또한, 정제 후 잔여 정상 집합의 크기가 충분치 않은 경우에도 잔여 정상 집합의 크기에 비례해 최종 주행 거리를 결정함으로써, 추적 성공률을 크게 향상시켰다. TUM 대학의 벤치마크 데이터 집합을 이용한 실험과 3차원 장면 복원 응용 시스템의 구현을 통해, 본 논문에서 제안하는 시각 주행 거리 측정 방법의 높은 성능을 확인할 수 있었다.

• 한국정보통신학회논문지
• /
• 제9권3호
• /
• pp.616-621
• /
• 2005

본 논문에서는 변환영역 기반과 인간의 시각특성을 적용하여 압축에 강한 칼라 영상의 디지털 워터마킹 알고리즘을 제안하였다. 원영상을 RGB 채널로 분리한 후, HVS 특성을 고려하여 명암대비와 텍스처 특징을 분석한 후, 최적의 주파수영역을 선택하여 워터마크를 삽입하였다 전처리 과정은 2D DCT를 사용하였고, 워터마크는 시각적으로 인지가 가능한 특정 로고 형태의 이진 영상을 사용하였다. 외부공격 유형으로 JPEG 압축을 수행하여 실험한 결과, JPEG 압축 $60\%$까지 워터마크의 추출이 가능하였고 $90\%$ 이상의 상관도를 보였다.

• 인터넷정보학회논문지
• /
• 제18권6호
• /
• pp.85-92
• /
• 2017

최근 영상감시 분야에서는 영상에서 움직이는 사람을 탐지하고, 탐지된 사람의 행위를 분석하는 방식에 딥러닝 기반 학습방법이 적용되기 시작했다. 이러한 지능형 영상분석 기술을 적용할 수 있는 분야 중 하나인 인간 행위 인식은 객체를 탐지하고 탐지된 객체의 행위를 인식하기 위해 신체 키포인트를 검출 하는 과정을 거치게 된다. 본 논문에서는 RGB-D 정보를 이용한 객체 탐지 기반의 신체 키포인트 검출 방법을 제시한다. 먼저, 두 대의 카메라로 생성된 색상정보와 깊이정보를 이용하여 이동하는 객체를 배경으로부터 분할하여 탐지한다. RGB-D 정보를 이용하여 탐지된 객체의 영역을 재조정하여 생성된 입력 데이터를 한 사람의 자세 추정을 위한 Convolutional Pose Machines(CPM)에 적용한다. CPM을 이용하여 한 사람당 14개의 신체부위에 대한 신념 지도(Belief Map)를 생성하고, 신념 지도를 기반으로 신체 키포인트를 검출한다. 이와 같은 방법은 키포인트를 검출할 객체에 대한 정확한 영역을 제공하게 되며, 개별적인 신체 키포인트의 검출을 통하여 단일 신체 키포인트 검출에서 다중 신체 키포인트 검출로 확장 할 수 있다. 향후, 검출된 키포인트를 이용하여 인간 자세 추정을 위한 모델을 생성할 수 있으며 인간 행위 인식 분야에 기여 할 수 있다.