• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 하계학술대회
• /
• pp.667-670
• /
• 2020

최근에는 증강현실, 로봇공학 등의 분야에서 객체의 위치 검출 이외에도, 객체의 자세에 대한 추정이 요구되고 있다. 객체의 자세 정보가 포함된 데이터셋은 위치 정보만 포함된 데이터셋에 비하여 상대적으로 매우 적기 때문에 인공 신경망 구조를 활용하기 어려운 측면이 있으나, 최근에 들어서는 기계학습 기반의 자세 추정 알고리즘들이 여럿 등장하고 있다. 본 논문에서는 이 가운데 Dense 6d Pose Object detector (DPOD) [11]의 구조를 기반으로 하여 가구의 조립 설명서에 그려진 가구 부품들의 자세를 추정하고자 한다. DPOD [11]는 입력으로 RGB 영상을 받으며, 해당 영상에서 자세를 추정하고자 하는 객체의 영역에 해당하는 픽셀들을 추정하고, 객체의 영역에 해당되는 각 픽셀에서 해당 객체의 3D 모델의 UV map 값을 추정한다. 이렇게 픽셀 개수만큼의 2D - 3D 대응이 생성된 이후에는, RANSAC과 PnP 알고리즘을 통해 RGB 영상에서의 객체와 객체의 3D 모델 간의 변환 관계 행렬이 구해지게 된다. 본 논문에서는 사전에 정해진 24개의 자세 후보들을 기반으로 가구 부품의 3D 모델을 2D에 투영한 RGB 영상들로 인공 신경망을 학습하였으며, 평가 시에는 실제 조립 설명서에서의 가구 부품의 자세를 추정하였다. 실험 결과 IKEA의 Stefan 의자 조립 설명서에 대하여 100%의 ADD score를 얻었으며, 추정 자세가 자세 후보군 중 정답 자세에 가장 근접한 경우를 정답으로 평가했을 때 100%의 정답률을 얻었다. 제안하는 신경망을 사용하였을 때, 가구 조립 설명서에서 가구 부품의 위치를 찾는 객체 검출기(object detection network)와, 각 개체의 종류를 구분하는 객체 리트리벌 네트워크(retrieval network)를 함께 사용하여 최종적으로 가구 부품의 자세를 추정할 수 있다.

• 사물인터넷융복합논문지
• /
• 제10권5호
• /
• pp.19-26
• /
• 2024

본 연구는 제조 분야에서 산업용 로봇을 이용하여 빈 피킹을 구현할 때, 쉽고, 빠르고, 상대적으로 저렴한 비용의 6D 자세 추정 방법을 제시하고 검증하였다. 상세하게는 산업용 로봇과 2D 카메라를 연동하여 ①객체의 다시점 이미지를 획득하고 학습 데이터를 수집하는 방법, ②수집된 데이터에서 변수를 선택하고 선형 회귀 모델을 구현하는 방법, ③학습된 모델을 산업용 로봇에 적용하여 객체의 6D 자세를 추정, 검증 및 평가하는 방법을 제시하였다. 제시된 데이터 수집 방법과 구현된 선형 회귀 모델은 통계적으로 유의한 결과를 보였으며, 추정된 6D 자세는 참값 검증과 산업용 로봇 적용 평가에서 그 타당성을 확인할 수 있었다. 이미지를 직접 입력하는 대신 이미지에서 추출한 특징점 정보를 회귀 모델의 입력으로 사용함으로써 데이터의 크기를 줄이고 로봇에 직접 임베딩(embedding) 할 수 있었다. 본 연구는 3D 공간의 좌표 문제를 기하학이나 컴퓨터 비전의 관점이 아닌 데이터 분석의 관점에서 접근하였다.

• 방송공학회논문지
• /
• 제27권2호
• /
• pp.174-184
• /
• 2022

3차원 휴먼 자세 추정 모델은 다시점 모델과 단시점 모델로 분류될 수 있다. 일반적으로 다시점 모델은 단시점 모델에 비하여 뛰어난 자세 추정 성능을 보인다. 단시점 모델의 경우 3차원 자세 추정 성능의 향상은 많은 양의 학습 데이터를 필요로 한다. 하지만 3차원 자세에 대한 참값을 획득하는 것은 쉬운 일이 아니다. 이러한 문제를 다루기 위해, 우리는 다시점 모델로부터 다시점 휴먼 자세 데이터에 대한 의사 참값을 생성하고, 이를 단시점 모델의 학습에 활용하는 방법을 제안한다. 또한, 우리는 각각의 다시점 영상으로부터 추정된 자세의 일관성을 고려하는 다시점 일관성 손실함수를 제안하여, 이것이 단시점 모델의 효과적인 학습에 도움을 준다는 것을 보인다. Human3.6M과 MPI-INF-3DHP 데이터셋을 사용한 실험은 제안하는 방법이 3차원 휴먼 자세 추정을 위한 단시점 모델의 학습에 효과적임을 보여준다.

• 스마트미디어저널
• /
• 제12권11호
• /
• pp.48-56
• /
• 2023

3차원 인체자세추정은 스포츠, 동작인식, 영상매체의 특수효과 등의 분야에서 널리 활용되고 있는 기술이다. 이를 위한 여러 방법들 중 다중 시점 3차원 인체자세추정은 현실의 복잡한 환경에서도 정밀한 추정을 하기 위해 필수적인 방법이다. 하지만 기존 다중 시점 3차원 인체자세추정 모델들은 3차원 특징 맵을 사용함에 따라 시간 복잡도가 높은 단점이 있다. 본 논문은 계산 복잡도가 적은 트랜스포머 기반 기존 단안 시점 다중 프레임 모델을 다중 시점에 대한 3차원 인체자세추정으로 확장하는 방법을 제안한다. 다중 시점으로 확장하기 위하여 먼저 2차원 인체자세 검출자 CPN(Cascaded Pyramid Network)을 활용하여 획득한 4개 시점의 17가지 관절에 대한 2차원 관절좌표를 연결한 8차원 관절좌표를 생성한다. 그 다음 이들을 패치 임베딩 한 뒤 17×32 데이터로 변환하여 트랜스포머 모델에 입력한다. 마지막으로, 인체자세를 출력하는 MLP(Multi-Layer Perceptron) 블록을 매 반복 마다 사용한다. 이를 통해 4개 시점에 대한 3차원 인체자세추정을 동시에 수정한다. 입력 프레임 길이 27을 사용한 Zheng[5]의 방법과 비교했을 때 제안한 방법의 모델 매개변수의 수는 48.9%, MPJPE(Mean Per Joint Position Error)는 20.6mm(43.8%) 감소했으며, 학습 횟수 당 평균 학습 소요 시간은 20배 이상 빠르다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제11권12호
• /
• pp.509-516
• /
• 2022

3차원 공간에서 물체들의 정확한 자세 예측은 실내외 환경에서 장면 이해, 로봇의 물체 조작, 자율 주행, 증강 현실 등과 같은 많은 응용 분야들에서 폭넓게 활용되는 중요한 시각 인식 기술이다. 물체들의 자세 예측을 위한 과거 연구들은 대부분 각 인식 대상 물체마다 정확한 3차원 CAD 모델을 요구한다는 한계점이 있었다. 이러한 과거 연구들과는 달리, 본 논문에서는 3차원 CAD 모델이 없어도 RGB 컬러 영상들만 이용해서 미지 물체들의 자세를 예측해낼 수 있는 새로운 신경망 모델을 제안한다. 제안 모델은 적응형 깊이 추정기인 AdaBins를 이용하여 스스로 미지 물체 자세 예측에 필요한 각 물체의 깊이 지도를 효과적으로 추정해낼 수 있다. 벤치마크 데이터 집합들을 이용한 다양한 실험들을 통해, 본 논문에서 제안한 모델의 유용성과 성능을 평가한다.

• 인터넷정보학회논문지
• /
• 제19권6호
• /
• pp.41-51
• /
• 2018

최근 영상 감시 분야에서는 지능형 영상 감시 시스템에 딥 러닝 기반 학습 방법이 적용되어 범죄, 화재, 이상 현상과 같은 다양한 이벤트들을 강건하게 탐지 할 수 있게 되었다. 그러나 3차원 실세계를 2차원 영상으로 투영시키면서 발생하는 3차원 정보의 손실로 인하여 폐색 문제가 발생하기 때문에 올바르게 객체를 탐지하고, 자세를 추정하기 위해서는 폐색 문제를 고려하는 것이 필요하다. 따라서 본 연구에서는 기존 RGB 정보에 깊이 정보를 추가하여 객체 탐지 과정에서 나타나는 폐색 문제를 해결하여 움직이는 객체를 탐지하고, 탐지된 영역에서 컨볼루션 신경망을 이용하여 인간의 관절 부위인 14개의 키포인트의 위치를 예측한다. 그 다음 자세 추정 과정에서 발생하는 자가 폐색 문제를 해결하기 위하여 2차원 키포인트 예측 결과와 심층 신경망을 이용하여 자세 추정의 범위를 3차원 공간상으로 확장함으로써 3차원 인간 자세 추정 방법을 설명한다. 향후, 본 연구의 2차원 및 3차원 자세 추정 결과는 인간 행위 인식을 위한 용이한 데이터로 사용되어 산업 기술 발달에 기여 할 수 있다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 추계학술대회
• /
• pp.100-105
• /
• 2021

본 논문에서는 뉴럴넷 기반 렌더링 비교 방식을 사용하여 가구 조립 설명서에 표기된 부품의 자세를 추정하는 방법을 제안한다. 제안하는 방법은 부품의 자세를 임의로 가정한 후, 가정한 자세로 투사한 부품의 영상과 설명서의 부품 영상을 비교하여 두 영상의 부품을 일치시키는 자세 변화를 추정하는 방식으로 진행된다. 또한, 설명서에 반복적으로 모델을 적용하여 부품의 자세를 점차적으로 정확하게 보정하는 방식을 사용하였으며, 네트워크의 구성 및 자세 추정에 사용되는 목표 함수를 다양하게 실험하여 성능을 비교하였다. 본 연구에선 IKEA 의 Stefan 의자 조립 설명서의 부품 데이터셋으로 실험을 진행하였으며, 해당 데이터셋에 대하여 제안하는 방법이 정확하게 자세를 보정함을 확인하였다.

• 대한기계학회논문집A
• /
• 제40권7호
• /
• pp.659-666
• /
• 2016

자기교란은 관성/자기센서를 이용한 자세추정시 추정정확도를 저하시키는 주된 원인이다. 본 논문은 저자가 개발한 6축 관성센서를 이용한 센서가속도 추정용 칼만필터의 확장으로서, 9축 관성/자기센서를 이용하여 운동체의 자세가 지속적으로 변화하는 가운데 운동체 주변 자기교란을 정확히 추정하고, 이를 통해 자기교란환경에서도 정확한 3차원 자세를 추정할 수 있는 병렬 칼만필터를 제안한다. 제안하는 필터는 자기교란벡터를 상태변수로 지정하여 명시적으로 추정하며, 병렬구조이므로 설령 극심한 자기교란에 의해 자세추정이 영향을 받더라도 롤과 피치와는 무관하고 요에만 영향이 국한되는 장점을 지닌다. 제안방법은 로봇이나 선박, 항공기처럼 자기적으로 균등하지 않은 환경에서 운용되는 분야에 효과적으로 적용될 수 있다.

• 대한전자공학회논문지SP
• /
• 제44권6호
• /
• pp.24-34
• /
• 2007

정보화 성장과 함께 인간의 생활도 발전하면서, 정보의 접근이 보다 간편한 시스템들이 개발되고 있다. 본 논문에서는 한대의 카메라를 사용하여 3차원 신발 모델을 발에 정합하는 시스템을 제안한다. 인체 움직임 분석에서 전신 움직임에 대한 연구가 대부분인 것과 달리, 우리는 발의 움직임을 기반으로 한 새로운 움직임 분석 시스템을 제안한다. 본 논문은 시스템이 구현되는 과정과 결과를 설명한다. 3차원 신발모델을 이미지의 발에 투영하기 위해 발 추적, 투영, 자세 추정 과정으로 구성했다. 이 시스템은 2차원 영상 분석과 3차원 자세추정으로 나눠진다. 먼저 발 추적을 위해 발의 형태학적 특성에 따라 특징점을 찾는 방식을 제안한다. 그리고 별도의 영상 교정 없이 한 대의 카메라로 2차원 좌표와 3차원 좌표의 관계를 설정하는 기하학적 수식을 제안한다. 제안한 방법에 따라 응용 시스템을 구현하고 거리 오차를 측정한 결과 거의 유사한 위치로 정합 되는 것을 확인할 수 있었다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2018년도 하계학술대회
• /
• pp.178-179
• /
• 2018

증강현실 환경에서 현실 세계의 물체를 포착하여 디지털화 시키는 것은 몰입감 향상에 있어 매우 중요한 기술이다. Faster R - CNN 은 영상에서 여러 물체를 인식하는 기술 중 하나이며, 지금껏 많은 응용 기술의 개발과 함께 많은 연구가 진행되고 있다. 본 논문은 증강현실 환경에서 평면물체의 2D 변환관계를 설명하는 Homography 와 Faster R - CNN 을 활용하여 여러 개의 비콘에 대한 6 자유도(6DOF) 를 추정하는 방법을 제안한다. 또한 증강현실에서 주로 사용되는 마커 기술에 존재하는 단점들을 극복할 수 있는 비콘 구조를 소개하고 여러 개의 비콘을 용이하게 관리하는 시스템을 제안한다.