A Study on AR Algorithm Modeling for Indoor Furniture Interior Arrangement Using CNN

Abstract

In this paper, a model that can increase the efficiency of work in arranging interior furniture by applying augmented reality technology was studied. In the existing system to which augmented reality is currently applied, there is a problem in that information is limitedly provided depending on the size and nature of the company's product when outputting the image of furniture. To solve this problem, this paper presents an AR labeling algorithm. The AR labeling algorithm extracts feature points from the captured images and builds a database including indoor location information. A method of detecting and learning the location data of furniture in an indoor space was adopted using the CNN technique. Through the learned result, it is confirmed that the error between the indoor location and the location shown by learning can be significantly reduced. In addition, a study was conducted to allow users to easily place desired furniture through augmented reality by receiving detailed information about furniture along with accurate image extraction of furniture. As a result of the study, the accuracy and loss rate of the model were found to be 99% and 0.026, indicating the significance of this study by securing reliability. The results of this study are expected to satisfy consumers' satisfaction and purchase desires by accurately arranging desired furniture indoors through the design and implementation of AR labels.

본 논문에서는 증강현실 기술을 적용하여 실내 가구 인테리어를 배치하는데 작업의 효율성을 높일 수 있는 모델을 연구하였다. 현재 증강현실을 적용한 기존 시스템에서는 가구의 이미지를 출력할 때 기업 제품의 규모와 성격 등에 따라 정보가 제한적으로 제공되는 문제가 있다. 이러한 문제점을 해결하기 위해 본 논문에서는 AR 레이블링 알고리즘을 제시하였다. AR 레이블링 알고리즘은 촬영된 이미지에서 특징점을 추출하고 실내 위치 정보를 포함한 데이터베이스를 구축하였다. CNN 기법을 활용하여 실내 공간에서 가구의 위치 데이터를 검출해 학습시키는 방법을 채택하였다. 학습한 결과를 통해 실내 위치와 학습시켜 나타낸 위치와의 오차를 현저히 낮출 수 있다는 것을 확인한다. 또한 가구의 정확한 이미지 추출과 함께 가구에 대한 상세한 정보를 받아 사용자가 원하는 가구들을 증강현실을 통해 쉽게 배치할 수 있도록 하는 연구를 진행하였다. 연구 결과 모델의 정확도와 손실률이 99%, 0.026으로 나타나 신뢰성을 확보하여 본 연구가 유의미함을 알 수 있었다. 본 연구 결과는 AR 레이블의 설계, 구현을 통해 원하는 가구들을 실내에 정확히 배치하여 소비자의 만족도와 구매 욕구를 충족시킬 수 있을 것으로 기대된다.

I. Introduction

스마트 TV, 웨어러블 워치 등과 같은 다양한 스마트 기기들은 이미 많은 사람들이 사용하고 있으며 서비스와 같은 구성 요소들 간에 연결된 공통 네트워크를 의미하는 사물 인터넷(IoT, Internet of Things)는 기존의 서비스를 대신해서 이용 할 수 있을 정도로 현대 IT 기술의 비약적인 발전은 우리 현대인의 삶을 풍요롭게 한다[1]. 특히, AR 관련 콘텐츠는 기업의 홍보 및 소비자의 상품구매를 위한 사전 정보 제공에 큰 영향을 끼치고 있다. 이러한 다양한 분야와 요구 중 현대인의 개인적인 생활방식을 반영한 개인 공간 셀프 인테리어 산업이 주목받고 있으며, 이를 위해 인테리어 설계단계에서부터 증강현실을 적용하는 사례가 빈번하게 사용되고 있다[2]. 증강현실은 실제 세계에 가상의 정보 및 영상들을 표현하고 합성하며 다양한 서비스와 기능을 제공하는 기술이다[3]. 증강현실 기술은 영상에서 객체의 특징을 추출하여 추적할 타겟 영상으로 사용하는 markerless 방식과 영상이나 패턴을 추적하여 컨텐츠를 시각화하는 마커(marker) 기반 방식이 있지만 공통적으로 객체를 추적한다는 특징이 있으므로 마커라는 용어를 쓴다.

인테리어 설계는 데이터 작업과 수작업으로 나뉘며 데이터 작업은 CAD, 3D MAX를 활용하는 방법론을 말한다. CAD의 경우에는 2D 드로잉, 3D Modeling 투시도, 렌더링등을 통해 설계작업을 지원한다. 본 논문에서는 데이터 작업을 통해 3차원의 인테리어 모델로 변환하는 방법을 사용했다. 그러나, 이러한 증강현실을 적용하여 3D 이미지를 렌더링하는 과정 중 기업의 규모나 상품의 성격 등에 의해 정보가 제한적으로 제공되는 문제가 발생하여 가구의 정확한 실내 배치에 실패하는 경우가 빈번히 발생하고 있는 현실이다[4].

본 논문에서는 이러한 문제를 해결하기 위하여 인터넷에 등록된 가구 상품들에 대한 규격명세를 데이터베이스화한 후 이미지 인식을 통해 이미지의 정확한 규격정보를 획득하여, 실내에 정확히 렌더링하는 모델을 구현하여 정확도 99% 손실률 0.026의 신뢰성 있는 결과를 얻었다. 이를 통해 소비자의 만족도와 구매 욕구 충족에 대한 기대효과가 클 것으로 판단된다.

II. Preliminaries

2. Related works

2.1 3D Scanning

스캐닝은 대상물을 측정하여 형상 정보를 얻어내는 것으로, 3D 스캐닝은 대상물로부터 3차원 좌표를 읽어내는 과정이며, 일반적으로 측정 대상물의 준비 단계, 좌표를 다양한 방식으로 측정하고 검출하여 점군을 생성하는 단계, 모델을 3차원으로 재구성하는 단계까지를 말한다[5]. 다음 Fig 1.은 3D 스캐닝 작업 흐름이다.

Fig. 1. 3D Scan work flow

3D 스캐너는 터치 프로브(Touch probe) 같은 기계요소가 측정한 대상물과 직접 접촉을 통해 좌표를 읽어내는 접촉식 방식 CMM(Coordinate Measuring Machine)과 거리를 두고 측정하는 비접촉식 방식이 있다.

접촉식 방식은 Probe를 측정하는 물체에 직접 닿아 측정하는 방식이다. 대부분의 3D 스캐닝은 비접촉식 방법을 취한다[6].

비접촉식 스캐너의 경우는 레이저와 같은 빛을 측정할 대상을 투사해 빛이 다시 돌아오는 시간을 측정하여 대상 물체와 측정원점의 거리를 구하는 방식으로 대상에 접촉을 하지 않으며 3D 데이터를 얻을 수 있는 것으로 한꺼번에 넓은 영역을 빠르게 측정할 수 있는 것을 물론 휴대용으로 개발하기 쉽고 물체에 제약이 없다는 장점이 있다[7].

아주 세밀한 측정이 필요한 대상물인 경우 접촉식 스캐닝 방식의 스캐너를 사용하고, 전체적인 형태를 파악하고 어느 정도의 오차를 인정해주는 경우는 비접촉식 3D 스캐너를 이용한다. 3D 스캐너는 제품의 구조적 분석과 원리를 알기 위한 역공학, 리버스 엔지니어링과 사람이 확인하기 어려운 물체를 파악하고 품질을 측정하는데 3D 스캐너를 이용한다.

2.2 AR Labeling

실내 가구들을 인테리어 배치하기 위해서는 실내 공간과 가구의 물리적 공간 간 정합이 필요하다[8]. 증강현실에서의 사물에 대한 영상을 마커로 제작할 때 특정영역에 집중 되어있거나 빛 반사 등 광학에 의하여 영상이 손실될 경우에 따라 마커 인식이 안 될 수 있다. 따라서 본 논문은 특징점 분석을 통해 반복 패턴 포함 여부와 객체 분포를 반영하여 AR 레이블링을 제작했다. AR 레이블링을 제작할 때 기본적으로 필요한 것은 카메라가 제공한 영상을 배경에 넣어주는 것이다. 그 후 이미지 프로세싱 작업이 필요하다. 증강현실 기술을 접목시키기 위해 다음과 같은 과정을 거친다. (1) 특정한 대상을 3D CAD로 모델링하고, (2) 3D CAD와 공간을 정합시킬 수 있는 AR 레이블링을 알고리즘을 구성하고 (3) 사용자가 증강현실에 접근할 수 있는 인터페이스를 가진 소프트웨어를 개발한다.

2.3 CNN

CNN(Convolutional Neural Network)은 이미지를 입력으로 받아서 분류하기 위해 인공신경망에 필터링 기법을 이용해 직접 학습하고, 학습한 패턴을 통해 이미지를 분류한다. CNN 구조는 다음 Fig 2. 와 같다.

Fig. 2. CNN Structure

CNN은 Convolution Layer, Pooling Layer, Fully Connected Layer로 구성되어 있다. Convolutional Layer는 Filter Number, Filter Size 등으로 구성되고 입력데이터와 Filter를 합성곱 해서 결과를 추출한다. Pooling Layer는 특정한 데이터를 강조하기 위한 용도로 사용되고 어느 범위의 픽셀에서 대표하는 값을 추출하기 위한 방식이다[9]. 풀링 레이어를 처리하는 방법으로는 Max Pooling, Min Pooling, Average Pooling이 있다. Fully-Connected Layer는 추출된 특징들을 이용하여 분류하는 Layer이다. Convolutional Layer와 Pooling Layer 들이 반복된 형태로 네트워크 구성되어 있고 입력된 이미지는 레이어를 거치며 Convolution과 Pooling 연산이 적용되며 강한 특징으로 구성된 Feature Map을 뽑아낸다. 본 논문에서는 전체 실내 영상에서 구축된 데이터 베이스에 있는 지역 패치 라벨 정보를 회전, 객체의 위치가 변화됨에도 학습의 오차를 줄여주기 위해 역전파(Back propagation) 기법을 이용하여 CNN 학습한다[10].

2. Existing System

다음의 Fig 3. 은 기존 시스템의 프로세스이다[11].

Fig. 3. Existing System Process

첫째, 디바이스에 접속 후 사용자가 카메라를 통해 이미지를 실시간으로 촬영한다.

둘째, 실시간으로 촬영한 이미지를 3D CAD로 모델링한다.

셋째, 모델링을 정합시키기 위한 공간의 이미지를 촬영하고 공간에 대한 위치 정보 데이터를 저장하여 데이터베이스를 구축한다.

넷째, 3D CAD 모델링을 생성된 가상의 공간에 전송한다.

다섯째, 전송된 이미지를 가상공간에 렌더링한다.

기존시스템의 경우 3D 이미지를 렌더링하는 데 있어 기업의 규모나 제품의 성격에 따라 제품의 상세 정보를 받는데 한계가 있다[12].

III. The Proposed Scheme

3.1 Proposed System

다음의 Fig 4. 는 제안 시스템의 프로세스이다.

Fig. 4. Suggesting System Process

제안 시스템에서는 영상에 속해 있는 객체에서 분포를 인식하기 위해 이미지에서 특징점을 추출하고 추출된 이미지로부터 학습한 지역 패치를 찾아 객체의 위치를 발견할 수 있는 알고리즘을 구현한다. 알고리즘을 통해 객체의 추적에 쉽다.

알고리즘을 통해 추적한 객체를 3D CAD로 모델링 한 후 공간에 대한 위치 정보 데이터베이스를 구축한다.

데이터베이스 구축 후 Image Transmission 프로세스에서는 3D 모델링을 생성된 가상의 공간에 전송하고, 그 다음 프로세스를 통해 가상공간에 이미지를 렌더링한다.

3.2 Full Flow Chart of AR Labeling for Application to AR

본 논문에서는 AR에 적용하기 위한 AR 레이블링 알고리즘은 특징점 추출, Database 구축, 특징점 군집도 식별하여 지역 패치로 만들어 학습, CNN 모델을 이용한 학습의 과정을 거친다. 가구 인테리어 배치 기법의 흐름도는 Fig 5.와 같다.

Fig. 5. AR Labeling Process

기존의 증강현실을 이용한 실내 위치 측정은 특정 위치에 마커를 부착하는 방식이다. 마커 기반의 방식은 마커가 인식되기 전에는 객체의 정확한 위치 측정이 어려운 문제가 있다[13].

본 논문에서는 실내 가구들을 촬영한 영상들을 이용해 특징점 분석을 통한 AR Labeling 방식의 실내 인테리어 가구 배치를 구현한다.

3.3 Feature Point Detection

특징점이란 영상에서 물체를 인식하거나 추적할 때, 영상을 매칭시키는 방법으로는 영상에서 특징점을 뽑아서 매칭하는 것이다[14]. 특징점 검출은 SIFT(Scale Invariant Feature Transform)를 사용하여 검출한다. SIFT는 크기와 회전에 불변하는 특징을 추출하는 것으로 특징점 탐지에서 scale space에서 작업함으로써 크기 불변성을 달성하고 낮은 대비(contrast)극점 제거를 하며 특징 기술자 추출에서 특징점에 방향을 주어 회전에 불변하도록 만드는 작업을 한다[15]. 방향과 크기에 대한 histogram을 그리고 histogram에서 가장 큰 값을 가진 방향을 설정한다. Fig 6.와 같이 4 x 4픽셀을 4개의 2 x 2 블록으로 나누며 각 블록에서 여덟 방향의 방향 histogram을 구해 벡터로 표현한다. 다양한 기술자 벡터를 지닌 특징점이 많을수록 영상 내 객체를 인식하거나 추적하기 쉽다[16].

Fig. 6. Descriptor generation in SIFT

(a) Image gradients (b) Keypoint descriptor

특징점 검출이 되면 검은색 바탕에 흰색으로 특징점을 표시한 이미지를 얻으며 저장한다.

3.4 Build A Database

벡터 형식으로 저장된 특징점 중 군집을 이루고 있는 특징점을 분류한다. 분류한 특징점 군집을 실제 객체에 대한 위치정보를 라벨링 하여 데이터 저장한다. 또한 실제 객체의 위치정보에 대한 오차를 확인하기 위해 특징점을 통해 얻은 위치정보의 x 좌표, y 좌표, 높이, 크기를 또 다른 데이터 군집으로 만들어 저장한다. 실내 가구의 이미지를 획득하고 실내 공간 위치정보와 맞추어 본 데이터를 저장해서 데이터베이스를 구축한다.

위 Fig 7은 특징점을 검출한 이미지와 특징점을 통해 얻은 위치 정보의 x좌표, y좌표, 높이, 크기를 데이터베이스에 저장한다.

Fig. 7. Database Building Schematic

3.5 Local Patching Through Feature Point Cluster Identification

특징점의 군 집도를 식별하여 지역 패치를 생성한다. 생성한 지역 패치는 하나의 객체로 여긴다. CNN 학습할 시 객체 이미지가 실내 공간에서 어느 위치에 있는지 찾기 위해 지역 패치에는 구축된 데이터베이스에 포함된 실내 위치 정보와 지역 패치의 x 좌표, y 좌표, 크기 높이, 자동으로 분류되는 지역 패치 라벨 정보가 포함된다. Fig 8.은 실내 공간에서 1번째, 2번째, 3번째 지역 패치를 라벨링 한 경우이다.

Fig. 8. Results with local patch label information

3.6 CNN Learning

다음 Fig 9.은 CNN 학습 모델이다. 모델 구성은 Convolution Layer 2개, Fully Connected Layer로 구성하고 FCNN 1개로 Layer 들을 구성한다. 첫 번째 convent는 8x8 filter 64개, 두 번째 convent는 5x5 filter 128개를 사용한다. FCNN에서는 128개의 relu node 들을 사용하고 softmax로 output을 가지게 한다.

Fig. 9. CNN Model Structure

본 논문은 CNN 학습 시 지역 패치의 분류 라벨 정보의 입출력에 오차가 있을 때 역전파(Back propagation) 기법을 사용하여 오차를 줄인다. 또한 지역 패치를 입력하여 CNN 학습 후 실내 위치 정보를 얻을 수 있다.

3.7 Performance Experiments And Results

7,500개의 데이터를 통해 실제 실내 위치와 학습을 통해 검출된 실내 위치와의 오차를 계산한다. 구축된 데이터 베이스에서 포함된 x 좌표, y 좌표 지역 패치 라벨링을 통해 이동을 포함한 실내 위치 측정하는 데 걸린 시간을 측정한다.

여러 개의 이미지 크기에 따른 CNN 학습을 통한 분석 결과는 Table 1. 과 같다.

Table 1. AR Labeling Process

위의 Table 1.의 결과에 따라 실내 위치가 포함된 지역 패치 라벨 정보로 학습할 시에 나타난 결과는 이미지 크기에 상관없이 90% 이상 신뢰성 있는 학습 결과를 얻을 수 있다.

다음 Fig 10.은 훈련(Train)데이터와 검증(Validation) 데이터를 80:20으로 하여 모든 학습 데이터 세트를 학습하는 횟수를 나타내는 epoch 별 오차와 정확도를 그래프로 나타낸 것이다.

Fig. 10. CNN Learning Curve

[a]의 x축은 epoch, y축은 accuracy를 나타내고 [b]의 x축은 epoch, y축은 Loss를 나타낸다. Fig 10.을 통해 알 수 있듯이 손실과 정확도의 훈련데이터와 검증데이터 그래프가 동일 방향으로 수렴하고 있어 실험에 사용한 데이터와 모델의 성능이 신뢰성을 지님을 알 수 있다.

Table 2.은 기존 프로세스 기법과 본 논문에서 제안한 학습을 통해 측정된 실내 위치와 실제 실내 위치와의 정확도, 손실률, 실시간으로 대상의 위치를 측정한 속도의 평균값을 비교한 결과를 나타내었다. 비교 평가한 결과를 통해 제안된 프로세스가 기존 프로세스보다 높은 정확도를 보여주며 낮은 손실률을 통해 실제 실내 위치와의 오차를 줄일 수 있다는 결과를 보여주었다. 제안된 프로세스는 초당 25프레임으로 실시간으로 대상을 측정할 수 있다. 또한 Fig 11.의 학습 결과를 통해 정확도와 손실률이 99%, 0.026으로 나타나 신뢰성을 확보하여 본 연구가 유의미함을 알 수 있다.

Table 2. Compare Method Results

Fig. 11. Learning results

IV. Conclusions

본 논문은 증강현실을 이용한 실내 인테리어 설계에서 기존 시스템의 문제점이었던 기업의 제품들에 대한 정보를 증강현실에 적용할 때 일부 받지 못하는 정보들에 대하여 AR 레이블링 알고리즘을 생성 함으로써 현실에 정확히 배치할 수 있도록 구현하였다. AR 레이블링은 특징점을 검출하고 구축된 데이터베이스에서 좌표를 포함한 지역 패치 라벨링을 통해 실내 공간에서 이동하는 객체에 대해서도 측정할 수 있었다. AR 레이블링을 생성할 때는 CNN 기반의 딥러닝 기법을 적용하였으며, 실험 결과를 통해 90% 이상의 정확도 학습이 가능한 레이블링을 이용하여 실내 가구의 크기를 체감하여 효과적인 실내 가구 인테리어 배치가 가능하다는 결론을 얻었다.

향후 AR 레이블링을 이용한 인테리어 애플리케이션을 구현하여 실내 공간에 사용자가 원하는 제품들을 공간에 배치할 뿐만 아니라 추천받을 수 있는 연구를 지속해서 진행할 것이다.